Scrapy

05 Nov 2024 03:46

всем привет
никто не дообучал llmку по этому чату, реддиту, дс, документации и исходному коду scrapy?
сейчас просто чатгпт и прочие очень плохо галлюцинируют по этой теме)

Scrapy

04 Nov 2024 18:39

я бы в текущих реалиях если уж брать браузер, на playwright рекомендовал крутить. Селен брать если тока на нем собаку съел

Scrapy

04 Nov 2024 18:30

Ну я как утверждение написал, но поправьте, если не прав)

Scrapy

04 Nov 2024 18:26

я покупал примерно по 1,2 за проксю на месяц германские, юзаю под чат гпт и заблокированные источники, работает норм

Scrapy

04 Nov 2024 16:26

Пацыки, как считаете, платить 21$ в месяц за прокси это норм? (5 айпишек это)

Scrapy

03 Nov 2024 14:06

Нет, скрапи про асинхронность просто

Scrapy

03 Nov 2024 14:03

если вы хотите драйвить инстанс браузера руками в синхронном режиме то скрапи может даже мешать

Scrapy

03 Nov 2024 14:02

ну тут два варианта, либо достаточно селекторов, либо надо что-то ещё

Scrapy

03 Nov 2024 13:59

https://docs.scrapy.org/en/latest/intro/overview.html#what-s-next

Scrapy

03 Nov 2024 13:58

ну как бест практика что ль..
не знаю как по-другому вопрос поставить. вдруг скрапи дает некие абстракции универсальные в принципе даже для множества простых задач

Scrapy

03 Nov 2024 12:54

скинь рабочий алфавит пж

Scrapy

03 Nov 2024 12:41

ребята скиньте рабочий питон для демки пж

Scrapy

03 Nov 2024 12:05

я так постоянно делаю в оффе, озвучиваю то, что другие стесняются сказать 😆

Scrapy

03 Nov 2024 09:53

Можете пожалуйста оч надо

Scrapy

02 Nov 2024 23:40

Ребят кинте рабочий скрапи для демки с телефона на пк

Scrapy

04 Nov 2024 19:55

Cf даже скрапи не детектит, если он не в бастионе и подрубить туда cloudscraper, которому 100 лет в обед) А если cf в бастионе, селен там также обосрется, даже зачастую с дебагпортом и всеми свистелками)

Scrapy

04 Nov 2024 18:31

не, всё верно, не берут, может только для некоторых тарифов проксей

Scrapy

04 Nov 2024 18:29

А, они не берут за трафик дополнительно

Scrapy

04 Nov 2024 18:22

смотря какие, но можно и дешевле

Scrapy

03 Nov 2024 14:07

а... ага, понял
нуу вроде ясно куда двигаться, спасибо

Scrapy

03 Nov 2024 14:04

о как получается. а так скрапи больше про некие автономные "юниты" для сервисов по типу apify получается?

Scrapy

03 Nov 2024 14:03

селекторов достаточно, а вот самих запросов может быть много (в пределах одной сессии с браузером) - второе про ситуацию с поиском по тексту

Scrapy

03 Nov 2024 14:01

ммм... у меня это будет интероп с шарповским бекендом
т.е из кода на беке, вызывается пайтонскрипт и дальше по ipc дергаю результаты

почему сразу не на шарпе - на нем многословно писать локаторы/квери к DOMу

а так задач несколько: информация с разных маркетплейсов по одному и тому же лоту
поиск по маркетплейсу с применением фильтров
в обоих случаях нужно менять геолокацию

т.е мне тут не просто страничку скачать

Scrapy

03 Nov 2024 13:59

если всё что надо это страницу скачать то селениума хватит

Scrapy

03 Nov 2024 13:58

а могу уточнить: обязательно ли скрапи подтягивать? или бывает резонно на чистом селене все реализовать?

Scrapy

03 Nov 2024 12:53

Надеюсь это рофл. Я сюда зашел чтобы решить проблемы так то 😁

Scrapy

03 Nov 2024 12:39

Фича походу на имени завязана

Scrapy

03 Nov 2024 10:54

ты озвучил мои мысли, но я их писать не стал)))

Scrapy

03 Nov 2024 07:14

А мне плейрайт не понравился. Я скрапи юзаю и кастомный мидлвар поставил на селениуме, пока еще не попадался сайты которые не пропускали бы. Парсю только новости.

Scrapy

02 Nov 2024 22:14

так что ну его нахрен, возьму стоковый playwright, а надо будет докручу proxy rotation или что там еще нужно