Scrapy

04 Nov 2024 16:26

Пацыки, как считаете, платить 21$ в месяц за прокси это норм? (5 айпишек это)

Scrapy

03 Nov 2024 14:06

Нет, скрапи про асинхронность просто

Scrapy

03 Nov 2024 14:03

если вы хотите драйвить инстанс браузера руками в синхронном режиме то скрапи может даже мешать

Scrapy

03 Nov 2024 14:02

ну тут два варианта, либо достаточно селекторов, либо надо что-то ещё

Scrapy

03 Nov 2024 13:59

https://docs.scrapy.org/en/latest/intro/overview.html#what-s-next

Scrapy

03 Nov 2024 13:58

ну как бест практика что ль..
не знаю как по-другому вопрос поставить. вдруг скрапи дает некие абстракции универсальные в принципе даже для множества простых задач

Scrapy

03 Nov 2024 12:54

скинь рабочий алфавит пж

Scrapy

03 Nov 2024 12:41

ребята скиньте рабочий питон для демки пж

Scrapy

03 Nov 2024 12:05

я так постоянно делаю в оффе, озвучиваю то, что другие стесняются сказать 😆

Scrapy

03 Nov 2024 09:53

Можете пожалуйста оч надо

Scrapy

02 Nov 2024 23:40

Ребят кинте рабочий скрапи для демки с телефона на пк

Scrapy

02 Nov 2024 22:13

а вот стоковый crawlee - нет. сделал все то же самое
видимо, он ему свой конфиг проставляет при запуске
или что скорее всего он на любой чих (403) просто дропает страницу так и не дождавшись проверки

Scrapy

02 Nov 2024 21:26

спасибо, резонно
но попробую все таки поднять сначала... питоновский вариант

как накопаю в чем дело было - напишу сюда, что б другие не мучались (если найду конечно))

Scrapy

02 Nov 2024 21:25

ну мы ж не только флаги сравниваем, или только?

Scrapy

02 Nov 2024 21:24

так флаг-то относится к браузеру, как я понимаю, вот например

Scrapy

03 Nov 2024 14:07

а... ага, понял
нуу вроде ясно куда двигаться, спасибо

Scrapy

03 Nov 2024 14:04

о как получается. а так скрапи больше про некие автономные "юниты" для сервисов по типу apify получается?

Scrapy

03 Nov 2024 14:03

селекторов достаточно, а вот самих запросов может быть много (в пределах одной сессии с браузером) - второе про ситуацию с поиском по тексту

Scrapy

03 Nov 2024 14:01

ммм... у меня это будет интероп с шарповским бекендом
т.е из кода на беке, вызывается пайтонскрипт и дальше по ipc дергаю результаты

почему сразу не на шарпе - на нем многословно писать локаторы/квери к DOMу

а так задач несколько: информация с разных маркетплейсов по одному и тому же лоту
поиск по маркетплейсу с применением фильтров
в обоих случаях нужно менять геолокацию

т.е мне тут не просто страничку скачать

Scrapy

03 Nov 2024 13:59

если всё что надо это страницу скачать то селениума хватит

Scrapy

03 Nov 2024 13:58

а могу уточнить: обязательно ли скрапи подтягивать? или бывает резонно на чистом селене все реализовать?

Scrapy

03 Nov 2024 12:53

Надеюсь это рофл. Я сюда зашел чтобы решить проблемы так то 😁

Scrapy

03 Nov 2024 12:39

Фича походу на имени завязана

Scrapy

03 Nov 2024 10:54

ты озвучил мои мысли, но я их писать не стал)))

Scrapy

03 Nov 2024 07:14

А мне плейрайт не понравился. Я скрапи юзаю и кастомный мидлвар поставил на селениуме, пока еще не попадался сайты которые не пропускали бы. Парсю только новости.

Scrapy

02 Nov 2024 22:14

так что ну его нахрен, возьму стоковый playwright, а надо будет докручу proxy rotation или что там еще нужно

Scrapy

02 Nov 2024 22:05

хм, забавно получается
дефолтный (!!!) селениум проходит антибот проверку

Scrapy

02 Nov 2024 21:25

вот честно говоря не знаю :(

Scrapy

02 Nov 2024 21:25

ну условно, я все хедеры с клиентского браузера передал
а вот если смотреть на код выше, то не хватает только —no-sandbox и —disable-gpu

Scrapy

02 Nov 2024 21:24

Во-первых - питон, а у Вас JS