Scrapy

27 Apr 2024 15:52

ну т.е. да, так использовать асинхронные генераторы нельзя

Scrapy

27 Apr 2024 14:29

Слишком общий вопрос

Scrapy

27 Apr 2024 13:43

запускаю через CrawlingProcess. В Settings добавил то, что пишут на сайте "TWISTED_REACTOR" : 'twisted.internet.asyncioreactor.AsyncioSelectorReactor'

Scrapy

27 Apr 2024 13:40

всем привет. Есть вот такой код https://pastebin.com/BJ3KnnXG
В общем я хочу, чтобы yield'ить кортеж из куки и прокси для того, чтобы запихать их в запросы... но проблема в том, что я не понимаю, как мне связать между собой паука и event loop. Все ругается, что StopIteration и прочее, если оставить TWISTED_REACTOR как None, то ругается, что не запущен цикл событий, как быть? Может знает кто?

Scrapy

26 Apr 2024 18:43

Да.
Если есть желание продолжать со scrapy, надо использовать custom download handler, заменив стандартный загрузчк основанным на другой библиотеке. Желательно сразу с более правильными tls fingerprint.
Если конечно заголовки прописаны, куки пробовали использовать и т.п.

Scrapy

26 Apr 2024 08:43

как выключить мидлварь если не выполнено какое то условие? raise NotConfigured?

Scrapy

22 Apr 2024 10:05

веду к тому что на ваш запрос защита срабатывает

Scrapy

22 Apr 2024 10:04

На playwright + хром сейчас CF

Scrapy

22 Apr 2024 10:03

Я расписал что хочу получить, ранее на post запросе получал json.

Scrapy

22 Apr 2024 10:00

Может кто посмотрит, никак не могу составить пост запрос что бы получить json с сбермаркета. Использовал playwright + хром или вебкит. При загрузке пагинации https://sbermarket.ru/globusgiper/c/katalog-globus-02bfb49/ovoshchi-frukti-orekhi/ovoshchi-copy?page=2 улетает запрос Пост запрос с {"store_id":"80963","page":"2","per_page":"24","tenant_id":"sbermarket","filter":[{"key":"brand","values":[]},{"key":"permalinks","values":[]},{"key":"discounted","values":[]}],"ads_identity":{"ads_promo_identity":{}},"category_permalink":"katalog-globus-02bfb49/ovoshchi-frukti-orekhi/ovoshchi-copy"} на https://sbermarket.ru/api/web/v1/products  в ответ должен как в браузере прилете json. А в итоге только <script type="text/javascript" src="//cdnjs.cloudflare.com/ajax/ Месяц назад без проблем работало а тут облом.

Scrapy

21 Apr 2024 19:42

Боже, я так ненавижу логгирование в целери, и так обожаю в скрапи

Scrapy

20 Apr 2024 10:39

1688, Алиэкспресс, Алибаба

Scrapy

20 Apr 2024 02:07

У меня такое чувство или у всех "менеджеров по продажам" у прокси провайдеров, с которыми так навязчиво просят пообщаться, главная задача: втюхнуть план, лишь бы подороже?

Scrapy

19 Apr 2024 09:41

request.meta['proxy'] = ...

Scrapy

19 Apr 2024 09:36

ты в своей мидлваре мету может переписываешь? типа request.meta = {'a':'b'}? тогда ретрай мидлварь всегда ставит retry_times на 1

Scrapy

27 Apr 2024 15:52

да код-то код, вопрос непонятен

Scrapy

27 Apr 2024 14:25

ок, я понял, что на винде несовместимы Playwright и Scrapy. Но, теперь вопрос такой, по кд вылазит ошибка. Это уже никак не обойти и использовать свой генератор я тут не смогу, правильно?

Scrapy

27 Apr 2024 13:41

Достаточно поставить асинкио реактор

Scrapy

26 Apr 2024 18:44

переносил с браузера на постмен, потом хедерсы на пайчарм

Scrapy

26 Apr 2024 18:28

кто-то стыкался с таким что Scrapy никак не хочет получать нормальные данные от API(пишет javascript disabled)? через requests все четко идет. Пробовал разные версии скрапи и разные версии пайтона, результат один

Scrapy

23 Apr 2024 16:49

никак у Человека не получается капчу пройти 🤭

Scrapy

22 Apr 2024 10:04

Ведете к тому что пост запросом json не получить?

Scrapy

22 Apr 2024 10:03

(и я не думаю что дело в теле запроса)

Scrapy

22 Apr 2024 10:00

если playwright то зачем пост

Scrapy

21 Apr 2024 20:55

Добрый день. Подскажите сервис

Scrapy

20 Apr 2024 16:38

Ребят, а я правильно, что чтобы повторить запрос, который в requests выглядел бы: requests.get('https://localhost8000.com', verify='my/speficic/ssl_certificate.crt), в scrapy надо написать свой BrowserLikeContextFactory?

Scrapy

20 Apr 2024 06:37

пхах. "с подключением":))

Scrapy

19 Apr 2024 11:50

Наверника кто-то парсит китайские маркетплейсы..
Киньте пожалуйста ссылки на пару сложных сайтов.


Спасибо

Scrapy

19 Apr 2024 09:41

Не, просто proxy меняю

Scrapy

19 Apr 2024 09:33

Ну ладно, как-то продебажу...