Scrapy

24 May 2024 23:26

А, я так понял надо через autothrottle переделывать

Scrapy

24 May 2024 20:14

нужен кодер, который может обойти капчу

Scrapy

24 May 2024 20:02

хотите ждать результатов запросов в этом же колбэке - делайте как делали

Scrapy

24 May 2024 20:00

ну вот мне надо послать х*****ву тучу запросов, и кое-что сделать, как только они все закончат работу, поэтому я подумал что это хорошее решение моей проблемы 😂️️️️️️

Scrapy

24 May 2024 19:59

блин, а у асинхронных запросов нету колбэков 😢️️️️️️

Scrapy

24 May 2024 19:20

а если на каждом этапе код разный? :)

Scrapy

24 May 2024 19:18

мне желательно чтоб рандом был просто 😄

Scrapy

24 May 2024 19:14

а это всё по порядку, или там есть какой-то элемент рандома?)

Scrapy

24 May 2024 19:13

https://docs.scrapy.org/en/latest/topics/coroutines.html#inline-requests

Scrapy

24 May 2024 15:04

у меня на докере селениум grid, работает через SELENIUM_REMOTE_URL

Scrapy

24 May 2024 11:44

если сервак дохлый - уже ничего не спасет. Был у меня один сайт, от 20 потоков в 503 ошибку сваливался.... Причем именно сайт падал, а не баны по проксям

Scrapy

24 May 2024 11:10

если в браузере так, то скорее всего ничего не сделать, какая бы ни была причина

Scrapy

24 May 2024 11:06

если сервак дохлый - никак.

Scrapy

22 May 2024 20:23

https://stackoverflow.com/questions/75106880/add-the-spiders-name-to-each-line-of-log
Yoyoda лучший....

Scrapy

22 May 2024 10:31

м... в другом окне открывать же. Проверил, работает в лисе

Scrapy

24 May 2024 23:23

А concurrent_requests реально concurrent только если download_delay стоит в 0?

Scrapy

24 May 2024 20:02

весь скрапи асинхронный

Scrapy

24 May 2024 20:01

а делать костыли с булями уже надоело

Scrapy

24 May 2024 19:59

конечно, иначе зачем

Scrapy

24 May 2024 19:22

это идея для следующей версии, чтобы было из коробки

Scrapy

24 May 2024 19:20

Кстати, возможно ли добавить в RetryMiddleware разное количество повторных попыток для каждого статуса. Например, для статуса 429 5 повторных попыток, а для статуса 403 — 2 попытки.

Scrapy

24 May 2024 19:16

по порядку наверно, но не уверен

Scrapy

24 May 2024 19:13

ап ту CONCURRENT_REQUESTS*

Scrapy

24 May 2024 19:12

Вопрос:
если бы у меня было не 2 запроса, как в примере, а 100 - паучок всех их пошлёт сразу self.crawler.engine.download(r) ?

Scrapy

24 May 2024 12:52

кто использовал scrapy-playwright, я правильно понимаю, если подниму playwright в докере и пропишу PLAYWRIGHT_CDP_URL до него, всё будет работать?

Scrapy

24 May 2024 11:10

максимум - через пул проксей может быть лучше

Scrapy

24 May 2024 11:09

в сайте проблема? он просто тупой и медленный хочешь сказать?

Scrapy

24 May 2024 10:55

как обходить, что тебя сайт троттлит? браузером и через прокси, что юзает сам паук, запросы делаются как обычно

Scrapy

22 May 2024 10:31

реально спасибо, без шуток

Scrapy

22 May 2024 10:30

поэтому не важно, хром или лиса