Scrapy

24 May 2024 19:59

блин, а у асинхронных запросов нету колбэков 😢️️️️️️

Scrapy

24 May 2024 19:20

а если на каждом этапе код разный? :)

Scrapy

24 May 2024 19:18

мне желательно чтоб рандом был просто 😄

Scrapy

24 May 2024 19:14

а это всё по порядку, или там есть какой-то элемент рандома?)

Scrapy

24 May 2024 19:13

https://docs.scrapy.org/en/latest/topics/coroutines.html#inline-requests

Scrapy

24 May 2024 15:04

у меня на докере селениум grid, работает через SELENIUM_REMOTE_URL

Scrapy

24 May 2024 11:44

если сервак дохлый - уже ничего не спасет. Был у меня один сайт, от 20 потоков в 503 ошибку сваливался.... Причем именно сайт падал, а не баны по проксям

Scrapy

24 May 2024 11:10

если в браузере так, то скорее всего ничего не сделать, какая бы ни была причина

Scrapy

24 May 2024 11:06

если сервак дохлый - никак.

Scrapy

22 May 2024 20:23

https://stackoverflow.com/questions/75106880/add-the-spiders-name-to-each-line-of-log
Yoyoda лучший....

Scrapy

22 May 2024 10:31

м... в другом окне открывать же. Проверил, работает в лисе

Scrapy

22 May 2024 10:29

там завязано, возможно, на изменении размера экрана

Scrapy

22 May 2024 10:05

так что миновал эту шляпу)

Scrapy

22 May 2024 10:04

ну всякие там методы есть, шанс что поможет как встретить динозавра, 50% что поможет, 50% что нет: https://stackoverflow.com/questions/38910904/avoid-the-detection-of-whether-chrome-devtoolsconsole-is-open

Scrapy

22 May 2024 10:02

я уже даже это в коде js нашел)))

Scrapy

24 May 2024 19:22

это идея для следующей версии, чтобы было из коробки

Scrapy

24 May 2024 19:20

Кстати, возможно ли добавить в RetryMiddleware разное количество повторных попыток для каждого статуса. Например, для статуса 429 5 повторных попыток, а для статуса 403 — 2 попытки.

Scrapy

24 May 2024 19:16

по порядку наверно, но не уверен

Scrapy

24 May 2024 19:13

ап ту CONCURRENT_REQUESTS*

Scrapy

24 May 2024 19:12

Вопрос:
если бы у меня было не 2 запроса, как в примере, а 100 - паучок всех их пошлёт сразу self.crawler.engine.download(r) ?

Scrapy

24 May 2024 12:52

кто использовал scrapy-playwright, я правильно понимаю, если подниму playwright в докере и пропишу PLAYWRIGHT_CDP_URL до него, всё будет работать?

Scrapy

24 May 2024 11:10

максимум - через пул проксей может быть лучше

Scrapy

24 May 2024 11:09

в сайте проблема? он просто тупой и медленный хочешь сказать?

Scrapy

24 May 2024 10:55

как обходить, что тебя сайт троттлит? браузером и через прокси, что юзает сам паук, запросы делаются как обычно

Scrapy

22 May 2024 10:31

реально спасибо, без шуток

Scrapy

22 May 2024 10:30

поэтому не важно, хром или лиса

Scrapy

22 May 2024 10:28

а в firefox? Там же не chrome dev tools, может прокатит?

Scrapy

22 May 2024 10:05

ну я через playwright page.on достал всю инфу с запросов и нашел нужный

Scrapy

22 May 2024 10:03

а не, я по моему точку останова ставил на запрос и потом дебаггер вылазил

Scrapy

22 May 2024 10:02

хочешь отследить запросы - он тебе также дебаггер вызывает