Scrapy

21 May 2024 19:01

Нет. Feature request для per request delay актуален уже почти 10 лет.
https://github.com/scrapy/scrapy/issues/802

Scrapy

19 May 2024 14:21

Всем привет, может кто нибудь подсказать пожалуйста в чем может быть проблема, наследуюсь от SitemapSpider. Подрубаю вот это (github.com/reanalytics-databoutique/advanced-scrapy-proxies) все работает вроде, но в какой то момент
2024-05-19 14:57:22 [scrapy.proxies] DEBUG: Using proxy <172.67.103.190:80>, 5088 proxies left
INFO: Ignoring response <403>: HTTP status code is not handled or not allowed

Не пойму в чем дело, может у кого есть на примете рабочий вариант?

Scrapy

15 May 2024 23:07

Сорян, не понял до конца вопрос

Scrapy

15 May 2024 23:03

а ты говоришь о том, чтобы создать несколько сеансов куки, которые тут вообще не причем

Scrapy

15 May 2024 23:00

когда ты пускаешь на разные домены, окей, мб ты и юзаешь cookiejar, но когда ты в пределах одного домена, для чего это?

Scrapy

15 May 2024 22:59

Надо в мете к каждому прописывать специально где хранить куки, в доках об этом есть даже

Scrapy

14 May 2024 23:28

пххх (удалил оффтоп)

Scrapy

14 May 2024 20:59

Ну сделал на рутлогер и вроде окей

Scrapy

14 May 2024 19:45

или где хочешь вообще
в чем загвоздка?

Scrapy

14 May 2024 17:03

Очень даже интересно

Scrapy

14 May 2024 17:02

Разворачивание браузера

Scrapy

14 May 2024 16:55

учитывая, что ты имеешь в виду запросы

Scrapy

14 May 2024 16:51

🤣
злобный ты....

Scrapy

14 May 2024 16:09

Согласен. Только нужно их как то связать)

Scrapy

14 May 2024 16:07

У меня была аналогичная(наверно) идея, в два потока запускать паука и браузер чтобы куки лутать.. хз рабочая штука это вообще или нет

Scrapy

21 May 2024 18:54

Если паучок кинул запрос на страницу Х и получил 500, а у меня в настройках стоит RETRY_HTTP_CODES = [403, 429, 500, 502] и врублен RetryMiddleware, возможно ли сказать паучку: "Сделай еще один запрос туда же через 5 секунд"?

Scrapy

16 May 2024 19:18

всё что сервер прислал паук сохраняет
специально он ничего не делает

Scrapy

15 May 2024 23:07

А, куки ж не вечные, точно :D

Scrapy

15 May 2024 23:02

я просто уточнял, так как было неудобно смотреть)

Scrapy

15 May 2024 22:59

Сам по себе он ничего не обновляет, ну максимум реферера

Scrapy

15 May 2024 21:16

паук же сам куки обновляет?

Scrapy

14 May 2024 23:26

так и что там, в итоге можно тупо json'ы красивые получать, что с брендов, что с товаров, что со списков товаров? знай себе тока заголовки ставь (ну по-крайней мере мне эксперименты показывают на свежих куках, дальше особо не ковырял).

params = {
    'pushSite': 'storeMobileRU',
    'format': 'json',
    'locale': 'ru_RU',
}

Scrapy

14 May 2024 20:59

Да я просто не знал к чему обращаться

Scrapy

14 May 2024 18:54

можно ли к логгеру паучка добавить хендлер?

Scrapy

14 May 2024 17:02

собери 50к с браузером за 15 минут

Scrapy

14 May 2024 17:02

что такое эмуляции

Scrapy

14 May 2024 16:51

+/- час на кодинг +собрать

Scrapy

14 May 2024 16:50

прости, не успел на 30к остановить

Scrapy

14 May 2024 16:08

пока не попробуешь - не узнаешь

Scrapy

14 May 2024 16:05

а, про тот же хэдлесс. У меня напарник, для одного из сайтов, просто в докере подвесил получение куков нонстоп. И, теперь, ему ничего не мешает сотни тыс запросов слать....
А так да, можно было убить пару месяцев на раскуривание кода JS, и понимание, что это нахрена не надо было делать