Scrapy

10 Aug 2024 07:07

ну да надо юзеров менять тогда
и это действительно гораздо более хрупко чем без авторизации, именно потому что привязка запроса к акку
ну и гораздо менее легально

Scrapy

10 Aug 2024 06:16

(пишу на js, но думаю концептуально ничего не изменится)

Scrapy

10 Aug 2024 06:15

ребят есть какие то советы как скрапить маркетплейс на новые обьявление и не попасться на антифрод ?

Scrapy

09 Aug 2024 19:37

Посоветуйте сервис для солва datadoom.
Заранее спасибо

Scrapy

09 Aug 2024 19:05

Там считается bandwidth (забыл перевод) то есть сколько ты посылаешь + сколько тебе присылают

Scrapy

09 Aug 2024 12:04

как там господин Матроскин говорил "Что бы продать что нить не нужное, надо сначала купить, что нить не нужное" :))),
ведь надо, в таком случае, куда то во вне передавать... а тут уже зависит от дальнейших хотелок. Если хочется по HTTP дергать, имхо, Redis неплохо справится (ну, если его обернуть). В scrapy-redis, кстати, стата в редисе хранится....

Scrapy

09 Aug 2024 10:46

та, пагади, что именно хочется? передавать стату в реалтайме на на сторонний эндпоинт?

Scrapy

08 Aug 2024 21:51

прошерстил код scrapyd, понял что нельзя
если я не прав- скажите)

Scrapy

07 Aug 2024 18:46

она тут в файлах есть кажется

Scrapy

07 Aug 2024 14:03

а, ну я немного не так 😅
поищу по другому, спасибо )

Scrapy

07 Aug 2024 14:00

scrapy books в гугл и яндекс

Scrapy

07 Aug 2024 13:58

Поставь себе задачу/задачи спарсить какие нибудь данные с какого нибудь сайта:)

Scrapy

06 Aug 2024 10:11

надо будет попробовать добавить в env, спасибо. Как сделаю отпишусь о результатах

Scrapy

06 Aug 2024 09:52

вне контейнера не проверяли

Scrapy

06 Aug 2024 08:50

Он же его один раз использует и быстро

Scrapy

10 Aug 2024 06:49

там прямо какие-то лично для данного пользователя спец-спец-спец предложения?

Scrapy

10 Aug 2024 06:15

при том что скрапить можно только с авторизованых акков, то есть я полагаю не выйдет просто менять прокси постоянно в случае если запросы не будут проходить по каким то причинам.
новые обьявления там появляются каждую секунду, категорий дофига, думаю будет странно если один юзер будет одеовременно скрапить 50+ категорий ежесекундно, надо чёто придумать

Scrapy

09 Aug 2024 20:10

Кто поможет зарегестрироваться на этом сайте: https://www.yell.ru/moscow/com/ . С selenium не получается, а с requests пишет что не подключил javascript. Помогите😭

Scrapy

09 Aug 2024 19:07

Было б удобно если бы считался только запрос 😂. Кидаешь такой гет запросик размером в пару байт, а тебе в ответ джейсон на мегабайтик 😂

Scrapy

09 Aug 2024 18:06

Привет, всем
Кто может подсказать по поводу brightdata и его билнга в Data Center
Я использу data center в us
они билят по GB , но не могу понять они билят только response или request также ?

Scrapy

09 Aug 2024 12:01

не совсем, это просто сделать
хочется, например, curl’ом получить стату запущенного паука, без telnet

Scrapy

09 Aug 2024 10:36

нашел что как вариант можно использовать https://github.com/scrapy-plugins/scrapy-jsonrpc

Scrapy

08 Aug 2024 20:11

возможно ли как-нибудь из scrapyd получить доступ к объекту Crawler? хочется добавить свой ендпоинт для получения spider.stats
также буду рад посмотреть на другие самописные ендпоинты, если такие тут писались

Scrapy

07 Aug 2024 14:03

название не подскажешь ?))

Scrapy

07 Aug 2024 14:03

Ну книга одна была, да

Scrapy

07 Aug 2024 13:59

ну мне бы какое нибудь чтиво ))
чтобы вечером под чай почитать )
задач хватает )
искал книги или какие нить курсы по scrapy - ничего не нашел (

Scrapy

07 Aug 2024 13:56

Всем привет ))
Ребят, подскажите пожалуйста, что можно почитать по scrapy кроме оф доки?)

Scrapy

06 Aug 2024 10:01

А PYTHONASYNCIODEBUG че-нибудь показывает? https://docs.python.org/3/library/asyncio-dev.html
и там в https://docs.python.org/3/library/asyncio-eventloop.html#asyncio.loop.slow_callback_duration
может поможет, хз

Scrapy

06 Aug 2024 09:52

а вне контейнера этот же код не виснет или просто не проверяли?

Scrapy

06 Aug 2024 08:50

В коде scrapy используется TLDExtract, который использует блокирующий requests.get() для получения списка суффиксов поддоменов, это ведь тоже может вызывать блокировки?