Scrapy

09 August 2024 19:05

Там считается bandwidth (забыл перевод) то есть сколько ты посылаешь + сколько тебе присылают

Scrapy

09 August 2024 12:04

как там господин Матроскин говорил "Что бы продать что нить не нужное, надо сначала купить, что нить не нужное" :))),
ведь надо, в таком случае, куда то во вне передавать... а тут уже зависит от дальнейших хотелок. Если хочется по HTTP дергать, имхо, Redis неплохо справится (ну, если его обернуть). В scrapy-redis, кстати, стата в редисе хранится....

Scrapy

09 August 2024 10:46

та, пагади, что именно хочется? передавать стату в реалтайме на на сторонний эндпоинт?

Scrapy

08 August 2024 21:51

прошерстил код scrapyd, понял что нельзя
если я не прав- скажите)

Scrapy

07 August 2024 18:46

она тут в файлах есть кажется

Scrapy

07 August 2024 14:03

а, ну я немного не так 😅
поищу по другому, спасибо )

Scrapy

07 August 2024 14:00

scrapy books в гугл и яндекс

Scrapy

07 August 2024 13:58

Поставь себе задачу/задачи спарсить какие нибудь данные с какого нибудь сайта:)

Scrapy

06 August 2024 10:11

надо будет попробовать добавить в env, спасибо. Как сделаю отпишусь о результатах

Scrapy

06 August 2024 09:52

вне контейнера не проверяли

Scrapy

06 August 2024 08:50

Он же его один раз использует и быстро

Scrapy

06 August 2024 08:21

Это касается любого кода с асинхронностью на сопроцедурах, особенно на питоне

Scrapy

06 August 2024 08:17

Не писать блокирующий код в основном потоке

Scrapy

06 August 2024 07:35

Ваш код заблокировал поток

Scrapy

30 July 2024 17:18

Так что еще раз спасибо )

Scrapy

09 August 2024 18:06

Привет, всем
Кто может подсказать по поводу brightdata и его билнга в Data Center
Я использу data center в us
они билят по GB , но не могу понять они билят только response или request также ?

Scrapy

09 August 2024 12:01

не совсем, это просто сделать
хочется, например, curl’ом получить стату запущенного паука, без telnet

Scrapy

09 August 2024 10:36

нашел что как вариант можно использовать https://github.com/scrapy-plugins/scrapy-jsonrpc

Scrapy

08 August 2024 20:11

возможно ли как-нибудь из scrapyd получить доступ к объекту Crawler? хочется добавить свой ендпоинт для получения spider.stats
также буду рад посмотреть на другие самописные ендпоинты, если такие тут писались

Scrapy

07 August 2024 14:03

название не подскажешь ?))

Scrapy

07 August 2024 14:03

Ну книга одна была, да

Scrapy

07 August 2024 13:59

ну мне бы какое нибудь чтиво ))
чтобы вечером под чай почитать )
задач хватает )
искал книги или какие нить курсы по scrapy - ничего не нашел (

Scrapy

07 August 2024 13:56

Всем привет ))
Ребят, подскажите пожалуйста, что можно почитать по scrapy кроме оф доки?)

Scrapy

06 August 2024 10:01

А PYTHONASYNCIODEBUG че-нибудь показывает? https://docs.python.org/3/library/asyncio-dev.html
и там в https://docs.python.org/3/library/asyncio-eventloop.html#asyncio.loop.slow_callback_duration
может поможет, хз

Scrapy

06 August 2024 09:52

а вне контейнера этот же код не виснет или просто не проверяли?

Scrapy

06 August 2024 08:50

В коде scrapy используется TLDExtract, который использует блокирующий requests.get() для получения списка суффиксов поддоменов, это ведь тоже может вызывать блокировки?

Scrapy

06 August 2024 08:19

Это касается и middleware? То есть в scrapy вообще все вызовы должны быть неблокирующими?

Scrapy

06 August 2024 08:15

Этих блокировок можно как-то избежать с помощью scrapy? Или тут проблема в scrapy-rotating-proxies?

Scrapy

06 August 2024 07:09

Всем привет, мы запускаем Scrapy версии 2.11.2 внутри докер контейнера и в случайный момент времени процесс Scrapy может зависнуть. Подключение через telnet также работает не так как обычно (подключиться можно, но telnet сессия не предлагает ввести Username: как это происходит при нормальной работе). Также используется middleware - scrapy-rotating-proxies.
Подскажите пожалуйста, может кто-нибудь сталкивался с таким поведением?

Scrapy

30 July 2024 17:18

Кстати использовал по итогу HTTP Toolkit - топ тема
Все отлично