Scrapy

11 September 2024 07:20

Для такого есть ээ как его

Scrapy

10 September 2024 23:26

Судя по документации, там тоже этого нет( Похоже придётся писать скрипт самому

Scrapy

10 September 2024 23:13

Насколько я понимаю, там нужно каждый сервер отдельно настраивать. Хотя, да. Привязать к scrapydweb можно несколько серверов.
Но как я уже сказал, похоже что там не реализована фича, которая бы поддерживала n экземпляров паука запущенными. Только запуск по таймеру.

в конфиге scrapyd увеличь число max_proc_per_cpu и выставь в ноль max_proc

Scrapy

10 September 2024 23:02

Да, я так и сделал. Но во первых переполняется Pending, а во вторых тогда сервер scrapyd заполняется полностью, хотя мне столько пауков не нужно. Я в итоге написал скрипт, который смотрит сколько экземпляров запущенно, и если нужно запускает новый.
Но есть хотелось бы иметь фичи, вроде работы с несколькими scrapyd серверами/указывать кастомные параметры запуска тд. Было бы идеально иметь балансировку, чтобы для запуска выбирался свободный сервер.
Конечно я и сам могу это написать. Но это же должен был кто то и до меня сделать. Но я подобных решений не нашел.

Scrapy

10 September 2024 22:34

не совсем понял вопрос :^(

Scrapy

09 September 2024 18:17

Поигрался... Оказывается достаточно в ините к паучку привязать свойство, а вот щас даже не понимаю нафига я с файлом это всё мутил

Scrapy

09 September 2024 12:30

поиск ключей под фонарём

Scrapy

09 September 2024 12:26

кхм.... казалось бы, при чем тут скрапи? 🤔

Scrapy

09 September 2024 08:29

мой вердикт - надо уметь пользовать, что бы не застали "со спущенными штанами" :)

Scrapy

09 September 2024 08:23

просто мнения и мысли хочу узнать

Scrapy

09 September 2024 08:17

про антибот системы?

Scrapy

08 September 2024 22:10

а большая ли польза от http/2 в плане парсинга?

Scrapy

08 September 2024 11:23

Есть же наверное какая-то логика фильтрации юзеров и их объявлений. Есть логика запросов. Если понятно как составлять запросы, значит можно и логику реализовать и без браузера. Казалось бы.

Scrapy

07 September 2024 17:13

просто думал что есть какие то лазейки/способы уменьшить потребление

Scrapy

07 September 2024 17:12

у меня такая задача что нельзя просто получить желаемый json, есть нужда в том чтобы постоянно открывать новые вкладки и фильтровать юзеров, после чего фильтровать их обьявления

Scrapy

11 September 2024 07:19

Такого даже в scrapy cloud нет, если вам нужно "работают всегда 5 пауков одного типа, один кончился запустился ещё один"

Scrapy

10 September 2024 23:19

а, на что то такое готовых решений не видел, не знаю
посмотри другие админки, может в какой то такое сделано, мб в gerapy

Scrapy

10 September 2024 23:06

в конфиге scrapyd увеличь число max_proc_per_cpu и выставь в ноль max_proc
в scrapydweb разве только к одному scrapyd серверу привязка? кажется, что нет

Scrapy

10 September 2024 22:44

если надо несколько пауков, которые парсят один ресурс, то есть scrapy redis, который
если надо их в одно и то же время одновременно запускать, то ставь по таймеру/крон джобу на каждый экземпляр

Scrapy

10 September 2024 21:49

Кто то использует scrapyd и scrapydweb для продакшена? Нужно например запускать параллельно по n экземпляров одного паука, я же правильно понимаю, что такая функциональность не реализована, и мне нужно писать скрипт самому? Я уже это сделал, но у меня такое ощущение, что я изобретаю велосипед.
В scrapydweb есть запуск по таймеру, но там нет проверки на уникальность паука(spider_name+параметры) как на zyte.

Scrapy

09 September 2024 18:10

Хочу как-то сохранять стейт, чтобы он везде был одинаковым (из любой точки кроулера, когда одновременно обрабатываются несколько эндпоинтов). Пробовал хранить в текстовом файлике, но оказывается что так не работает 😅

Scrapy

09 September 2024 12:29

да просто русскоязычных источников не нашел по appium
только умершие группы/чаты

Scrapy

09 September 2024 12:24

всем привет, ребят. А кто-то работал с appium. Не подскажете, как там все настраивать верно. Дока прям печальная у них

Scrapy

09 September 2024 08:28

ну, пока - оно, чаще всего, нафуй не надо.
но, есть уже определенный процент сайтов, которые парсятся только через ХТТП/2.
это как клоуфларя - оно не "прям жить без него нельзя", то "с этим все равно столкнешся".
в скрапи есть поддержка хттп/2, насколько полная - хз. Помню, там больше проблема была в поддержке прокси.

Scrapy

09 September 2024 08:18

я просто задумался
было бы оно прям надо, в scrapy уже полная поддержка существовала

Scrapy

09 September 2024 08:15

иногда большая, иногда - нет....
это так же, как и с заголовками загоняться. Так то оно полезно, но, иногда - нафуй не надо :)

Scrapy

08 September 2024 11:24

proxy6, proxys, proxy.market...
Не бесплатные, но в целом достаточно дешевые. Там где не нужны мобильные или с ротацией на каждый запрос.

Scrapy

08 September 2024 11:19

Всем доброе время суток

Какие бесплатные proxy сервера вы используете

Scrapy

07 September 2024 17:12

это наверн единственное что меня спасёт

Scrapy

07 September 2024 17:09

https://docs.scrapy.org/en/latest/topics/dynamic-content.html