Scrapy

31 January 2025 12:43

Где "If you are using CrawlerRunner"

Scrapy

31 January 2025 12:42

Это пробовали? https://docs.scrapy.org/en/latest/topics/asyncio.html#installing-the-asyncio-reactor

Scrapy

31 January 2025 08:38

Есть сайты, их примерно 15 к
Я точно не считал, сколько у каждого сайта страниц, большинство из них 20+ страниц, есть и лендинги, не предполагаю, а точно нужно спросить все страницы и на каждой странице проверить по алгоритму готовому.

Да, с моими мощностями за 4 часа я не пройду, это правда

Поэтому тут хотел пообсуждать

У меня самописный класс условно, асинхронный, плюс по воркерам разбиты чанки сайтов, занимает до 4 часов Парсинг всех сайтов, 70-80 % проходит, да, некоторые мертвые, у некоторых страницы мертвые и куча еще нюансов

2 процесса занимает 1 - 2 гига рам

Я просто думал переписать это все на скрапи и вынести в микросервис, чтобы он только за это отвечал

Думаю реально спарсить весь инет, если нужно, просто вопрос железа

Scrapy

30 January 2025 17:51

чота смутили вы меня, я подумал что вообще чего-то не догоняю, а картина мира в целом оказалась такой же, как и представлял)

(ну, либо я что-то мощно не догнал, не отрицаю такой вероятности, кек)

Scrapy

30 January 2025 17:38

(да, я понимаю, звучит тупо, но расскажите, плз), типа, сколько надо отправлять самому по самописному коду, или там какая-то редисная магия происходит.

Scrapy

30 January 2025 17:34

Редис = in memory db

Scrapy

30 January 2025 17:32

Просто почтай -на половину вопросов совершенно по другому посмотришь

Scrapy

30 January 2025 17:31

да мне норм, я не стесняюсь показать никада что не особо в чем-то шарю)

Scrapy

30 January 2025 17:31

Не люблю такое людям говорить. Но, из-за не знания технологии ты дичь пишешь 😏

Scrapy

30 January 2025 17:29

Ээээ
Почитай/посмотри как scrapy-redis работает...

Scrapy

30 January 2025 17:26

немного не так сформулировал, больше интересует не как ты start_urls получаешь, а вот как ты получаешь воркеры, они сами автоматом почкуются, пока не займут позволенные все ресурсы сервера? И как ты им задачи отдаешь

Scrapy

30 January 2025 17:23

А какое их количество и как ты их получаешь? Условно есть каталог, и там по буквам, или брендам? Аля такого? Я прост к чему - не нужен даже на таких количествах какой-то пулинг там, очереди сообщений, вот это фсе...

Scrapy

30 January 2025 17:17

Пс. Тока чур не стартурлс,... Скажи с ним коряво работает 👀

Scrapy

30 January 2025 17:16

наверное я слишком много за того парня подумал, если я на 2 ляма кэш стока был, то на 15 лям страниц (по тыще, еще одна ошибка далеких преположений) подумалось, что будет 5-10 терабайт

Scrapy

30 January 2025 17:14

Вопрос условий задачи. У меня чуть другие вводные. Csv точно не прокатит 😁

Scrapy

31 January 2025 12:42

Да, AsyncioSelectorReactor установлен. У парня со стаковерфлоу тоже

Scrapy

31 January 2025 11:07

Всем привет.

Возникла задача аналогичная вопросу отсюда - https://stackoverflow.com/questions/79244988/unable-to-integrate-asyncio-and-scrapy

То есть необходимо запустить кроулер из asyncio корутины.

async def run_scraper() -> None:
    crawler_runner = CrawlerRunner()
    deferred = crawler_runner.crawl(BlogSpider)
    await deferred_to_future(deferred)

Scrapy

30 January 2025 19:35

А чего смущаться. Это же не самый простой софт. Я вот никак оптимальную панельку для статистики и управления воркерами не могу подобрать. Есть какие то платные. А на гитхаб и не видно вроде ничего.

Scrapy

30 January 2025 17:48

короче из того, что я понял (но это не точно), магии особой не происходит, судя по https://github.com/rmax/scrapy-redis/wiki/Usage
НО - медленного dupefilter на большом количестве решается походу, а это уже хорошо. Насчет start_urls понял что похоже бред написал, т.к. этим наверно чисто и сам скрапи рулит в своем шедулере (ну а тут шедулер тот же но на редисе).

Scrapy

30 January 2025 17:37

это то понятно, я про то, он тупо айтемсы у себя хранит или еще очередями занимается. как он со start_urls работает на эти твои 500+ воркеров мне интересно вот, механизм распределения

Scrapy

30 January 2025 17:33

да я глянул уже, как я щас по-диагонали понял, редис там и символизирует аналог очереди сообщений и как раз за этим автоматом и следит, так?

Scrapy

30 January 2025 17:31

потому и спрашиваю собсна)

Scrapy

30 January 2025 17:31

походу надо. у меня около-самописная какая-то херня была, не тот что популярный, и изначально вообще на монге было

Scrapy

30 January 2025 17:29

типа, закончил он свои задачки обрабатывать, берет следующий start_urls и дальше молотит?

Scrapy

30 January 2025 17:28

если есть какой-то start_url где очень много условных товаров, и какой-то - где их мало, как такие ситуации обрабатываются?

Scrapy

30 January 2025 17:24

или жеска N_start_urls/workers = N и вот тебе и N "пул", кек

Scrapy

30 January 2025 17:19

Или скрапи-редис. Я не разбирался, кто из них косячит 😁

Scrapy

30 January 2025 17:16

Start URLs в Redis, каждый парсер считывает ссылки из Redis. В Docker поднимаешь 500+ воркеров (в зависимости от характеристик сервера). Масштабируешь на необходимое количество серверов. Все это можно обойти за условный час без особых усилий. Прокси с ротацией под капотом провайдера

Scrapy

30 January 2025 17:14

у меня просто задачка была на 2 ляма, и надо было хранить еще кэш. Потому-что требования постоянно менялись. И там было типа гигов 700 что-ли емнип

Scrapy

30 January 2025 17:14

не ну ты монстр, чо!