Scrapy

16 February 2025 20:44

все же что-то не то.
скажите пожалуйста, точно ни у кого playwright на озон не отвалился? он у меня вообще не фурычит что только не менял. даже куки подставные - застревает на Antibot Challenge

Scrapy

05 February 2025 14:37

Ребят, а кто-нибудь делал парсер вакансий Авито?

Scrapy

31 January 2025 12:44

вы это везде спрашиваете или вас там несколько? а то я не знаю отвечать ли везде одно и то же или нет :)

Scrapy

31 January 2025 12:43

Где "If you are using CrawlerRunner"

Scrapy

31 January 2025 12:42

Это пробовали? https://docs.scrapy.org/en/latest/topics/asyncio.html#installing-the-asyncio-reactor

Scrapy

31 January 2025 08:38

Есть сайты, их примерно 15 к
Я точно не считал, сколько у каждого сайта страниц, большинство из них 20+ страниц, есть и лендинги, не предполагаю, а точно нужно спросить все страницы и на каждой странице проверить по алгоритму готовому.

Да, с моими мощностями за 4 часа я не пройду, это правда

Поэтому тут хотел пообсуждать

У меня самописный класс условно, асинхронный, плюс по воркерам разбиты чанки сайтов, занимает до 4 часов Парсинг всех сайтов, 70-80 % проходит, да, некоторые мертвые, у некоторых страницы мертвые и куча еще нюансов

2 процесса занимает 1 - 2 гига рам

Я просто думал переписать это все на скрапи и вынести в микросервис, чтобы он только за это отвечал

Думаю реально спарсить весь инет, если нужно, просто вопрос железа

Scrapy

30 January 2025 17:51

чота смутили вы меня, я подумал что вообще чего-то не догоняю, а картина мира в целом оказалась такой же, как и представлял)

(ну, либо я что-то мощно не догнал, не отрицаю такой вероятности, кек)

Scrapy

30 January 2025 17:38

(да, я понимаю, звучит тупо, но расскажите, плз), типа, сколько надо отправлять самому по самописному коду, или там какая-то редисная магия происходит.

Scrapy

30 January 2025 17:34

Редис = in memory db

Scrapy

30 January 2025 17:32

Просто почтай -на половину вопросов совершенно по другому посмотришь

Scrapy

30 January 2025 17:31

да мне норм, я не стесняюсь показать никада что не особо в чем-то шарю)

Scrapy

30 January 2025 17:31

Не люблю такое людям говорить. Но, из-за не знания технологии ты дичь пишешь 😏

Scrapy

30 January 2025 17:29

Ээээ
Почитай/посмотри как scrapy-redis работает...

Scrapy

30 January 2025 17:26

немного не так сформулировал, больше интересует не как ты start_urls получаешь, а вот как ты получаешь воркеры, они сами автоматом почкуются, пока не займут позволенные все ресурсы сервера? И как ты им задачи отдаешь

Scrapy

30 January 2025 17:23

А какое их количество и как ты их получаешь? Условно есть каталог, и там по буквам, или брендам? Аля такого? Я прост к чему - не нужен даже на таких количествах какой-то пулинг там, очереди сообщений, вот это фсе...

Scrapy

07 February 2025 12:17

Всем привет!
Есть кто-нибудь кто занимается Amazon?
Вопросы вызывают их текущие ограничения на отзывы.
Есть ли способы нагенерировать аккаунтов? или можно каким-то волшебным образом обойти ограничения/использовать иные эндпоинты (раньше работал на hz/reviews-render/ajax/reviews/get)?
Буду рад любым подсказкам и советам

Scrapy

31 January 2025 12:46

Тогда лучше на гите, там этот ответ больше людей найдёт. Там спрашивает мой знакомый, он спросил меня так как у меня чуть больше опыта со скрапи. Но я так же понятия не имею как это заранить )

Поэтому пришёл спросить сюда )

Scrapy

31 January 2025 12:44

А, не заметил, тогда хз)

Scrapy

31 January 2025 12:42

Да, AsyncioSelectorReactor установлен. У парня со стаковерфлоу тоже

Scrapy

31 January 2025 11:07

Всем привет.

Возникла задача аналогичная вопросу отсюда - https://stackoverflow.com/questions/79244988/unable-to-integrate-asyncio-and-scrapy

То есть необходимо запустить кроулер из asyncio корутины.

async def run_scraper() -> None:
    crawler_runner = CrawlerRunner()
    deferred = crawler_runner.crawl(BlogSpider)
    await deferred_to_future(deferred)

Scrapy

30 January 2025 19:35

А чего смущаться. Это же не самый простой софт. Я вот никак оптимальную панельку для статистики и управления воркерами не могу подобрать. Есть какие то платные. А на гитхаб и не видно вроде ничего.

Scrapy

30 January 2025 17:48

короче из того, что я понял (но это не точно), магии особой не происходит, судя по https://github.com/rmax/scrapy-redis/wiki/Usage
НО - медленного dupefilter на большом количестве решается походу, а это уже хорошо. Насчет start_urls понял что похоже бред написал, т.к. этим наверно чисто и сам скрапи рулит в своем шедулере (ну а тут шедулер тот же но на редисе).

Scrapy

30 January 2025 17:37

это то понятно, я про то, он тупо айтемсы у себя хранит или еще очередями занимается. как он со start_urls работает на эти твои 500+ воркеров мне интересно вот, механизм распределения

Scrapy

30 January 2025 17:33

да я глянул уже, как я щас по-диагонали понял, редис там и символизирует аналог очереди сообщений и как раз за этим автоматом и следит, так?

Scrapy

30 January 2025 17:31

потому и спрашиваю собсна)

Scrapy

30 January 2025 17:31

походу надо. у меня около-самописная какая-то херня была, не тот что популярный, и изначально вообще на монге было

Scrapy

30 January 2025 17:29

типа, закончил он свои задачки обрабатывать, берет следующий start_urls и дальше молотит?

Scrapy

30 January 2025 17:28

если есть какой-то start_url где очень много условных товаров, и какой-то - где их мало, как такие ситуации обрабатываются?

Scrapy

30 January 2025 17:24

или жеска N_start_urls/workers = N и вот тебе и N "пул", кек

Scrapy

30 January 2025 17:19

Или скрапи-редис. Я не разбирался, кто из них косячит 😁