Я не уверен, что существует интеграция кафки с скрепи пауками, и тогда ее придеться писать самому, а для редиса существует.
Но можно еще проще поступить, можно просто передавать start_url через параметр запуска
То есть ты читаешь весь список url из файла, а потом запускаешь их последовательно, поддерживая определенное количество одновременно запущенных пауков, для этого нужно объединить 2 этих подхода:
(лучше попроси у chatgpt объединить их, тк код тут не очень чистый😂)

И просто запускай этот скрипт через crontab

Читать полностью…

Кол-во рабочих пауков имеется ввиду использовать мультипроцессинг?

Читать полностью…

Я бы на твоем месте записал 15к url в redis, а потом просто бы запускал паук, где он start_url берет из redis очереди. В итоге скорость работы можно будет поднять увеличением количества рабочих пауков
(Для этого имеет смысл поднять scrapyd сервер)

Читать полностью…

нет, их не так много, я утрировал, скорее всего бан такого типа предполагаю

Читать полностью…

вы у нас спрашиваете?

Читать полностью…

То есть, если сайт отвечает больше 15 сек, то можно считать его нерабочим?

Читать полностью…

конечно, как его ускорить

Читать полностью…

Ну тогда наверное можно загнать все сайты в белый список и работать.

Читать полностью…

он и разруливает, через таймаут, но человеку хочется дождаться

Читать полностью…

Все равно придется юзать семафор, так как соединений неользя открыть больше положенного, да и дорого прокачать такой сервка, нужно бюольше железа

Читать полностью…

Если из 15 к сайтов, таких будет 5 к, то время обработки улетает в бесконечность

Читать полностью…

зачем это обходить? пусть сидит ждёт

Читать полностью…

Также усложняет парсинг время ответа сайтов, некторые по 20 секунд отвечают

Читать полностью…

Вы бы хоть написали нужен браузер или нет.

Читать полностью…

Скрапи может быть очень быстрым в умелых руках. Очень широкая постановка задачи. Известны ли все урлы по которым надо пройтись на момент старта? Куда нужно писать данные? Какой бюджет на прокси? Сколько машин доступно для запуска пауков? Как надо обрабатывать баны/отвалившиеся сайты/рейтлимиты? Какой процент удачно обработанных запросов считается успехом? Какой ответ на самый главный вопрос жизни, вселеной и всего такого?

Читать полностью…

нет, просто отдельные процессы, зачем мультипроцессинг

Читать полностью…

А если вместо редиса, брать из кафки? Условно 1 сайт - 1 сообщение в кафке

Читать полностью…

страничка про broad crawls в доке буквально предлагает уменьшать таймаут

Читать полностью…

если у вас сайты по 20 секунд отвечают и таких треть, наверно они "рабочие"?

Читать полностью…

Бывают такие защиты от ботов. Похоже оно.

Читать полностью…

но сомнительно что настоящие сайты так долго отвечают

Читать полностью…

Не понял меня походу, имею ввиду, я спршивал, правильно понимаю, что только отвал по таймуту поможет в этой ситуции никак чужой сервак не ускорить

Читать полностью…

Правило простое, идти только по страницам сайта

Читать полностью…

Отбой по таймауту и возврат ссылки в базу с пометкой на перезапуск. Но вообще скрапи сам таки ситуации разруливать должен.

Читать полностью…

только если обработка синхронная

Читать полностью…

В скрапи придется для каждого сайта настраивать правила ,чтобы паук не убежал и не собрал лишнего.
Если придумаете, как это сделать, то все реально.

Читать полностью…

Как я понимаю, это обойти никак не получится?

Читать полностью…

Известны ли все урлы по которым надо пройтись на момент старта?

Имеется ввиду главные страницы, да, на вход подается список сайтов, затем нужно пройти по всем страницам этих сайтов и достать текст старниц

Куда нужно писать данные?

отдавать результат в кафку

Какой бюджет на прокси?

100-200 баксов в месяц

Сколько машин доступно для запуска пауков?

А сколько нужно для того, чтобы успешно спарсить и проверить 15 к сайтов за 4 часа? Сейчас у меня только один сервак, справляется вроде бы

Как надо обрабатывать баны/отвалившиеся сайты/рейтлимиты?

Бан - смена прокси?
Отвалившееся или нерабочие счиатются пройденными проверку
рейтлимиты - смена прокси?

Какой процент удачно обработанных запросов считается успехом?

В идеале всех

Читать полностью…

Если не ошибаюсь там скрапи кластер используют. Поднимают кубер и все такое. Там уже не чисто скрапи

Читать полностью…

Я думаю мало кто занимался парсингом кучи разных сайтов. Скорее одного и подробно.

Быстрый? Да.

Читать полностью…