Я бы на твоем месте записал 15к url в redis, а потом просто бы запускал паук, где он start_url берет из redis очереди. В итоге скорость работы можно будет поднять увеличением количества рабочих пауков
(Для этого имеет смысл поднять scrapyd сервер)

Читать полностью…

нет, их не так много, я утрировал, скорее всего бан такого типа предполагаю

Читать полностью…

вы у нас спрашиваете?

Читать полностью…

То есть, если сайт отвечает больше 15 сек, то можно считать его нерабочим?

Читать полностью…

конечно, как его ускорить

Читать полностью…

Ну тогда наверное можно загнать все сайты в белый список и работать.

Читать полностью…

он и разруливает, через таймаут, но человеку хочется дождаться

Читать полностью…

Все равно придется юзать семафор, так как соединений неользя открыть больше положенного, да и дорого прокачать такой сервка, нужно бюольше железа

Читать полностью…

Если из 15 к сайтов, таких будет 5 к, то время обработки улетает в бесконечность

Читать полностью…

зачем это обходить? пусть сидит ждёт

Читать полностью…

Также усложняет парсинг время ответа сайтов, некторые по 20 секунд отвечают

Читать полностью…

Вы бы хоть написали нужен браузер или нет.

Читать полностью…

Скрапи может быть очень быстрым в умелых руках. Очень широкая постановка задачи. Известны ли все урлы по которым надо пройтись на момент старта? Куда нужно писать данные? Какой бюджет на прокси? Сколько машин доступно для запуска пауков? Как надо обрабатывать баны/отвалившиеся сайты/рейтлимиты? Какой процент удачно обработанных запросов считается успехом? Какой ответ на самый главный вопрос жизни, вселеной и всего такого?

Читать полностью…

Если уже есть парсер, то в чем вопрос непонятно

Читать полностью…

Насколько он быстрый, я слышал что можно развернуть кластер, у меня есть кафка, редис тоже не проблема

Читать полностью…

страничка про broad crawls в доке буквально предлагает уменьшать таймаут

Читать полностью…

если у вас сайты по 20 секунд отвечают и таких треть, наверно они "рабочие"?

Читать полностью…

Бывают такие защиты от ботов. Похоже оно.

Читать полностью…

но сомнительно что настоящие сайты так долго отвечают

Читать полностью…

Не понял меня походу, имею ввиду, я спршивал, правильно понимаю, что только отвал по таймуту поможет в этой ситуции никак чужой сервак не ускорить

Читать полностью…

Правило простое, идти только по страницам сайта

Читать полностью…

Отбой по таймауту и возврат ссылки в базу с пометкой на перезапуск. Но вообще скрапи сам таки ситуации разруливать должен.

Читать полностью…

только если обработка синхронная

Читать полностью…

В скрапи придется для каждого сайта настраивать правила ,чтобы паук не убежал и не собрал лишнего.
Если придумаете, как это сделать, то все реально.

Читать полностью…

Как я понимаю, это обойти никак не получится?

Читать полностью…

Известны ли все урлы по которым надо пройтись на момент старта?

Имеется ввиду главные страницы, да, на вход подается список сайтов, затем нужно пройти по всем страницам этих сайтов и достать текст старниц

Куда нужно писать данные?

отдавать результат в кафку

Какой бюджет на прокси?

100-200 баксов в месяц

Сколько машин доступно для запуска пауков?

А сколько нужно для того, чтобы успешно спарсить и проверить 15 к сайтов за 4 часа? Сейчас у меня только один сервак, справляется вроде бы

Как надо обрабатывать баны/отвалившиеся сайты/рейтлимиты?

Бан - смена прокси?
Отвалившееся или нерабочие счиатются пройденными проверку
рейтлимиты - смена прокси?

Какой процент удачно обработанных запросов считается успехом?

В идеале всех

Читать полностью…

Если не ошибаюсь там скрапи кластер используют. Поднимают кубер и все такое. Там уже не чисто скрапи

Читать полностью…

Я думаю мало кто занимался парсингом кучи разных сайтов. Скорее одного и подробно.

Быстрый? Да.

Читать полностью…

Хотел просто обсудить, как вы видите это все, буду благодарен, если поделитесь мыслями

Читать полностью…

И я спрашивал не то, насколько у меня есть знаний, а условно, если бы я знал скрапи, то помог бы он мне

Читать полностью…