Scrapy

08 Apr 2024 10:01

такая же как в любом генераторе

Scrapy

08 Apr 2024 10:00

если вы в любом месте напишете return то код после return не будет выполняться
паука это не останавливает

Scrapy

08 Apr 2024 10:00

это я однажды так сделал и запомнил неправильно, что в parse() ретурн останавливает паука

Scrapy

08 Apr 2024 09:58

а
это если return в start_requests, тогда понятно почему он стопится

Scrapy

08 Apr 2024 09:46

значит у меня что то не так было)

Scrapy

08 Apr 2024 08:42

окей, если считать донором airbnb*

Scrapy

08 Apr 2024 01:08

Не знаю по теме ли это чата, но вот считается, мол, brightdata дорогие. А я так посчитал для себя, посравнивал — и выходит, что они чуть ли не самые дешевые :D

Scrapy

05 Apr 2024 15:58

@omanamana - спс

Scrapy

04 Apr 2024 05:38

nu face nimic, проехали)

Scrapy

03 Apr 2024 12:09

Но как бы да, это "забудьте", но в специфическом значении

Scrapy

03 Apr 2024 10:43

Можно перевести с английского дословно. Забудьте😁. Но видимо русский язык шёл мимо

Scrapy

03 Apr 2024 01:48

"Забейте" грубее звучит

Scrapy

02 Apr 2024 22:53

подскажите как найти спамовые вебсайты?
мусорки, которые состоят чисто из рекламы

Scrapy

02 Apr 2024 18:55

проверял на мегамаркете

Scrapy

02 Apr 2024 18:45

ну щас 1.3 самое сложное

Scrapy

08 Apr 2024 10:01

Middleware лучше был бы мб?

Scrapy

08 Apr 2024 10:00

а кстати вообще в чем разница return и yield в parse()?

Scrapy

08 Apr 2024 09:59

ну start_requests же генератор
если я там ретурн напишу то дальше он не будет возвращать реквесты, стоп итерайшн будет после ретурна

Scrapy

08 Apr 2024 09:47

ну значит просто ретурн делать?

Scrapy

08 Apr 2024 09:45

как пропускать пустые тела ответа? пока что делаю так

    async def parse(self, response):
        if response.body:
            ...
            yield item

    async def parse(self, response):
        if not response.body:
            #continue?
            #return?
            ...
        ...
        yield item

Scrapy

08 Apr 2024 07:59

сравнивание проксей без донора - это как описание сферического коня в вакууме.
Для некоторых задач и прокся со встроенным обходом клоудфлари слабая, а для некоторых - и бесплатные нафуй не нужны :).
К примеру, мне, brightdata будет совсем не выгодная...

Scrapy

07 Apr 2024 22:42

Есть ли библиотеки для парсинга десктопных программ, у которых есть GUI ? Если есть, то прошу перечислить. Спасибо

Scrapy

04 Apr 2024 08:56

карочь, флуд почистил, если что - голосите

Scrapy

03 Apr 2024 12:10

Энивей, что написано, то написано

Scrapy

03 Apr 2024 11:20

по японски это дахусим

Scrapy

03 Apr 2024 01:48

Можно сказать "не важно", но уже и не важно

Scrapy

03 Apr 2024 01:36

невермаеенд
оууу меееен а вы из англии77

Scrapy

02 Apr 2024 19:07

В феврале м-видео точно работало.

Scrapy

02 Apr 2024 18:45

и curl_cffi не канает с 1.3

Scrapy

02 Apr 2024 18:45

Зачем селениум?Что бы тлс обойти...