Scrapy

19 Apr 2024 09:33

Типа лимит вроде выставлен

Scrapy

19 Apr 2024 09:32

эээ, ну, так ведь можно и посмотреть...
кстати, скорее всего, он ничего не делает :)

Scrapy

19 Apr 2024 09:29

Дак я и говорю, что хочу свое сделать и объясняю почему это не хочу юзать)

Scrapy

19 Apr 2024 09:28

блд, просто посмотри как там отлов банов и сделай как тебе надо.
тебе этот ротатор нафиг не нужен

Scrapy

19 Apr 2024 09:26

Разве что в каждом запросе делать meta={"proxy": response.meta["proxy"]}, но мне не охота

Scrapy

19 Apr 2024 09:24

а у тебя что? одна прокся?

Scrapy

19 Apr 2024 09:10

О, спасиб, можно будет скопировать :D

Scrapy

19 Apr 2024 08:56

какую мидлварь используешь? самописную? если да то добавь кол-во макс ретраев, после которого мидлварь сдаётся
если готовую, посмотри, может у неё есть настройки, где это уже можно указать

Scrapy

19 Apr 2024 08:50

думаю, надо ли await на методе загрузке картинок на сервер, или достаточно создать таску, и она сама когда то выполнится?

Scrapy

16 Apr 2024 21:33

как скрапи в pypy себя ведет? проводили ли тесты? есть ли вообще смысл?)

Scrapy

16 Apr 2024 20:13

всем привет. Кто знает откуда лучше брать котировки?

Scrapy

16 Apr 2024 11:07

там, небось, GraphQL ?

Scrapy

16 Apr 2024 09:47

playwright и selenium проходят в 1 из 3 случаев в зависимости от прокси. Возможно как-то на запросах сделать?

Scrapy

16 Apr 2024 09:42

Всем привет, кто-нибудь парсил https://www.reestr-zalogov.ru/search/index?

Scrapy

15 Apr 2024 23:56

То чувство когда покупаешь выделенную айпишку и на втором запросе обнаруживаешь себя в бане

Scrapy

19 Apr 2024 09:32

Ну я не понимаю почему без конца ретраится

Scrapy

19 Apr 2024 09:30

У меня там ещё retrymiddleware включён, но хз что он вообще делает в такой ситуации

Scrapy

19 Apr 2024 09:28

у него все основано но списке проксей

Scrapy

19 Apr 2024 09:27

Нет: несколько — но мне надо одну и ту же айпишку юзать на бо́льшую часть запросов

Scrapy

19 Apr 2024 09:25

если да, то просто глянь как оно реализовано в этой мидлваре и сделай похожее. Вангую - надо отловить эксепшен

Scrapy

19 Apr 2024 09:23

Не варик, потому что там разные прокси на каждый запрос выбираются

Scrapy

19 Apr 2024 08:57

у https://github.com/TeamHG-Memex/scrapy-rotating-proxies есть ROTATING_PROXY_PAGE_RETRY_TIMES

Scrapy

19 Apr 2024 08:54

ребят, такое дело... у меня есть прокси мидлваря, и если туда случайно попадёт адрес, к которому нельзя подключиться, то там спамится connection refused by the other side, и программа виснет, будто в бесконечный цикл попадает — как бороться с таким?

Scrapy

19 Apr 2024 08:49

scrapy закроет event loop если ещё не все asyncio.Task выполнены?

Scrapy

16 Apr 2024 20:14

Котировки пшеницы? Бананов? Кофе?

Scrapy

16 Apr 2024 12:52

@El_Kevin21, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch Network

Scrapy

16 Apr 2024 10:44

беру curl bash из developer tools, вставляю в postman и получаю Introspection queries are not allowed.
есть возможность обойти? и как?
спасибо

Scrapy

16 Apr 2024 09:45

под капотом 2 api запроса у них в параметрах разные токены от recaptcha v3, Капча невидимая и висит на кнопке найти

Scrapy

16 Apr 2024 00:47

Кстати, история выше закончилась так, что всё-таки обновляться не совсем стоило, потому что tensorflow. Но конечно коллега повеселил: завещал, что всё приложение сломано будет, а в итоге только маленькая часть только пострадала с тенсорфлоу, но зато я знатно подебатировал с ним...

Scrapy

15 Apr 2024 14:35

Я вообще вопрос не понял