Scrapy

14 May 2024 16:03

Ну тут я уже не компетентен)

Scrapy

14 May 2024 16:02

Ну понят код в любом случае тоже нужно)

Scrapy

14 May 2024 16:01

ну вроде хочется парсить без использования хедлесс браузера, нормальное желание

Scrapy

14 May 2024 16:00

тут есть еще и оборотная сторона. Сегодня работает, завтра код поменяли и снова лезть разбираться.

Scrapy

14 May 2024 15:58

потому и хочу научиться деобфусцировать, чтобы не тратить время на получение кук и прочее))

Scrapy

14 May 2024 15:56

я за тише едешь дальше будешь. но сейчас попробую быстро :)

Scrapy

14 May 2024 15:53

а то кто-нибудь в бан отлетит и будет печалька

Scrapy

14 May 2024 15:52

ок, тоже на shared делал

Scrapy

14 May 2024 15:51

собрал 70к товаров на своей проге

Scrapy

14 May 2024 15:51

может и так, но у него вроде прокси и в бан на долго могут отлетать

Scrapy

14 May 2024 15:50

парсить раз в 4 секунды 30 минут

Scrapy

14 May 2024 15:50

у меня стабильно 30 минут так живут. Никаких капч

Scrapy

14 May 2024 15:49

я каждые 200 запросов их обновляю

Scrapy

14 May 2024 15:49

на мерлине стоит краторавская по моему

Scrapy

14 May 2024 15:49

потом на js писать парсеры и так далее, расширяться свой стек

Scrapy

14 May 2024 16:02

речь про то что там не только челлендж решать

Scrapy

14 May 2024 16:01

если речь про всякие кураторы/клоудфлари - так там проблемка "чуть чуть" глубже, чем просто понять, как код работает.

Scrapy

14 May 2024 16:01

Я могу херню нести, так что не нужно биться об стену

Scrapy

14 May 2024 16:00

убейте меня об стену, но, я не понимаю, как одно с другим связано...

Scrapy

14 May 2024 15:57

ну тем самым, когда быстро парсишь сразу поймешь, что как бы и забанить могут, то есть уже знать будешь.. а так, если парсил медленно, в один момент скорость поднимаешь и все, кердык

Scrapy

14 May 2024 15:54

ну понятно, что с одним то совсем медленно... У одного провайдера брали - какая-то часть изначально в бане - показывает сайт недоступен через vpn.

Scrapy

14 May 2024 15:53

главное, чтобы они у нас разные были)

Scrapy

14 May 2024 15:52

а какие прокси? или почем за штуку, ориентировочно?

Scrapy

14 May 2024 15:51

не сталкивался с таким

Scrapy

14 May 2024 15:51

или как у меня 20 запросов

Scrapy

14 May 2024 15:50

ну можно примерно посчитать

Scrapy

14 May 2024 15:50

слишком оптимистично Вы их используете, зря расходуете ресурсы. Попробуйте 4 секунды паузу и 1 запрос на прокси

Scrapy

14 May 2024 15:49

у меня куки дохнут через 2 минуты ахахахахха

Scrapy

14 May 2024 15:49

на мерлине капча? Только что с ним занимался, не видел никакой капчи. Через обычные прокси с получнием кук раз в 30 минут

Scrapy

14 May 2024 15:48

ну это я так думаю, хз