Scrapy

09 Sep 2024 08:18

я просто задумался
было бы оно прям надо, в scrapy уже полная поддержка существовала

Scrapy

09 Sep 2024 08:15

иногда большая, иногда - нет....
это так же, как и с заголовками загоняться. Так то оно полезно, но, иногда - нафуй не надо :)

Scrapy

08 Sep 2024 11:24

proxy6, proxys, proxy.market...
Не бесплатные, но в целом достаточно дешевые. Там где не нужны мобильные или с ротацией на каждый запрос.

Scrapy

08 Sep 2024 11:19

Всем доброе время суток

Какие бесплатные proxy сервера вы используете

Scrapy

07 Sep 2024 17:12

это наверн единственное что меня спасёт

Scrapy

07 Sep 2024 17:09

https://docs.scrapy.org/en/latest/topics/dynamic-content.html

Scrapy

07 Sep 2024 17:08

взять куки из браузера и парсить с этими куками дальше без браузера

Scrapy

07 Sep 2024 17:08

то есть не просто авторизация

Scrapy

07 Sep 2024 17:07

я сказал что после авторизации браузер не нужен

Scrapy

07 Sep 2024 17:07

вы сказали что вам браузер нужен чтобы авторизация

Scrapy

07 Sep 2024 17:07

вопрос в том как сократить использование памяти

Scrapy

07 Sep 2024 17:06

я puppeteer юзаю, headless false

Scrapy

07 Sep 2024 17:05

сложно конечно, если парсить на авторизованных акках то мягко говоря свои проблемы тоже есть

Scrapy

07 Sep 2024 17:04

а как тогда пасать авторизацию?)

Scrapy

07 Sep 2024 17:03

не использовать хедлесс браузер хехе

Scrapy

09 Sep 2024 08:17

про антибот системы?

Scrapy

08 Sep 2024 22:10

а большая ли польза от http/2 в плане парсинга?

Scrapy

08 Sep 2024 11:23

Есть же наверное какая-то логика фильтрации юзеров и их объявлений. Есть логика запросов. Если понятно как составлять запросы, значит можно и логику реализовать и без браузера. Казалось бы.

Scrapy

07 Sep 2024 17:13

просто думал что есть какие то лазейки/способы уменьшить потребление

Scrapy

07 Sep 2024 17:12

у меня такая задача что нельзя просто получить желаемый json, есть нужда в том чтобы постоянно открывать новые вкладки и фильтровать юзеров, после чего фильтровать их обьявления

Scrapy

07 Sep 2024 17:09

а как можно динамически парсить сайт с динамическим контентом

Scrapy

07 Sep 2024 17:08

ну куки никуда и не деваются

Scrapy

07 Sep 2024 17:08

и парсинг с авторизованных аккаунтов

Scrapy

07 Sep 2024 17:07

слишком куча всего не понятно

Scrapy

07 Sep 2024 17:07

хотя если честно я сам не знаю какой вопрос

Scrapy

07 Sep 2024 17:06

есть варианты парсить не используя браузер ?

Scrapy

07 Sep 2024 17:06

ну и как минимум использовать браузер только чтобы авторизоваться, дальше брать куки и парсить без него

Scrapy

07 Sep 2024 17:04

если парсить на неавторизованных акках то прокси будут слетать очень быстро

Scrapy

07 Sep 2024 17:04

ну и это много разве

Scrapy

07 Sep 2024 16:58

ребят кто делал скраперы/спамеры на маркетплейс площадки, подскажите что по требованиям для сервера, как сократить потребление оперативки ? у меня запускается 2 сессии - каждая открывает и обрабатывает по 6 вкладок + -, в пике потребление до 3.5 г оперативы доходит, подскажите как быть