Scrapy

08 Sep 2024 22:10

а большая ли польза от http/2 в плане парсинга?

Scrapy

08 Sep 2024 11:23

Есть же наверное какая-то логика фильтрации юзеров и их объявлений. Есть логика запросов. Если понятно как составлять запросы, значит можно и логику реализовать и без браузера. Казалось бы.

Scrapy

07 Sep 2024 17:13

просто думал что есть какие то лазейки/способы уменьшить потребление

Scrapy

07 Sep 2024 17:12

у меня такая задача что нельзя просто получить желаемый json, есть нужда в том чтобы постоянно открывать новые вкладки и фильтровать юзеров, после чего фильтровать их обьявления

Scrapy

07 Sep 2024 17:09

а как можно динамически парсить сайт с динамическим контентом

Scrapy

07 Sep 2024 17:08

ну куки никуда и не деваются

Scrapy

07 Sep 2024 17:08

и парсинг с авторизованных аккаунтов

Scrapy

07 Sep 2024 17:07

слишком куча всего не понятно

Scrapy

07 Sep 2024 17:07

хотя если честно я сам не знаю какой вопрос

Scrapy

07 Sep 2024 17:06

есть варианты парсить не используя браузер ?

Scrapy

07 Sep 2024 17:06

ну и как минимум использовать браузер только чтобы авторизоваться, дальше брать куки и парсить без него

Scrapy

07 Sep 2024 17:04

если парсить на неавторизованных акках то прокси будут слетать очень быстро

Scrapy

07 Sep 2024 17:04

ну и это много разве

Scrapy

07 Sep 2024 16:58

ребят кто делал скраперы/спамеры на маркетплейс площадки, подскажите что по требованиям для сервера, как сократить потребление оперативки ? у меня запускается 2 сессии - каждая открывает и обрабатывает по 6 вкладок + -, в пике потребление до 3.5 г оперативы доходит, подскажите как быть

Scrapy

07 Sep 2024 01:13

https://dpaste.com/6NUT7FJ6V#line-71 здесь в логах None есть?
если пайплайн с сохранением метаданных раньше чем картиночный, то попробуй брать path из итема

Scrapy

08 Sep 2024 11:24

proxy6, proxys, proxy.market...
Не бесплатные, но в целом достаточно дешевые. Там где не нужны мобильные или с ротацией на каждый запрос.

Scrapy

08 Sep 2024 11:19

Всем доброе время суток

Какие бесплатные proxy сервера вы используете

Scrapy

07 Sep 2024 17:12

это наверн единственное что меня спасёт

Scrapy

07 Sep 2024 17:09

https://docs.scrapy.org/en/latest/topics/dynamic-content.html

Scrapy

07 Sep 2024 17:08

взять куки из браузера и парсить с этими куками дальше без браузера

Scrapy

07 Sep 2024 17:08

то есть не просто авторизация

Scrapy

07 Sep 2024 17:07

я сказал что после авторизации браузер не нужен

Scrapy

07 Sep 2024 17:07

вы сказали что вам браузер нужен чтобы авторизация

Scrapy

07 Sep 2024 17:07

вопрос в том как сократить использование памяти

Scrapy

07 Sep 2024 17:06

я puppeteer юзаю, headless false

Scrapy

07 Sep 2024 17:05

сложно конечно, если парсить на авторизованных акках то мягко говоря свои проблемы тоже есть

Scrapy

07 Sep 2024 17:04

а как тогда пасать авторизацию?)

Scrapy

07 Sep 2024 17:03

не использовать хедлесс браузер хехе

Scrapy

07 Sep 2024 07:23

То есть просто отключил мидлвари?

Scrapy

07 Sep 2024 01:04

да для тестов надо было, просто в настройках "DOWNLOADER_MIDDLEWARES_BASE": {} выставил