Scrapy

07 September 2024 17:09

а как можно динамически парсить сайт с динамическим контентом

Scrapy

07 September 2024 17:08

ну куки никуда и не деваются

Scrapy

07 September 2024 17:08

и парсинг с авторизованных аккаунтов

Scrapy

07 September 2024 17:07

слишком куча всего не понятно

Scrapy

07 September 2024 17:07

хотя если честно я сам не знаю какой вопрос

Scrapy

07 September 2024 17:06

есть варианты парсить не используя браузер ?

Scrapy

07 September 2024 17:06

ну и как минимум использовать браузер только чтобы авторизоваться, дальше брать куки и парсить без него

Scrapy

07 September 2024 17:04

если парсить на неавторизованных акках то прокси будут слетать очень быстро

Scrapy

07 September 2024 17:04

ну и это много разве

Scrapy

07 September 2024 16:58

ребят кто делал скраперы/спамеры на маркетплейс площадки, подскажите что по требованиям для сервера, как сократить потребление оперативки ? у меня запускается 2 сессии - каждая открывает и обрабатывает по 6 вкладок + -, в пике потребление до 3.5 г оперативы доходит, подскажите как быть

Scrapy

07 September 2024 01:13

https://dpaste.com/6NUT7FJ6V#line-71 здесь в логах None есть?
если пайплайн с сохранением метаданных раньше чем картиночный, то попробуй брать path из итема

Scrapy

06 September 2024 23:10

https://dpaste.com/6NUT7FJ6V

Scrapy

06 September 2024 22:22

А точно нужно обойти прям все-все мидлвари?

Scrapy

06 September 2024 14:59

в app.py ничего особенного просто маршрутизация и рендер темплейт ко всем html файлам

Scrapy

06 September 2024 14:58

Всем привет, такой вопрос: впервые собираюсь задеплоить свой сайт на хостинге ps.kz теперь возникает ошибка, сама структура файла на картинке, загрузил в файловый менеджер ps.kz эти файлы и запустил сайт

Scrapy

07 September 2024 17:08

взять куки из браузера и парсить с этими куками дальше без браузера

Scrapy

07 September 2024 17:08

то есть не просто авторизация

Scrapy

07 September 2024 17:07

я сказал что после авторизации браузер не нужен

Scrapy

07 September 2024 17:07

вы сказали что вам браузер нужен чтобы авторизация

Scrapy

07 September 2024 17:07

вопрос в том как сократить использование памяти

Scrapy

07 September 2024 17:06

я puppeteer юзаю, headless false

Scrapy

07 September 2024 17:05

сложно конечно, если парсить на авторизованных акках то мягко говоря свои проблемы тоже есть

Scrapy

07 September 2024 17:04

а как тогда пасать авторизацию?)

Scrapy

07 September 2024 17:03

не использовать хедлесс браузер хехе

Scrapy

07 September 2024 07:23

То есть просто отключил мидлвари?

Scrapy

07 September 2024 01:04

да для тестов надо было, просто в настройках "DOWNLOADER_MIDDLEWARES_BASE": {} выставил

Scrapy

06 September 2024 23:09

Привет, коллеги! Возникла проблема при работе с пеплайнами в Scrapy. У меня есть два пеплайна: один для сохранения JSON-файлов, а другой — для загрузки изображений. Я хочу, чтобы изображения и JSON-файлы сохранялись в одной и той же папке. Но вместо этого при загрузке изображений создается та же структура папок, что и при добавлении JSON-файлов, только все изображения попадают во вложенную папку None.

Я уже несколько раз проверял пути, отлаживал код, использовал ChatGPT, логи, но никак не могу найти причину. Может кто-то сталкивался с подобной проблемой или знает, как это можно исправить? Буду признателен за любую помощь!

Scrapy

06 September 2024 19:35

возможно из scrapy отправить реквест в обход всех мидлварей?

Scrapy

06 September 2024 14:59

на самом сайте такая ошибка:

Scrapy

06 September 2024 13:59

Подскажите, пожалуйста, недорогие сервисы по скрейпингу гугла. Чтобы быстро топ50 ссылок (без сниппетов) по запросу получить и ещё похожие запросы выгружал