Scrapy

06 May 2025 15:13

Знаете как купить прокси на webshare?

Scrapy

04 May 2025 20:46

а вы используете https://github.com/scrapy-plugins/scrapy-playwright ? и отключаете там картинки, сторонние запросы, ну и всякие шрифты и css ненужные? Там емнип можно статистику по-памяти прикрутить, вот насчет того, чтобы все пауки с этой либой использовали один и тот же пул из какого-то количества только браузеров - вот это не знаю, можно ли такое сделать, но я бы смотрел в этом направлении.
Жпт говорит мол прям такого нет, но можно написать и накидывает про Persistent Contexts, Limit Contexts and Pages

Scrapy

04 May 2025 19:48

непонятно что именно вы хотите, универсальное решение, обход капч или не учиться скрейпить апи

Scrapy

04 May 2025 19:46

Ну кроме как ручками писать для каждого такого свое решение я особо выхода не вижу. Обычно серебряные пули на поверку не такие уж серебряные

Scrapy

04 May 2025 19:44

Я парсю разные сайты. Рсс ленту или просто страничку с помощью xpath, css, trafilatura или вообще регекс

Scrapy

04 May 2025 19:36

Всем добрый вечер.Может кто то знает тут, как парсить сайты с js или которые просто требуют браузер. У меня скрапи кластер который на кубере. Туда внедрить плейрат тяжело. Чет пока тыкаю browserless. Парсю новости, много новостей

Scrapy

03 May 2025 14:55

скорее всего которая не асинхронная и с объектами со статичной структурой (без добавления\удаления\создания атрибутов в рантайме)

Scrapy

03 May 2025 14:31

тип того
можно упороться как большие дяди с распределенными вычислениями, а можно попробовать попроще через ijson, я когда огромные джсоны парсил он был спасением

Scrapy

03 May 2025 14:26

думаю прирост в производительности это даст если будет очень много одновременных и маленьких реквестов, прям очень много
а если затык только в больших данных, то имеет смысл их обрабатывать итеративно, по чанкам, с ленивыми\отложенными вычислениями

Scrapy

03 May 2025 14:20

вы для себя опишите что это вам даст по сравнению со скрапи

Scrapy

03 May 2025 14:20

В плане, вопросов которые надо задать

Scrapy

03 May 2025 14:19

видимо там было цпу-баунд

Scrapy

03 May 2025 14:18

не знаю, слишком общая идея

Scrapy

03 May 2025 14:16

тут лучше тогда вместо стандартного json посмотреть на ijson, но переписывать немало придётся
а так если drop-in можно попробовать orjson, он пооптимальней стандартного будет, но не как simdjson, но с ним я никогда не работал

Scrapy

03 May 2025 14:10

ну если упор в проц то это либо очень много рпм, либо огромные html/json’ы, которые сразу все тяжело парсить
ну или если селениум/плейрайт использовать, там ввще жопа

Scrapy

04 May 2025 20:49

Я пытался это внедрить. Просто все ноды в курбере падают. Кажется чет не то делаю. Думаю сервис с браузером отдельно вытащить. Но спасибо еще раз посмотрю

Scrapy

04 May 2025 19:48

если "просто требуют браузер" то конечно надо запускать браузер, и конечно он тяжёлый

Scrapy

04 May 2025 19:47

Все работает на селениуме или плейрате. Они тяжёлые. Постоянно падают. Либо не хватает цп либо рам либо не понятно что

Scrapy

04 May 2025 19:45

Большинство сайтов нормально. Но маленький процент который нозят и бесят

Scrapy

04 May 2025 19:43

Смотрел откуда данные приходят? Обычно можно найти открытую апишку.

Scrapy

04 May 2025 18:58

Im new here and looking for hot twitter accounts

Scrapy

03 May 2025 14:40

на самом деле скомпиленный scrapy.core не работает, например судя по всему inlineCallbacks не умеет mypyc
так что ещё вопрос какая часть кодовой базы вообще компилится

Scrapy

03 May 2025 14:29

То есть условно сделать общую очередь для ответов, ей повесить например 5 слушателей, которые будут набирать себе батчи и процессить их?

Scrapy

03 May 2025 14:21

Может действительно, задача слишком узкая..

Scrapy

03 May 2025 14:20

чтобы получить от меня "комментарий, насколько эта мысль абсурдна/бредова?"? не знаю стоит ли оно того

Scrapy

03 May 2025 14:19

Как её осмыслить/обрисовать более конкретно?

Scrapy

03 May 2025 14:19

Вот только, кодя на расте 3 недели, получил прирост производительности x6 с одной машины

Scrapy

03 May 2025 14:18

Да вот orjson и юзаем, с ним и результаты)
Пока витает в голове, шальная мысль, написать на расте нечто подходящее на scrapy, но только для хайлоада.
@wrar42 можно комментарий, насколько эта мысль абсурдна/бредова?

Scrapy

03 May 2025 14:13

Благо никакими браузерными решениями не пахнет, проблема в основном в гигантских jsonах от гугла, из-за чего питону плохеет, а сетка еле до 200мбит доходит (из 1 гбита)

Scrapy

03 May 2025 14:04

Не знаю, у себя упираюсь в процессор на обработке ответов, поэтому и интересует, можно ли что-то скомпилить чтоб быстрее было.
Редис я по привычке сунул :)