Scrapy

28 Sep 2024 17:55

lxml обязательно подчеркивать? запрос все равно фигачишь через реквестс)

Scrapy

28 Sep 2024 17:54

смотря в чём ботлнек

Scrapy

28 Sep 2024 17:50

значит он и использует его

Scrapy

28 Sep 2024 17:48

так он скрапи и использует

Scrapy

28 Sep 2024 17:48

scrapy тоже использует lxml, раз вы решили заострить на этом внимание

Scrapy

28 Sep 2024 17:47

1000 категорий, там по несколько десятков товаров в категории, у каждого товара несколько десятков страниц с лотами.
У меня парсер на lxml это сайт уже 7 дней парсит...и только половину прошел.

Scrapy

28 Sep 2024 17:45

звучит как не очень много данных

Scrapy

27 Sep 2024 12:47

ох, лизонька, нету тут пассивных, мы тут все активные...

Scrapy

27 Sep 2024 07:49

Реклама в инсте сама по себе таргетированная, между прочим

Scrapy

26 Sep 2024 21:56

вряд-ли хорошая идея для 1000 аккаунтов поднимать 1000 браузеров

Scrapy

26 Sep 2024 21:34

мне нужно парсить появляющююся рекламу в ленте

Scrapy

26 Sep 2024 21:31

через апишку моэно парчить все?

Scrapy

26 Sep 2024 21:28

В поиске тех, кто хочет попробовать себя в криптовалюте.

Занятость до двух часов в день.
Работать можно с телефона или компьютера.
Обучение доступно для новичков.
Сфера: аирдропы, тестнеты, лаунчпады и прочее.

Мои условия - в личку.

Scrapy

25 Sep 2024 23:53

здравствуйте, кто то занимался парсингом инстаграм? у меня есть вопрос насчет лимитов может кто знает какие то?

Scrapy

25 Sep 2024 18:30

про jmespath мне тоже интересно, но я хз, по-идее можно потестить. и сравнить напр. с clickhouse: https://colab.research.google.com/github/dcmoura/spyql/blob/master/notebooks/json_benchmark.ipynb

Scrapy

28 Sep 2024 17:55

смотря как ты его готовишь и как твой парсер с lxml написан. Но в целом, на скрапи будет побыстрее из-за асинхронщины с коробки (хоть она и на твистеде, но тож неплохо). А как ты там lxml писал - мыж не знаем, толи ты мультитрединг юзал, толи aiohttp, толи тупо в лоб товары перебираешь и по pickle рассовываешь сначала...

Scrapy

28 Sep 2024 17:54

Scrapy я не использую,я написал свой парсер с использованием библиотеки lxml для парсинга, сам написал для парсера функции сохранение состояния, запись данных в файл и прочее. Добавил асинхронность и обработку категорий пакетами. Но работает все очень медленно для такого количества данных, которые я забираю из сайта. Я уже оптимизировал как мог, и xpath запросы и очистку памяти принудительную.

Я зашел спросить у вас (те кто работает из scrapy) стоит ли мне попытаться использовать ее, чтобы хоть как-то ускорить процесс парсинга.

Scrapy

28 Sep 2024 17:49

бери многопоточность, и пофиг что у нас гил, это все равно будет быстрее

Scrapy

28 Sep 2024 17:48

но возможно дело не в этом

Scrapy

28 Sep 2024 17:48

Вот мне нужно что-то побыстрее

Scrapy

28 Sep 2024 17:46

звучит как есть аиохттп

Scrapy

28 Sep 2024 17:45

Господа, добрый день.
Такой тупой вопрос, если мне нужно парсить очень много данных ( около 1000 категорий с товарами) то лучше scrapy ичего нет правильно?

Scrapy

27 Sep 2024 11:52

@Lizzzavolkova732, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch Network

Scrapy

26 Sep 2024 22:07

Вопрос лишь в выгоде

Scrapy

26 Sep 2024 21:35

просто селектор блока в котором реклама появляется отлавливай

Scrapy

26 Sep 2024 21:33

Ну проверь сам, не знаю что тебе нужно

Scrapy

26 Sep 2024 21:29

У них апишка вроде бы открытая и расписанная 🤔

Scrapy

26 Sep 2024 10:01

Я вернулся из небытия

Scrapy

25 Sep 2024 18:34

я сообщение удалил, решил пальцем в небо не тыкать, исходный код почитать и протестить)

Scrapy

25 Sep 2024 11:58

нет, у нас принято спайдеры наследовать от базоваго спайдера со своими настройками