Scrapy

28 Sep 2024 19:51

а стопе, а ты еще весь такой асинхронный код в стейт записываешь который на json'е?

                progress['category'] = batch[-1]
                state['last_processed_category'] = batch[-1]
                state['last_processed_page'] = 1
                progress['page'] = 1
                progress['product_index'] = 0
                save_progress(progress['category'], progress['page'], progress['product_index'])
                save_current_state(state)

Scrapy

28 Sep 2024 19:48

https://pastebin.com/XDbjuhhd

Scrapy

28 Sep 2024 19:27

потому-что щас получается какой-то разговор слепого с глухим

Scrapy

28 Sep 2024 19:26

У меня такоее было, когда в html страницы наспамили до миллиона ссылок (это не шутка). На заброшенных форумах без регистрации это норма.

Scrapy

28 Sep 2024 19:25

скачивание как правило дольше обработки

Scrapy

28 Sep 2024 19:24

У меня есть функция основная scrape_products:
- Инициализирует основные параметры (URL, счетчики, ограничитель запросов).
- Загружает предыдущее состояние и прогресс.
- Обрабатывает категории пакетами (по 20 штук).
- Для каждой категории в пакете создает асинхронную задачу scrape_category.
- Ожидает завершения всех задач в пакете.
- Обновляет общий счетчик товаров и сохраняет прогресс.

Функция scrape_category:

- Получает HTML-контент страницы категории.
- Извлекает иерархию категории.
- Вызывает parse_category_page для обработки товаров на странице.
- Сохраняет полученные продукты в JSON-файл.
- Обновляет прогресс и состояние после обработки категории.

Функция parse_category_page:
- Находит все блоки товаров на странице.
- Создает асинхронные задачи parse_product для каждого товара.
- Возвращает список успешно обработанных товаров.


Функция parse_product:
- Извлекает основную информацию о товаре (имя, изображение).
- Парсит характеристики товара.
- Обрабатывает информацию о ценах, если она доступна.
- При наличии цен вызывает parse_seller_page для получения дополнительной информации.

Scrapy

28 Sep 2024 19:19

Да, я уже понял, что настроил велосипедов, еще и медленных

Scrapy

28 Sep 2024 19:19

Задачу на обработку ( то есть парсинг товаров в категории)

Scrapy

28 Sep 2024 19:14

задачу на что? на скачивание?

Scrapy

28 Sep 2024 19:13

Берем пакет категорий 20 штук и для каждой создаем отдельную асинхронную задачу

Scrapy

28 Sep 2024 18:31

вернее той области, куда артикул лепилсо

Scrapy

28 Sep 2024 18:31

та там уже и спрашивать не надою На такой скости только последовательное выкачивание страничек. Ну и, сверху, заполировано (подозреваю) не особо хорошей обработкой

Scrapy

28 Sep 2024 18:29

там просто начиналось все как всегда с одной картинки...

Scrapy

28 Sep 2024 18:29

скрапи тянул последовательно? выглядит как косяк логики

Scrapy

28 Sep 2024 18:27

помню как-то писал я скрапи-парсер, тока там еще была логика сохранения картинок (смерживания штук 20 в одну), и он прям мощно тормозил пока я не сделал её асинхронной, а потом и ваще неблокирующей. Но и так значительный прирост был с того, что как оказалось он по одной картинке тянул последовательно и тупо то, что 20 картинок одновременно тянулись увеличило выхлоп неиллюзорно. Так что при желании и на скрапи можно приготовить ололо

Scrapy

28 Sep 2024 19:50

да я читаю там еще до четверти кода не дошел)) ага - limiter там аля лимитер, при этом стейт походу загружается 1 раз на старте, при условии что ретраев немного на запрос (немного же, да?). читаю дальше

Scrapy

28 Sep 2024 19:28

вдруг у тебя там async def, а внутри все await await await на каждой строчке, эт тогда не факт что будет асинхронный код)))

Scrapy

28 Sep 2024 19:26

ну или как-минимум, что ты подразумеваешь под асинхронной задачей? скачивание в асинхронном пуле html-страничек (что обычно самое долгое в коде) или что?

Scrapy

28 Sep 2024 19:26

короче, чем долго играть в испорченный телефон, просто покажи код, на pastebin закинь, можешь "сикретные куски" поудалять, да и вообще оставить тока остовы функций

Scrapy

28 Sep 2024 19:25

вопрос по-прежнему тот же

Scrapy

28 Sep 2024 19:20

а почему это важно? у вас парсинг дольше чем собственно скачивание?

Scrapy

28 Sep 2024 19:19

парсинг уже скачанного то есть?

Scrapy

28 Sep 2024 19:15

это максимально неэффективно, а сколько раз ты к нему обращался примерно за парсинг? и что ты там хранил? вообще, что ты имеешь в виду под состоянием?

Scrapy

28 Sep 2024 19:14

а можешь в виде кода это показать? интересу ради

Scrapy

28 Sep 2024 19:12

Сохранение состояние в файле json было...

Scrapy

28 Sep 2024 18:31

а так поначалу надо было выкачать картинку, и впендюрить на нее артикул, с цветом надписи противоположной картинке)

Scrapy

28 Sep 2024 18:30

а потом их стало больше, а потом еще больше. и чота усе резко замедлилося... а я такой - а чо, а в смысле??

Scrapy

28 Sep 2024 18:29

нене, моя функция по сохранению картинок)

Scrapy

28 Sep 2024 18:29

поэтому я вот уже набив шишек вижу где у тебя уже возникают приколы при текущем парсере или могут возникнуть, вида "сохранение состояния" (в чем, в базе, clickhouse, pickle?), эта вот "обработка категорий пакетами" - как оно реализовано? foreach по листу или пул какой. И т.д. и т.п.

Scrapy

28 Sep 2024 18:26

немного перепутал
у jmespath есть кеш нод
у parsel кеш только на трансляцию css