Scrapy

02 Nov 2024 21:23

я щас изучаю парсер на гитхабе обновленный 14 дней назад и ничего не могу понять что там такого, чего нет у меня

Scrapy

02 Nov 2024 21:16

подскажите пожалуйста, куда копать или как это отладить (найти причину бана по 403)?

библиотека crawlee, сайт ozon.ru
конфиг запуска дефолтный, разве что хедеры передал частичные

Scrapy

01 Nov 2024 18:30

Окей, а как aiohttp справляется с ним или что происходит?)

Scrapy

31 Oct 2024 04:09

https://youtube.com/shorts/Q1tez3uVaUs?si=M89atTlSyIt4MESJ

Scrapy

29 Oct 2024 17:19

Там капча geetest, может нерентабельно быть.

Scrapy

29 Oct 2024 16:25

Смотрите какая штука прикольная https://github.com/Integuru-AI/Integuru

Scrapy

26 Oct 2024 09:44

всем привет. подскажите пожалуйста, можно ведь в одном пауке юзать и scrapy-playwright и обычные хендлеры? я в meta не прописываю чтобы pw юзать, но не работает ничего((

Scrapy

22 Oct 2024 14:14

с какой страницы запрос?

Scrapy

21 Oct 2024 16:08

i am racing rockport please dm

Scrapy

21 Oct 2024 14:00

Hello everyone.
I am scrapping export.
who needs me?
Please DM

Scrapy

18 Oct 2024 09:13

парсинг ломаных строгих форматов это дорога в ад и есть

Scrapy

18 Oct 2024 09:10

вообще парсить регуляркой html или js/json звучит как дорога в ад)

Scrapy

17 Oct 2024 15:58

рекурсия (но это не про jmespath)

Scrapy

17 Oct 2024 14:02

А известна максимальная вложенность? А то мб подобие такого прокатит:

find_str = "*.c"
while True:
    jmespath.search(find_str, data)
    find_str = "*." + find_str

Scrapy

17 Oct 2024 13:53

js2xml + xpath, угу
может конкуренты jmespath умеют, не силён (не удивлюсь если нет)
jq наверняка сумеет, но через разворачивание ключей в вектор и прочую байду

Scrapy

02 Nov 2024 21:22

Озон просто так не даст ничего )))) Это Вам не WB

Scrapy

01 Nov 2024 18:32

никак, просто он разный

Scrapy

01 Nov 2024 18:28

Всем привет. Кто может подсказать или объяснить почему когда используешь разные библиотеки то получаешь разные статус код от бекенда ?

Scrapy

30 Oct 2024 11:01

Прикольна! Правда чот я демку посмотрел, не очень понял чем это отличается (особенно генерируемый код) от условного https://curlconverter.com/
Они там говорят про то, что генерится граф из пяти действий на одно действие скачки файла и определяет где его скачали и динамические части, но по-факту динамические части оно (если я правильно понял) берет из предыдущих запросов, а запрос на скачку файла - ну он происходит тупо по нажатии "скачать файл", а в динамических частях стоит чему-то поменяться (той же дате) и все, кирдык этому коду.

Наверное, это стоит попробовать на каких-то более сложных штуках. Вон тот же шейн к примеру, как он с этим справится...)

Scrapy

29 Oct 2024 16:29

Всем привет! Куплю парсер th.shein.com
Нужно собрать товары и обновлять цены.

Scrapy

26 Oct 2024 09:45

хендлер scrapy-playwright фолбэкает на обычный

Scrapy

22 Oct 2024 14:43

запрос на получение полного описания объявления. Он раньше работал а сейчас нет.

Scrapy

22 Oct 2024 14:05

Всем привет, кто-нить знает рабочий запрос формата m.avito.ru/api/15/items/ ?

Scrapy

21 Oct 2024 14:51

I am scrapping import.... please dm

Scrapy

18 Oct 2024 09:15

странный js попадается, но я его регуляркой чищу и через chompjs прогоняю
в нём например вместо запятых в некоторых местах слеш, внутри строчек неэкранированные кавычки
тут регулярки тема

Scrapy

18 Oct 2024 09:12

Видимо ломаных респонсов вам не попадалось

Scrapy

17 Oct 2024 17:19

Рекурсией парсить словарь, она идеальна для таких задач

Scrapy

17 Oct 2024 14:11

пока 7 нашёл, надеюсь больше не будет)
а так да, проще выходит просто по словарю как по дереву ходить
всем спасибо!

Scrapy

17 Oct 2024 13:54

ну и всегда можно json.loads() и под конкретный случай написать обход конечно

Scrapy

17 Oct 2024 13:52

не думаю что такое возможно