scrapy_python | Unsorted

Telegram-канал scrapy_python - Scrapy

1045

Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs

Subscribe to a channel

Scrapy

Чтобы по голосовой команде мелкие вопросы выполнял

Читать полностью…

Scrapy

Спасибо, а как называется точно zite?

Читать полностью…

Scrapy

с, соответственно, моделями, тренированными на эти типы

Читать полностью…

Scrapy

У зайт есть такой сервис. Но он не дешевый емнип

Читать полностью…

Scrapy

curl http://111.111.1.1:32801/schedule.json \
-d project=***** \
-d spider=***** \
-d jobid=2024-08-20T17_34_31 \
-d CATEGORIES_TO_SAVE=["gros-electromenager", "petit-electromenager"]

таким образом прилетит лист?
потому что отображение в гуи запутало меня

Читать полностью…

Scrapy

ну это код этой функции надо читать?

Читать полностью…

Scrapy

я систему сломал 😂
не, ну, так то, меня сисадмин давно грозится в святой воде искупать 🤣

Читать полностью…

Scrapy

Accept-Language en-US видимо

Читать полностью…

Scrapy

а ну в FF можно(повторить запрос), я думал речь про Хром.

Читать полностью…

Scrapy

ну ладно, поменяю в настройках браузера

Читать полностью…

Scrapy

теперь вопрос как поменять Accept-Language через девтулзы

Читать полностью…

Scrapy

у тебя может en первый?

Читать полностью…

Scrapy

меня кидает на https://www.oralb.ru/ru-ru

Читать полностью…

Scrapy

а вот смежный вопрос, кто найдёт механизм тому печенька
https://oralb.com/ редиректит на .ru, даже если прокси нерусский поставить, как детектит? как легко найти как детектит, не крутя настройки браузера, одними девтулзами?

Читать полностью…

Scrapy

Автоматическое извлечение контента с преобразованием в json (нейросеть классифицирует контент и создает нужный json):
https://www.diffbot.com/products/extract/

Читать полностью…

Scrapy

здарова, народ может кто посоветовать на гитхабе голосового помошника на руском? и может кто знает есть ли api у яндекс музыки?

Читать полностью…

Scrapy

а тут хочется универсально

Читать полностью…

Scrapy

генерик нету всё-таки, только конкретные типы

Читать полностью…

Scrapy

-d setting=CATEGORIES_TO_SAVE=["gros-electromenager", "petit-electromenager"]
всем спасибо за внимание
монолог окончен))

Читать полностью…

Scrapy

как в scrapydweb передать лист?
'''settings_arguments {"CATEGORIES_TO_SAVE": "["gros-electromenager", "petit-electromenager"]", "setting": []}'''

Читать полностью…

Scrapy

по моему все достаточно очевидно

Читать полностью…

Scrapy

может страница не догрузилась? :)

Читать полностью…

Scrapy

меня никуда не кидает 🙈
че я делаю не так? 🤣

Читать полностью…

Scrapy

через мои прокси не редиректило
без прокси не редиректило если просто js вырубить)
а куда редиректит ставится в куках countryLanguageRedirect, но это видимо на стороне сервера

Читать полностью…

Scrapy

Никак, через плагины только

Читать полностью…

Scrapy

Accept-Language:
en-GB,en-US;q=0.9,en;q=0.8

Читать полностью…

Scrapy

Accept-Language:
ru,en;q=0.9,en-US;q=0.8,es;q=0.7,de;q=0.6

Читать полностью…

Scrapy

Меня без прокси на https://oralb.co.uk/en-gb кидает

Читать полностью…

Scrapy

только нашел, пока не пробовал

Читать полностью…

Scrapy

много хочешь - мало получишь! (с) владимир ильич конфуций

Читать полностью…
Subscribe to a channel