Scrapy

20 August 2024 16:51

curl http://111.111.1.1:32801/schedule.json \
-d project=***** \
-d spider=***** \
-d jobid=2024-08-20T17_34_31 \
-d CATEGORIES_TO_SAVE=["gros-electromenager", "petit-electromenager"]

таким образом прилетит лист?
потому что отображение в гуи запутало меня

Scrapy

19 August 2024 13:45

ну это код этой функции надо читать?

Scrapy

19 August 2024 13:33

я систему сломал 😂
не, ну, так то, меня сисадмин давно грозится в святой воде искупать 🤣

Scrapy

19 August 2024 13:31

Accept-Language en-US видимо

Scrapy

19 August 2024 13:31

а ну в FF можно(повторить запрос), я думал речь про Хром.

Scrapy

19 August 2024 13:27

ну ладно, поменяю в настройках браузера

Scrapy

19 August 2024 13:26

теперь вопрос как поменять Accept-Language через девтулзы

Scrapy

19 August 2024 13:25

у тебя может en первый?

Scrapy

19 August 2024 13:24

меня кидает на https://www.oralb.ru/ru-ru

Scrapy

19 August 2024 13:04

а вот смежный вопрос, кто найдёт механизм тому печенька
https://oralb.com/ редиректит на .ru, даже если прокси нерусский поставить, как детектит? как легко найти как детектит, не крутя настройки браузера, одними девтулзами?

Scrapy

19 August 2024 12:34

Автоматическое извлечение контента с преобразованием в json (нейросеть классифицирует контент и создает нужный json):
https://www.diffbot.com/products/extract/

Scrapy

19 August 2024 12:29

ну типа кидаешь урлу в софтину, а софтина тебе выдает апи к сайту по этой урле )

Scrapy

19 August 2024 12:25

А еще, никто не знает из готовых инструментов, "как превратить сайт без api, в сайт с api" или тут только хардкодинг с selenium? есть другие варианты удобнее и проще?

Scrapy

19 August 2024 11:58

в принципе сейчас повылезало сервисов чатгпт скрейпинга, может там и подходящие есть

Scrapy

19 August 2024 11:58

там вроде можно не уложиться в лимит размера запроса если кидать ему сырой html, чтобы вычленял

Scrapy

20 August 2024 16:49

как в scrapydweb передать лист?
'''settings_arguments {"CATEGORIES_TO_SAVE": "["gros-electromenager", "petit-electromenager"]", "setting": []}'''

Scrapy

19 August 2024 13:44

по моему все достаточно очевидно

Scrapy

19 August 2024 13:33

может страница не догрузилась? :)

Scrapy

19 August 2024 13:31

меня никуда не кидает 🙈
че я делаю не так? 🤣

Scrapy

19 August 2024 13:29

через мои прокси не редиректило
без прокси не редиректило если просто js вырубить)
а куда редиректит ставится в куках countryLanguageRedirect, но это видимо на стороне сервера

Scrapy

19 August 2024 13:27

Никак, через плагины только

Scrapy

19 August 2024 13:26

Accept-Language:
en-GB,en-US;q=0.9,en;q=0.8

Scrapy

19 August 2024 13:25

Accept-Language:
ru,en;q=0.9,en-US;q=0.8,es;q=0.7,de;q=0.6

Scrapy

19 August 2024 13:24

Меня без прокси на https://oralb.co.uk/en-gb кидает

Scrapy

19 August 2024 12:34

только нашел, пока не пробовал

Scrapy

19 August 2024 12:30

много хочешь - мало получишь! (с) владимир ильич конфуций

Scrapy

19 August 2024 12:29

есть сайт без api, к нему надо сделать "обертку" api, чтобы внешние сервисы через эту api-обертку, обращались к сайту без api (искали информацию и выдавали ее), и получали результат в виде структурированного json

Scrapy

19 August 2024 12:04

бойлерпплейт выпиливаешь и просишь чатгпт найти данные и сгенерировать селекторы, вполне неплохо работает

Scrapy

19 August 2024 11:58

ну это уже детали, не так ли?

Scrapy

19 August 2024 11:56

можете чатгпт попросить