Scrapy

25 Sep 2024 11:58

в DOWNLOADER_MIDDLEWARES_BASE?

Scrapy

25 Sep 2024 11:56

вряд ли, написано вполне явно

Scrapy

25 Sep 2024 11:54

но что значит добавил? эта мидлварь включена по дефолту

Scrapy

25 Sep 2024 11:54

добавил 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700 в настройки спайдера и заработало. Похоже дело было в куках, они не передавались при редиректе после запроса. Всем спасибо за помощь

Scrapy

25 Sep 2024 11:06

ещё раз: вы сами придумали что проблема в этом

Scrapy

25 Sep 2024 11:05

я смотрел response.request.headers. Если самому не передавать, то Content-Length нету

Scrapy

25 Sep 2024 11:05

это вы сами придумали, причём безосновательно

Scrapy

25 Sep 2024 11:03

верно, указывать его руками в скрапи нельзя

Scrapy

25 Sep 2024 11:02

а значения отличаются?)

Scrapy

24 Sep 2024 12:15

Может у кого есть парсер auto.ru? Нужен именно каталог марок, моделей, их модификаций

Scrapy

19 Sep 2024 22:36

@AlexPenkin911, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch Network

Scrapy

17 Sep 2024 11:53

да даже если б и был, достаточно интересно что определенные защиты у них есть

но в конкретно моем случае нужно выбирать данные из озона, вб, ситилинка и ямаркета

не думаю, что там будут апишки, а вот вероятность наткнуться на защиты - вполне себе есть

потому решено было выбрать скраппинг

Scrapy

17 Sep 2024 11:50

а, я залез на сайт выше, походу интегратор)

Scrapy

17 Sep 2024 11:49

а у них точно api нет? это же государственная штука, они обычно пилят api, с учетом что у них есть такое, вряд ли они это без api делали: https://app.rlsnet.ru/api/storage/products_files/pdf/16_prezentaciya-iss-dlya-farmacevticeskix-specialistov.pdf

Scrapy

17 Sep 2024 11:43

код можете псевдокодом считать

Scrapy

25 Sep 2024 11:57

в базовом классе она почему None была) не до конца ещё ознакомился с проектом вот и не заметил

Scrapy

25 Sep 2024 11:55

может он про настройку COOKIES_ENABLED

Scrapy

25 Sep 2024 11:54

естественно, какой логин с отключенными куками

Scrapy

25 Sep 2024 11:11

если "нету" то это уже проблема.
вангую, что, не так запрос шлется. в скрапи там что то тип FormRequest.... или как то так. Никогда не задумывался над этим заголовком, всегда сам ставился

Scrapy

25 Sep 2024 11:06

response.request.headers это не то что идёт в провод

Scrapy

25 Sep 2024 11:05

ищите следующую проблему

Scrapy

25 Sep 2024 11:04

но он как будто тогда не передаётся. По крайней мере не получется залогиниться

Scrapy

25 Sep 2024 11:02

я в постмане руками этот хедер указывал, брал значение со скрепи

Scrapy

25 Sep 2024 11:00

Всем привет, может кто-нибудь с таким сталкивался? При логине на сайте через постман всё здорово работает. Через скрепи возвращает 400 статус. Пока смог выяснить что это скорее всего связано с хедером Content-Length. Без него не логинит ни там ни там, с ним через постман логинит а через скрепи - 400 статус

Scrapy

23 Sep 2024 17:01

Заканчиваю набор в команду по удалённому заработку, осталось 3 места, всем кому интересно пишите + в лс за подробностями, от Вас нужно только желание зарабатывать, и иметь до часу свободного времени в день, гарантированная прибыль от 80 долларов в день.

Scrapy

19 Sep 2024 20:11

⚠️⚠️⚠️⚠️⚠️⚠️
В пoиcкe людeй для cтaбильнoгo - пacивнoгo зapaбoткa в cфepe: crypto.
🔺 Heт oпытa? OБУЧAЮ, бepy % oт зapaбoткa зa инфopмaцию пo зapaбoткy.
🔺 Умнoжeниe кaпитaлa oт 7-10% в cyтки, бeз pиcкoв!
Пo вceм интepecyющим вoпpocaм пишитe --> @Alexander9015

Scrapy

17 Sep 2024 11:53

(но это не точно - толи это они им делали презенташку, толи это их сайт, хз)

Scrapy

17 Sep 2024 11:49

а еще, это вот они или это контора-интегратор? https://rls-aurora.ru/Help

Scrapy

17 Sep 2024 11:43

не правильно понял, виноват, почитаю тогда обязательно

Scrapy

17 Sep 2024 11:42

порт чего, там все инструкции не про скрапи вообще