Scrapy

10 November 2024 11:06

судя по языку айпи нерусский, да?

Scrapy

10 November 2024 11:05

подскажите пожалуйста, никто не сталкивался с таким добром? увы, на гитхабе нет адекватных примеров парсеров ЯМы

Scrapy

09 November 2024 13:04

а, я понял, она тебе и нужна чтоб посмотреть network. Нууу, может быть какой-то id типа risk_id=E2557003253339635712 говорит что эта капча челлендж для этого запроса уже устарела

Scrapy

09 November 2024 12:59

общий ответ - да, некоторые сайты так делают, вот тебе пример, открой сайт, инструменты разработчика и перейди во вкладку network: https://himovies.to/home

Scrapy

08 November 2024 11:11

Юзаю селениум. Может ли сайт видеть, что я открыл инструменты разраба? Первым делом при загрузке страницы выскакивает капча. когда её решаю с открытой вкладкой network что-бы чекнуть ответ, выбивает ошибку превышено время ожидания, но там ничего не превышено

Scrapy

08 November 2024 07:40

хм, ну, в качестве "делать постоянно, что бы не задумываться в будущем" - оно да, оно супер...
кстати, у OSM прикольная практика :). Они требуют уникализировать себя, хз, нафуя это делается, но, это есть :)

Scrapy

08 November 2024 07:21

чтобы сервер видел ожидаемые им для данного юзерагента заголовки

Scrapy

08 November 2024 07:18

Ради любопытства - зачем ротировать заголовки?

Scrapy

08 November 2024 06:48

Всем привет, есть ли какое-то бесплатное промежуточное по для ротации заголовков, а не только юзер агента?
Вообще может есть какой-то минимальный мастхэв набор для скрапинга?

Scrapy

07 November 2024 14:33

@whenistheregonnabepeace - я твои репорты не понимаю.... ты, просто, пингуй :)

Scrapy

06 November 2024 13:48

перепроверил, оказалось, что первый товар такой же, остальные то ли в разброс, то ли просто не все

Scrapy

06 November 2024 13:17

ну либо я что-то делаю не верно

Scrapy

06 November 2024 13:17

import requests


url = "https://api.fix-price.com/buyer/v1/product/in/kosmetika-i-gigiena/ukhod-za-polostyu-rta?page=1&limit=24&sort=sold"
response = requests.post(url)
data = response.json()
print(data)

Scrapy

06 November 2024 13:11

я нашел в чем была проблема, у меня ведь post запрос, но в коде я передавал как "response = requests.get(url, headers=headers)", я просто заменил на post

Scrapy

06 November 2024 12:58

вы ещё и тело запроса не заметили

Scrapy

10 November 2024 11:06

а в чём вопрос? яндекс капчу показывает и людям

Scrapy

09 November 2024 13:06

собсна я вот чекнул - с risk_id после капчи пишет про этот таймаут, а если затереть этот risk_id на конце, тогда пускает. (все это тестилось без открытой network.)

Scrapy

09 November 2024 13:03

А почему у тебя в ссылке уже вбита капча челлендж с редиректом? Ты ее откуда-то получаешь в таком виде?

Scrapy

08 November 2024 11:12

https://th.shein.com/risk/challenge?captcha_type=905&redirection=https://th.shein.com%2FSHEIN-EZwear-Women-s-Summer-Casual-Short-Sleeve-T-Shirt-With-Letter-Print-Round-Neck-p-35046621.html%3Fsrc_module%3DAll%26src_identifier%3Don%3DPRODUCT_ITEMS_COMPONENT%60cn%3Dinfoflow%60hz%3D0%60ps%3D12_1_0%60jc%3Dreal_2030%26src_tab_page_id%3Dpage_home1720700614223%26mallCode%3D1%26imgRatio%3D3-4&risk-id=E2557003253339635712

Scrapy

08 November 2024 07:41

причем ротация юзерагентов, как минимум через фейкер - не прокатывает. Там нужны именно не популярные юзерагенты, это как минимум

Scrapy

08 November 2024 07:38

кстати, пока такое не требовалось
в моих задачах

Scrapy

08 November 2024 07:20

Задача скорее всего звучит так - сделать максимально человеко-подобные заголовки

Scrapy

08 November 2024 07:11

https://github.com/daijro/browserforge

чегой то такое есть.... хз, насколько рабочее. Мне как то везло, ни разу не требовалось заголовки именно крутить

Scrapy

07 November 2024 22:29

Россия не раз останавливала тех, кто рвался к мировому господству, так будет и впредь — Путин. Он уверен, что само существование России является залогом успешного развития мира. @bankrollo

Scrapy

06 November 2024 20:10

Hi who need a scraper bot?

Scrapy

06 November 2024 13:20

ну вот я бы перепроверил, учитывая что у запроса в браузере есть тело

Scrapy

06 November 2024 13:17

ну если они правда те самые то почему нет

Scrapy

06 November 2024 13:16

если я не совсем уж и пиво, то я получаю эти данные с json'a ведь, верно?

Scrapy

06 November 2024 12:58

(это тоже надо было проверять, но я поверил что у вас гет)

Scrapy

06 November 2024 12:57

прочитать базовую документацию по используемой библиотеке