Scrapy

06 Nov 2024 13:17

ну либо я что-то делаю не верно

Scrapy

06 Nov 2024 13:17

import requests


url = "https://api.fix-price.com/buyer/v1/product/in/kosmetika-i-gigiena/ukhod-za-polostyu-rta?page=1&limit=24&sort=sold"
response = requests.post(url)
data = response.json()
print(data)

Scrapy

06 Nov 2024 13:11

я нашел в чем была проблема, у меня ведь post запрос, но в коде я передавал как "response = requests.get(url, headers=headers)", я просто заменил на post

Scrapy

06 Nov 2024 12:58

вы ещё и тело запроса не заметили

Scrapy

06 Nov 2024 12:56

сомневаюсь, что как в django - if request.method=='POST':, как сделать это тут?

Scrapy

06 Nov 2024 12:50

можно подробнее пожалуйста

Scrapy

06 Nov 2024 12:46

упс,
https://api.fix-price.com/buyer/v1/product/in/kosmetika-i-gigiena/ukhod-za-polostyu-rta?page=1&limit=24&sort=sold

Scrapy

06 Nov 2024 12:45

https://fix-price.com/catalog/kosmetika-i-gigiena/ukhod-za-polostyu-rta/

Scrapy

06 Nov 2024 12:45

ссылку на страничку скинуть?

Scrapy

06 Nov 2024 12:38

значит вы что-то не передаёте что передаёт браузер

Scrapy

06 Nov 2024 12:00

Я бы начал с проверки урла, затем заголовков, только потом кук

Scrapy

06 Nov 2024 11:55

мне получается нужно взять куки с сайта, как и хедеры, передать их в файле?

Scrapy

06 Nov 2024 11:52

в общем все, что он опрокидывает дб в твоем реквесте

Scrapy

06 Nov 2024 11:38

хорошо, теперь как мне их достать?)
пока создал отдельный файлик, потому в scrapy я получаю пустой список, а тут хоть видно, что не так

Scrapy

06 Nov 2024 11:31

окей, я нашел
https://api.fix-price.com/buyer/v1/product/in/kosmetika-i-gigiena/ukhod-za-polostyu-rta?page=1&limit=24&sort=sold

24 записи на одной страничке

Scrapy

06 Nov 2024 13:17

ну если они правда те самые то почему нет

Scrapy

06 Nov 2024 13:16

если я не совсем уж и пиво, то я получаю эти данные с json'a ведь, верно?

Scrapy

06 Nov 2024 12:58

(это тоже надо было проверять, но я поверил что у вас гет)

Scrapy

06 Nov 2024 12:57

прочитать базовую документацию по используемой библиотеке

Scrapy

06 Nov 2024 12:50

https://developer.mozilla.org/en-US/docs/Web/HTTP/Methods

Scrapy

06 Nov 2024 12:47

да, до урла надо было проверять метод

Scrapy

06 Nov 2024 12:46

обращаюсь к этой апишке

Scrapy

06 Nov 2024 12:45

Екатерина, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch Network

Scrapy

06 Nov 2024 12:38

на какой странице увидеть этот запрос?

Scrapy

06 Nov 2024 12:28

при передачи хедеров и куков получаю все так же bad request, скорее всего если я авторизуюсь, и передам токен, то так сразу же получится, но можно ведь и без авторизации, раз я могу увидеть эти данные на сайте в ответе апишки

Scrapy

06 Nov 2024 11:55

по идее да, но я бы изучил насколько они там "живучие"

Scrapy

06 Nov 2024 11:53

а вообще вот способы например на селене получать результаты

честно говоря не тыкал, но если развить тему, то думаю можно in-memory складировать, авось даже фильтровать

https://stackoverflow.com/questions/65350034/selenium-python-get-network-response-body

Scrapy

06 Nov 2024 11:52

посмотри куки, хедеры

Scrapy

06 Nov 2024 11:31

и в response все есть

Scrapy

06 Nov 2024 11:30

да, там в конце в url'ке указано "limit=15", и только 15 записей