Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs
import requests
url = "https://api.fix-price.com/buyer/v1/product/in/kosmetika-i-gigiena/ukhod-za-polostyu-rta?page=1&limit=24&sort=sold"
response = requests.post(url)
data = response.json()
print(data)
я нашел в чем была проблема, у меня ведь post запрос, но в коде я передавал как "response = requests.get(url, headers=headers)", я просто заменил на post
Читать полностью…сомневаюсь, что как в django - if request.method=='POST':, как сделать это тут?
Читать полностью…https://fix-price.com/catalog/kosmetika-i-gigiena/ukhod-za-polostyu-rta/
Читать полностью…Я бы начал с проверки урла, затем заголовков, только потом кук
Читать полностью…мне получается нужно взять куки с сайта, как и хедеры, передать их в файле?
Читать полностью…хорошо, теперь как мне их достать?)
пока создал отдельный файлик, потому в scrapy я получаю пустой список, а тут хоть видно, что не так
окей, я нашел
https://api.fix-price.com/buyer/v1/product/in/kosmetika-i-gigiena/ukhod-za-polostyu-rta?page=1&limit=24&sort=sold
24 записи на одной страничке
если я не совсем уж и пиво, то я получаю эти данные с json'a ведь, верно?
Читать полностью…(это тоже надо было проверять, но я поверил что у вас гет)
Читать полностью…прочитать базовую документацию по используемой библиотеке
Читать полностью…https://developer.mozilla.org/en-US/docs/Web/HTTP/Methods
Читать полностью…Екатерина, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch Network
при передачи хедеров и куков получаю все так же bad request, скорее всего если я авторизуюсь, и передам токен, то так сразу же получится, но можно ведь и без авторизации, раз я могу увидеть эти данные на сайте в ответе апишки
Читать полностью…а вообще вот способы например на селене получать результаты
честно говоря не тыкал, но если развить тему, то думаю можно in-memory складировать, авось даже фильтровать
https://stackoverflow.com/questions/65350034/selenium-python-get-network-response-body
да, там в конце в url'ке указано "limit=15", и только 15 записей
Читать полностью…