Scrapy

06 November 2024 12:56

сомневаюсь, что как в django - if request.method=='POST':, как сделать это тут?

Scrapy

06 November 2024 12:50

можно подробнее пожалуйста

Scrapy

06 November 2024 12:46

упс,
https://api.fix-price.com/buyer/v1/product/in/kosmetika-i-gigiena/ukhod-za-polostyu-rta?page=1&limit=24&sort=sold

Scrapy

06 November 2024 12:45

https://fix-price.com/catalog/kosmetika-i-gigiena/ukhod-za-polostyu-rta/

Scrapy

06 November 2024 12:45

ссылку на страничку скинуть?

Scrapy

06 November 2024 12:38

значит вы что-то не передаёте что передаёт браузер

Scrapy

06 November 2024 12:00

Я бы начал с проверки урла, затем заголовков, только потом кук

Scrapy

06 November 2024 11:55

мне получается нужно взять куки с сайта, как и хедеры, передать их в файле?

Scrapy

06 November 2024 11:52

в общем все, что он опрокидывает дб в твоем реквесте

Scrapy

06 November 2024 11:38

хорошо, теперь как мне их достать?)
пока создал отдельный файлик, потому в scrapy я получаю пустой список, а тут хоть видно, что не так

Scrapy

06 November 2024 11:31

окей, я нашел
https://api.fix-price.com/buyer/v1/product/in/kosmetika-i-gigiena/ukhod-za-polostyu-rta?page=1&limit=24&sort=sold

24 записи на одной страничке

Scrapy

06 November 2024 11:29

я бы попробовал ассоциативно соотнести как какой-то вызов влияет на конкретный элемент
тот, что ты скинул вроде как бы подходит, однако первый элемент со скрина выше ему не соответствует, а относится ко второму (ополаскиватель)
в общем да, тут нужно конкретно просмотреть

Scrapy

06 November 2024 11:28

Нет, нужно смотреть на все

Scrapy

06 November 2024 11:24

а точно ли тот урл? по идее banner может и про попап с рекламой говорить

Scrapy

06 November 2024 11:23

что во вкладке response?

Scrapy

06 November 2024 12:50

https://developer.mozilla.org/en-US/docs/Web/HTTP/Methods

Scrapy

06 November 2024 12:47

да, до урла надо было проверять метод

Scrapy

06 November 2024 12:46

обращаюсь к этой апишке

Scrapy

06 November 2024 12:45

Екатерина, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch Network

Scrapy

06 November 2024 12:38

на какой странице увидеть этот запрос?

Scrapy

06 November 2024 12:28

при передачи хедеров и куков получаю все так же bad request, скорее всего если я авторизуюсь, и передам токен, то так сразу же получится, но можно ведь и без авторизации, раз я могу увидеть эти данные на сайте в ответе апишки

Scrapy

06 November 2024 11:55

по идее да, но я бы изучил насколько они там "живучие"

Scrapy

06 November 2024 11:53

а вообще вот способы например на селене получать результаты

честно говоря не тыкал, но если развить тему, то думаю можно in-memory складировать, авось даже фильтровать

https://stackoverflow.com/questions/65350034/selenium-python-get-network-response-body

Scrapy

06 November 2024 11:52

посмотри куки, хедеры

Scrapy

06 November 2024 11:31

и в response все есть

Scrapy

06 November 2024 11:30

да, там в конце в url'ке указано "limit=15", и только 15 записей

Scrapy

06 November 2024 11:28

А лучше искать поиском

Scrapy

06 November 2024 11:27

там их несколько, по-моему в двух есть данные, я так понимаю нужно смотреть на те, которые помечаются как post-запрос

Scrapy

06 November 2024 11:24

значит так и должно быть

Scrapy

06 November 2024 11:22

вот я нахожу апишку, но почему я получаю пустой список?