Scrapy

28 Apr 2024 17:20

я как то пытался scrapy-playwright юзать

Scrapy

28 Apr 2024 17:19

Ваще странно, что ты после получения кукисов простым скрапи без ничего заходишь, я пробовал на сайте одном с playwright логиниться и в скрапи кукисы передавать, и мне тупо на каждый запрос без playwright обламывало (хотя я ща подумал, может я тупой и в угаре писанины не проследил, чтоб эти полученные кукисы передавались). Если прям не охота там возиться шибко, можно scrapy-playwright юзать и забить болт.

По-идее, в твоем варианте можно в errback отлавливать 403 и заходить по meta playwright или там об async def init_page как в доках, а в остальных случаях пока по башке 403 не прилетит не ходить playwright'ом, но хз.

Scrapy

28 Apr 2024 17:07

ну т.е. образно - это воть)

Scrapy

28 Apr 2024 17:06

погодь, а сайт леруа?

Scrapy

28 Apr 2024 17:04

я сначала пробую обычным request'ом

Scrapy

28 Apr 2024 17:03

без куков ты на сайт не попадешь через запросы

Scrapy

28 Apr 2024 17:03

или playwright'ом каким?

Scrapy

28 Apr 2024 17:02

тупо эмулируешь логин или просто переходишь в домен и все сначала работает?

Scrapy

28 Apr 2024 17:02

просто перехожу на домен

Scrapy

28 Apr 2024 17:01

а не оказывается что ты их как-нибудь там перезаписываешь нехорошо каждый раз?

Scrapy

28 Apr 2024 17:01

хотя в моей голове тоже держалась мысль, что куки сами по себе будут обновляться и не нужно их менять

Scrapy

28 Apr 2024 17:00

я просто залил куки и начал отправлять запросы

Scrapy

28 Apr 2024 17:00

по-идее он сам должен держать кукисы, скрапи-то. странно что они дохнут.

Scrapy

28 Apr 2024 16:59

трабл в том, что с течением времени куки дохнут, их нужно менять

Scrapy

28 Apr 2024 16:58

да, внутри ты не поменяешь, но инициализировать запрос с отдельными кукисами или проксей сможешь

Scrapy

28 Apr 2024 17:20

по-идее наверно если зайти с meta={"playwright": True, - то он потом эти кукисы как-то должен и в обычный вызов скрапи засунуть

Scrapy

28 Apr 2024 17:07

ну да, тупанул ахахах

Scrapy

28 Apr 2024 17:07

только сейчас вспомнил что там кратор стоит

Scrapy

28 Apr 2024 17:05

если пашет, то без эмуляции

Scrapy

28 Apr 2024 17:04

а если просто в скрапи зайдешь, чего будет?

Scrapy

28 Apr 2024 17:03

я пробовал через инкогнито там вроде как нет никаких js проверок

Scrapy

28 Apr 2024 17:02

да, просто на домен перехожу

Scrapy

28 Apr 2024 17:02

там нет js вроде как

Scrapy

28 Apr 2024 17:02

ну хотя возможно там надо какой-то js-challenge решать, ты их как получаешь в самом начале?

Scrapy

28 Apr 2024 17:01

если все же получится так, что я один раз запрошу куки и больше не нужно будет их получать - я вообще буду очень рад

Scrapy

28 Apr 2024 17:01

потом стал получать 403

Scrapy

28 Apr 2024 17:00

ну я пытался, не через то, что ты скинул

Scrapy

28 Apr 2024 17:00

по истечению n времени, сайт мне шлет 403 с куками. После того, как я их поменяю, все окей становится

Scrapy

28 Apr 2024 16:58

https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#multiple-cookie-sessions-per-spider

Scrapy

28 Apr 2024 16:57

а зачем тебе для этого асинкавайт? тебе надо cookie jars юзать и интегерный счеткик повышать, и хоть на каждый вопрос все новое обформируйся