Scrapy

29 Apr 2024 11:14

Я как раз туда и смотрел, правда что в ините :D

Scrapy

29 Apr 2024 10:29

Если я запускаю паучка таким образом: scrapy crawl my_spider -o output.json
Можно ли как-то в коде получить вот этот output.json?

Scrapy

29 Apr 2024 01:11

Вопрос: что делать если проект, над которым работаешь, уже особо удовольствия не приносит?

Scrapy

28 Apr 2024 17:37

https://playwright.dev/python/docs/evaluating

Scrapy

28 Apr 2024 17:29

человек про какие то сервисы говорит, но я не нашел)

Scrapy

28 Apr 2024 17:29

пробовал - ошибки вылетают

Scrapy

28 Apr 2024 17:28

ну да, в этом проблема очевидно есть

Scrapy

28 Apr 2024 17:28

а, ты про то, когда сдохнут, нууу, там ты просто мутишь стандартный errback, и в нем делаешь запрос с "playwright": True, - правда все предыдущие запросы гавкнутся, и будет типа дофига отлетевших запросов, наверное

Scrapy

28 Apr 2024 17:27

вообще, я хочу научиться ломать эти JS и все запросами делать)) мб натыкался на статью на хабре про летуаль - там чел без браузера обошел проверку браузером https://habr.com/ru/articles/787706/

Scrapy

28 Apr 2024 17:26

подумаю в сторону этого

Scrapy

28 Apr 2024 17:26

ну их обновлять еще нужно будет) а вот как - другой вопрос ахахах

Scrapy

28 Apr 2024 17:25

вот с ней заходишь (можно хоть логин -пароль сэмулировать даже), а ты когда уже зашел весь такой белый и пушистый, можешь на скрапи запросы без playwright фигачить

Scrapy

28 Apr 2024 17:24

хм, ну кстати как вариант, спасибо) я что то не подумал по поводу того, что их можно совмещать ахахах

Scrapy

28 Apr 2024 17:22

ну и все 403, 401, 418 заново планируешь из мидлварей

Scrapy

28 Apr 2024 17:21

инициализировал куки - пошел пауком

Scrapy

29 Apr 2024 10:31

оно будет в настройке FEEDS

Scrapy

29 Apr 2024 08:31

начать делать новый проект, который приносит удовольствие, либо взять передышку от старого и вернуться с новыми силами. отдохнешь, на холодную голову придешь, глядишь и что нибудь интересное придумаешь, мотивация вернется.

Scrapy

28 Apr 2024 17:39

а про выполнение прям какой-то выдранной функции, тут по чатику часто линкуют подобного рода либы, но я не помню какие. Это если прям надо убер-промышленно делать и есть время заморочиться на предмет снижения нагрузки на железки чтобы весь браузер на подгружать ради сраной js-проверки

Scrapy

28 Apr 2024 17:37

ну playwright может тебе и js выполнить и даже тупо сэмулировать действия

Scrapy

28 Apr 2024 17:29

хотел просто грузить модуль сам, из него вызывать функцию - получать нужный результат и идти дальше

Scrapy

28 Apr 2024 17:29

ну есть всякие js2python, если ты прям кусок js-кода проверки найдешь

Scrapy

28 Apr 2024 17:28

хотел все на js переписать, но проблематично

Scrapy

28 Apr 2024 17:28

вот один вопрос, как связать код на js и на питоне, чтобы из питона вызывать код в нужный момент, проходить проверку и дальше запросами идти) мб знаешь)

Scrapy

28 Apr 2024 17:27

вангую он это делает автоматом "из коробки", но это не точно)

Scrapy

28 Apr 2024 17:26

но спасибо мужик, реально

Scrapy

28 Apr 2024 17:26

а если тебе логин-пароль не надо, то ваще - первый запрос с playwright, а дальше без него. вот тока я чессгря про кукисы 100% не знаю - передает ли он в скрапи кукисы сам, или надо там чего-то подшаманивать.

Scrapy

28 Apr 2024 17:24

т.е. по-сути то ты все-равно playwright юзаешь для начальных кукисов, я б советовал переписать на нем, там есть крутая хрень:
https://github.com/scrapy-plugins/scrapy-playwright#playwright_page_init_callback

Scrapy

28 Apr 2024 17:23

ну он удобен тем, что ты можешь запрос с playwright отправлять, а можешь и без него. Но если все им получать то медленновато. Т.е. тебе не надо писать обвязки мучительные, у тебя playwright "из коробки" есть, и там можно эквиллибристику делать крутую.

Scrapy

28 Apr 2024 17:21

1000 запросов отправил - поменял

Scrapy

28 Apr 2024 17:21

у меня так и ашан работает)