Scrapy

06 Jul 2024 21:14

Смешнявка в том, что в эгг добавляется файл зависимостей, и он лежит рядом с scrapy.cfg, но как заставить скрапид после распаковки эгга установить эти зависимости... загадка

Scrapy

06 Jul 2024 20:26

Всем доброго субботнего вечера

Перерыв всё что только можно, ищу помощи у коллективного разума, может тут с этим кто-то сталкивался.

Вводные:
1. Докер контейнер со scrapyd
2. Простой scrapy проект настроенный на деплой в этот контейнер

Проблема:
Добавляю новую зависимость, хочу обновить в контейнере без ребилда контейнера, и docker cp && docker exec "pip install -r requrements.txt".
Делаю scrapyd-deploy --include-dependencies.
Получаю лог ModuleNotFoundError: No module named 'зависимость' из скрапида.


И проблема понятная, зависимость не ставится.
Возникает на этапе выполнения в scrapyd/runner.py кода:

from scrapy.cmdline import execute
execute()

Scrapy

05 Jul 2024 14:08

можете, пожалуйста, подсказать, почему идёт ретрай?

2024-07-05 15:06:22 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET url> (failed 6 times): [<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>]

Scrapy

05 Jul 2024 11:21

Если понадобится устанавливать скрапид пароль из енва, нужно установить scrapyd с гита (на pypi лежит версия не поддерживающая переменные окружения)

pip install git+https://github.com/scrapy/scrapyd.git

Scrapy

04 Jul 2024 21:09

вместе с либой python-dotenv

Scrapy

04 Jul 2024 20:07

Всем привет

Как в scrapy.cfg и scrapyd.conf подтягивать переменные из env'а?
Допустим, при запуске scrapyd подтягивать в его конфиг пароль, и в scrapy.cfg при scrapyd-deploy

Scrapy

04 Jul 2024 16:06

попробуй рандом отправлять если что-то решается в JS, иногда прокатывало

Scrapy

04 Jul 2024 16:03

Придется в безголовом режиме загружать капчу
И отдавать потом куки

Scrapy

04 Jul 2024 16:02

Да
Вот недавно разобрался
Правда не получится все на запросах сделать
Требует загрузить JavaScript

Scrapy

04 Jul 2024 15:47

Написать в Гугле jet bra

Scrapy

04 Jul 2024 09:37

твистед сам сможет await на корутину, если она указана как колбек у дефереда?

Scrapy

04 Jul 2024 09:26

доки нет, а метод вызывается в том же классе, что определён, странно что вы этого не заметили

Scrapy

04 Jul 2024 09:25

так, и в чём вопрос?

Scrapy

04 Jul 2024 09:23

scrapy.spidermiddlewares это вообще модуль

Scrapy

02 Jul 2024 14:04

reason='shutdown' в каких случаях ещё выставляется, помимо получения sigkill?

Scrapy

06 Jul 2024 21:06

посмотри какой egg генерируется, может там действительно не добавляется зависимость
если так, убедись что requirements.txt прописан в корневой папке проекта, там где и scrapy.cfg

Scrapy

05 Jul 2024 14:09

Connection was closed cleanly значит не всё ок?)

Scrapy

05 Jul 2024 13:38

ребята, может кто-нибудь посмотрел?
мне всё же придётся переписать _process_request?

Scrapy

04 Jul 2024 23:04

Спасибо, сработало!)

Scrapy

04 Jul 2024 21:08

os.getenv()?
или это не тот случай

Scrapy

04 Jul 2024 16:06

хм
сейчас попробую

Scrapy

04 Jul 2024 16:04

Без загрузки JavaScript не генерит нужные значения, которые должны идти вместе с решением капчи

Scrapy

04 Jul 2024 16:03

ну раньше прокатывало на запросах, сейчас хз

Scrapy

04 Jul 2024 16:01

Там же вроде сначала отправляешь форму "Я не робот", потом тебе возвращается капча, её уже решаешь и потом получаешь свой токен или куку

Scrapy

04 Jul 2024 13:03

всем привет. Кто то работал с капчей яндекса?
не понимаю как перейти на саму страницу с капчей через запросы
нигде не вижу ссылки на адрес с самой капчей

Scrapy

04 Jul 2024 09:26

Это я заметил. Но по-моему он вызывается где-то ещё

Scrapy

04 Jul 2024 09:25

есть ли дока. и где этот метод вызывается?

Scrapy

04 Jul 2024 09:24

да, у некоторых миделварей есть метод _filter. Например у scrapy.spidermiddlewares.depth.DepthMiddleware

Scrapy

04 Jul 2024 09:22

Всем привет, подскажите пожалуйста есть ли документация по методу _filter у scrapy.spidermiddlewares? Не смог сам найти. Хотелось бы понять где он вызывается

Scrapy

01 Jul 2024 14:52

Ищу людей заинтересованных в получении доп.дoxoда
Удаленно, с телефона, или компьютера
За деталями пишите в ЛС