ребят подскажите пж где пай чарм взять ез вирусов приблизительно последней версии. на гит хабе мб
Читать полностью…Ну я тогда подумал, что я хз как через мидлвари это сварить, а потом, на следующий день, забыл про то, что надо глянуть как в мидлварях это возможно сделать; и начал отвечать на прошлые сообщения, на которые еще не отвечал, потому что общение с людьми приносит больше удовольствия чем айтишечка 😁
Читать полностью…ну и, фули было размазывать гавно по проруби и мусолить тему весь вчерашний день?
первая ссыль на гугле по корректно заданному вопросу ведет на иссю + 5 минут на проверку, и находим изумительный метод в классе SPIDER_MIDDLEWARES
под названием def process_spider_exception(self, response, exception, spider):
который сейчас отлично отработал деление на ноль в пауке.... да, в лог трейсбеком насрало, но, дало увидеть респонс, что, как я понял, и надо было....
ну, изначальный вопрос был про совсем другое.... это потом уже пошла речь про отлов, а дискорд, вообще, очень позже всплыл
Читать полностью…хех, так, оно, выясняется, что надо не просто спрятать ошибки, а обработать? собстн, как всегда - "корректно заданный вопрос = 50% ответа" :))).
так да, тогда - надо конкретные куски кода оборачивать и отправлять это дело в логи/или еще куда... Либо, не оборачивать, а пользоваться get'ами, как я и говорил... :)
я хочу, чтобы абсолютно все филды итемов проходили через несколько replace-ов с некоторыми символами.
Лучше всего такое преобразование сделать так, что к каждому филду добавить output_processor?
Всем привет, при запуске паука на ubuntu-server я получаю вот такую ошибку HTTPConnectionPool(host='localhost', port=54189): Read timed out. (read timeout=120). У меня вот такие зависимости:
[tool.poetry.dependencies]
python = "^3.12"
scrapy = "^2.11.2"
sqlalchemy = "^2.0.36"
alembic = "^1.14.0"
psycopg2-binary = "^2.9.10"
environs = "^11.0.0"
webdriver-manager = "^4.0.2"
scrapy-selenium4 = { git = "https://github.com/jirpok/scrapy-selenium4.git" }
pydantic = { version = "^2.9.2", extras = ["email"] }
selenium = "^4.26.1"
ну, что умеешь вырывать отельные фразы из контекста и отвечать только на них, игнорируя оставшуюся часть - это я уже догадался :)).
главная мысль сообщения была в том, что все обсуждение велось на совершенно другие темы. При правильно постановке вопроса - ответ нашелся за 12 минут, вместе с написанием матерного коммента :)
посему, как я выше сказал "корректно заданный вопрос = 50% ответа"©
о, надо распечатать и прилепить на стену, а то опять в оффе мозг успели вынуть :)))
https://github.com/scrapy/scrapy/issues/6437
по моему, в стартовом топике об этом речь и идет
изначально вопрос звучал как "остановится ли паук", на этот вопрос и пытались ответить, потом все свернуло что "мне надо что бы страницы обрабатывались, наверное надо экранировать ошибки", теперь - ошибки надо отлавливать и анализировать.....
Читать полностью…ну изначально вопрос звучал "возможно ли как-то перехватить то, что это произошло в функции parse?" иными словами перехватить ошибку
Читать полностью…