Scrapy

22 November 2024 19:26

@Mifody тут тебя заработок ждет...

Scrapy

22 November 2024 13:42

Ну я тогда подумал, что я хз как через мидлвари это сварить, а потом, на следующий день, забыл про то, что надо глянуть как в мидлварях это возможно сделать; и начал отвечать на прошлые сообщения, на которые еще не отвечал, потому что общение с людьми приносит больше удовольствия чем айтишечка 😁

Scrapy

22 November 2024 12:03

Я в 5 вечера написал, после этого не писал, сегодня еще отписал

Scrapy

22 November 2024 11:54

И в тикете я помню что её предлагал

Scrapy

22 November 2024 11:53

ну и, фули было размазывать гавно по проруби и мусолить тему весь вчерашний день?
первая ссыль на гугле по корректно заданному вопросу ведет на иссю + 5 минут на проверку, и находим изумительный метод в классе SPIDER_MIDDLEWARES под названием def process_spider_exception(self, response, exception, spider): который сейчас отлично отработал деление на ноль в пауке.... да, в лог трейсбеком насрало, но, дало увидеть респонс, что, как я понял, и надо было....

Scrapy

22 November 2024 11:42

@wrar42 ты же там отвечал... колебек errback отловит деление на ноль в методе?

Scrapy

22 November 2024 11:35

ну короче, нельзя и всё

Scrapy

22 November 2024 11:32

нигде не было такого вопроса. И так понятно, что остановится

Scrapy

22 November 2024 11:29

а, ну да, интересовало изначально, чтобы было видно конкретно, что это в parse

Scrapy

22 November 2024 11:28

ну, изначальный вопрос был про совсем другое.... это потом уже пошла речь про отлов, а дискорд, вообще, очень позже всплыл

Scrapy

22 November 2024 11:23

хех, так, оно, выясняется, что надо не просто спрятать ошибки, а обработать? собстн, как всегда - "корректно заданный вопрос = 50% ответа" :))).
так да, тогда - надо конкретные куски кода оборачивать и отправлять это дело в логи/или еще куда... Либо, не оборачивать, а пользоваться get'ами, как я и говорил... :)

Scrapy

22 November 2024 11:05

зачем мне логи? Меня интересует содержание респонсов, потому что их не всегда можно воспроизвести

Scrapy

22 November 2024 11:04

смотри, случаются при обработке ответов на запросы ошибки, потому что те данные, которые мне нужны, находятся не в А, а в Б (совсем разные пути). Иногда случается, что этих данных вовсе нету: я хочу все эти случаи обрабатывать. Для этого нужно менять код. Так как воспроизвести ошибку временами не представляется возможным, я хочу присылать файлы, где случилась ошибка, на дискорд сервер. Теоретически можно было бы их и сохранять себе - это не важно. Суть в том, чтобы перехватить ошибку

Scrapy

22 November 2024 05:56

Привет, коллеги из Scrapy! 👋

Рады представить вам Mango Proxy — резидентские прокси, которые идеально подходят для сложных задач парсинга, автоматизации, фарминга и других data-driven проектов.

Почему именно Mango Proxy?

🔹 Собственная инфраструктура
40+ серверов по всему миру обеспечивают минимальный пинг, стабильность и возможность гибкой настройки.

🔹 Белые IP с низким Score
Предоставляем эксклюзивные пулы ISP с гарантией Score 0–20 для повышения доверия и эффективности ваших запросов.

🔹 Глобальный охват
Доступ к более чем 90 миллионам IP-адресов, покрывающим практически все страны мира.

🔹 Гибкость и управление
Индивидуальная настройка пулов, поддержка UDP протокола, неограниченные сессии и удобная статистика для контроля ваших прокси.

🔹 Трафик без срока хранения
Ваш баланс никогда не сгорит — используйте трафик в любое удобное время.

🔹 Доступная стоимость
Тарифы начинаются от 0.64$ за ГБ, и мы готовы предложить индивидуальные условия для крупных проектов.

🎁 Подарок для участников Scrapy!
Всем желающим участникам этого чата мы дарим 1 ГБ для тестирования!

📩 Пишите мне в ЛС за подробностями - @mangoproxy_bdm

Попробуйте Mango Proxy бесплатно и убедитесь, что это лучший выбор для ваших задач! 🚀

Scrapy

21 November 2024 17:21

(но если ты это реализуешь, это будет прям говнокод аля натурэль)

Scrapy

22 November 2024 13:43

Ну ладно, затупил, сорян

Scrapy

22 November 2024 12:08

ну, что умеешь вырывать отельные фразы из контекста и отвечать только на них, игнорируя оставшуюся часть - это я уже догадался :)).
главная мысль сообщения была в том, что все обсуждение велось на совершенно другие темы. При правильно постановке вопроса - ответ нашелся за 12 минут, вместе с написанием матерного коммента :)

Scrapy

22 November 2024 11:55

посему, как я выше сказал "корректно заданный вопрос = 50% ответа"©
о, надо распечатать и прилепить на стену, а то опять в оффе мозг успели вынуть :)))

Scrapy

22 November 2024 11:54

я уже выше перепроверил, мидлварь ловит, а ты про нее в начале то же говорил

Scrapy

22 November 2024 11:42

моего знания буржяза не хватает прочесть все эти простынки :))))

Scrapy

22 November 2024 11:40

https://github.com/scrapy/scrapy/issues/6437

по моему, в стартовом топике об этом речь и идет

Scrapy

22 November 2024 11:32

и это я то же говорил :)

Scrapy

22 November 2024 11:31

изначально вопрос звучал как "остановится ли паук", на этот вопрос и пытались ответить, потом все свернуло что "мне надо что бы страницы обрабатывались, наверное надо экранировать ошибки", теперь - ошибки надо отлавливать и анализировать.....

Scrapy

22 November 2024 11:28

я считаю правильно вопрос задан 😁️️

Scrapy

22 November 2024 11:25

ну изначально вопрос звучал "возможно ли как-то перехватить то, что это произошло в функции parse?" иными словами перехватить ошибку

Scrapy

22 November 2024 11:06

логгинг у меня настроен и без этого...

Scrapy

22 November 2024 11:04

мне не так интересна теория, как практика 😁

Scrapy

22 November 2024 09:08

@Vadimtrade13, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch

Scrapy

21 November 2024 17:22

почитай лучше про обсервабилитю эту, это будет более грамотный подход

Scrapy

21 November 2024 17:20

ну вобщем ты или подробней распиши, или как я пока понял ты хочешь просто отсылки файлика на ошибке - это немного странный подход (обычно сначала собирают логи, анализируют их туда-сюда, а потом уже врезаются в исправление, если оно вообще нужно), но ты можешь наверное тот же логгер и так настроить, что кроме стектрейса он тебе будет на определенный чих слать и json