Scrapy

21 Nov 2024 17:21

(но если ты это реализуешь, это будет прям говнокод аля натурэль)

Scrapy

21 Nov 2024 17:16

Конечно не выведется, поэтому предложенные варианты решения мне и показались странными, ведь ни итемов, ни реквестов они не вернут

Scrapy

21 Nov 2024 17:15

тогда кури https://www.plutora.com/blog/observability-pillar-site-reliability-engineering до посинения

Scrapy

21 Nov 2024 17:13

Ну так если у меня где-то сдохнет скрапер, то оно пойдет в эррор и итем скорее всего вообще не выведется

Scrapy

21 Nov 2024 17:11

Не понимаю что такое выходные поля

Scrapy

21 Nov 2024 17:11

Я знаю, что не придёт, а даже если придёт, то дискорд попросту не примет файл такой величины

Scrapy

21 Nov 2024 17:08

Ну у меня и так логгируется то, что где-то что-то не нашлось, но меня больше интересует как можно было избежать ошибки, а не то, что поле не нашлось. Поэтому нужно скидывать весь джейсон.

Почему нет?

Scrapy

21 Nov 2024 17:05

по хорошему такие штуки отлавливать любой системой анализа логов, плюс странно ты как-то парсер пишешь, ты его от балды чтоли пишешь, не поглядывая первые запуски на ошибки? Но в целом, цельный ELK городить - может как-то жирно быть на пару парсеров, но можно поискать что-то более мелкотравчатое.

ЗЫ про то, что ты задолбешься писать геттеры для своих вложенных полей, есть же либы где ты 1 разик слово get пишешь, туда же ты можешь присобачить и логгинг, я бы правда цельный файл JSON'а в дискорд бы не слал. Пример:
(бозенька, храни чатжопоте, за то, что он генерит примеры за полсекунды):

import logging
import pydash

logging.basicConfig(level=logging.WARNING)


def safe_get(obj, path, default=None):
    value = pydash.get(obj, path, default)
    if value == default:
        logging.warning(f"Missing path in JSON: {path}")
    return value


data = {"parent_field": {"child_field": "value"}}
child = safe_get(data, "parent_field.child_field")
print(child)
missing = safe_get(data, "nonexistent_field.child_field")
print(missing)

Scrapy

21 Nov 2024 16:32

С того, что Михаил рассмеялся)

Scrapy

21 Nov 2024 16:17

мне желательно, чтобы оно само работало, а я только деньги за прокси платил и отдыхал на мальдивах

Scrapy

21 Nov 2024 16:12

не, скрапи наверно не дружит с декораторами

Scrapy

21 Nov 2024 16:12

тогда не придётся говнокодить

Scrapy

21 Nov 2024 16:11

ок, тогда в трай/эксцепт весь метод, так точно ничего не поломается :)

Scrapy

21 Nov 2024 16:11

Используйте try except

Scrapy

21 Nov 2024 16:10

я задолблюсь в каждом месте геты писать, потому что там очень много путей....

Scrapy

21 Nov 2024 17:20

ну вобщем ты или подробней распиши, или как я пока понял ты хочешь просто отсылки файлика на ошибке - это немного странный подход (обычно сначала собирают логи, анализируют их туда-сюда, а потом уже врезаются в исправление, если оно вообще нужно), но ты можешь наверное тот же логгер и так настроить, что кроме стектрейса он тебе будет на определенный чих слать и json

Scrapy

21 Nov 2024 17:16

и думай, как этого добиться

Scrapy

21 Nov 2024 17:14

тогда я не понимаю, в чем изначальный вопрос был, ты типа там SRE из себя изображаешь и хочешь превентировать ошибки или чего?

Scrapy

21 Nov 2024 17:12

ну условные имя, артику, цена, картинка

Scrapy

21 Nov 2024 17:11

тогда будет меньше дергача - нашло оно чото (или клиент) и сигнализироварует тебе, а ты уже смотришь логи и понимаешь что что-то померло в датском селении

Scrapy

21 Nov 2024 17:10

ну вдруг тебе там придет 500 гигабайт json'ов. Все это писать, проверять. Я бы шел от выходных данных, все ли поля выходные обязательные есть, адекватный ли размер выходных данных и айтемсов

Scrapy

21 Nov 2024 17:06

Парсер работает больше года и каждый месяц появляется новая ошибка, дружок)

Scrapy

21 Nov 2024 16:32

Говнокод в том, что dry не соблюдается.

Хз как мидлварь поможет, но гляну

Scrapy

21 Nov 2024 16:30

Если заворачивание в try except кода где нужно обработать исключения это говнокод - то хотя бы сделайте мидлварь

Scrapy

21 Nov 2024 16:17

у проекта есть потребности определенные, я ищу чем их закрывать.

Тут будто особо ничего кроме говнокода не остается

Scrapy

21 Nov 2024 16:12

🤣, сцук... я щас аж всхрюкнул...

Scrapy

21 Nov 2024 16:12

о, кстати, а можно по идее это в декораторе сделать

Scrapy

21 Nov 2024 16:11

Он буквально для этого

Scrapy

21 Nov 2024 16:11

хотя если так подумать, то можно словарик кастомный написать 🤔

Scrapy

21 Nov 2024 16:10

json_data.get("какой там ключь пытаешься забрать")