scrapy_python | Unsorted

Telegram-канал scrapy_python - Scrapy

1045

Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs

Subscribe to a channel

Scrapy

как в МММ, "я не халявщик, я партнер", так и тут - я не namedtuple, я датакласс

Читать полностью…

Scrapy

если мне нужен прям датакласс мне namedtuple хватает)

Читать полностью…

Scrapy

валидация айтемов относительно жсонсхемы через спайдермон у нас много лет в проде

Читать полностью…

Scrapy

программировать будете на джсоне

Читать полностью…

Scrapy

attrs ещё есть, не уверен что стоит начинать с ним знакомиться щас

Читать полностью…

Scrapy

мем с пайдентиком
построить класс по дикту БЕЗ валидации медленнее чем с валидацией

Читать полностью…

Scrapy

зато там схемы, валидации и т.д.

Читать полностью…

Scrapy

датаклассы это ну совсем тонкая обёртка, но лучше дикта

Читать полностью…

Scrapy

если датаклассов достаточно то их

Читать полностью…

Scrapy

походу тупо 3 все надо знать и все

Читать полностью…

Scrapy

не совсем нравится такой подход
поскорее поскорее побыстрее в релиз, а потом мучаться как доработать и не сломать текущий апи

Читать полностью…

Scrapy

типизацию кваргов вот например завезли только к 3.10
спустя 5 версий после релиза тайпинга

Читать полностью…

Scrapy

но это сами виноваты

Читать полностью…

Scrapy

лямбды в целом не нужны, но все же)

Читать полностью…

Scrapy

постфактум его тянуть тяжело

Читать полностью…

Scrapy

Although they use a very different mechanism, Data Classes can be thought of as “mutable namedtuples with defaults”.

Читать полностью…

Scrapy

с выводом ошибок в скрапи статы, что мне никогда не нравилось, но лучше чем никак

Читать полностью…

Scrapy

кайфы) было же такое

Читать полностью…

Scrapy

ну это все меняет ахахаха

Читать полностью…

Scrapy

схема это страшновато, будут как на java, сначала у нас схема, потом мы программируем на xml, а в итоге дебага-то у вас на xml нетути))

Читать полностью…

Scrapy

и медленно и не корректно
люди к сожалению бизнес логику в валидаторах пишут потому что иначе никак

Читать полностью…

Scrapy

pydantic это прямо сложно, я его почти не знаю

Читать полностью…

Scrapy

ну на вкус и цвет все фломастеры разные

Читать полностью…

Scrapy

дело вкуса, я чисто про то как мощно оно подчёркивает то что pyright/pylance посчитал ошибкой тайпинга
(и про то что в пайчарме оно мало того что не так заметно, так ещё и чекер там такой тухлый что я его мысленно игнорирую просто)

Читать полностью…

Scrapy

а как лучше в итоге? и вопрос годов че там выбрать dataclass vs pydantic vs еще

Читать полностью…

Scrapy

конечно, сначала говорили что пишите коллбэк протокол, сами виноваты что у вас кварги

Читать полностью…

Scrapy

я раза 2 подходил к vscodу, плевал и возвращался обратно на пайчарм. Каждый раз эта вскодина мне палки в колеса вставляет (которые пичарм попускает) Когда-нибудь в очередной раз психану и попробую. К тому же видос нашел с хорошими настройками вроде.

Читать полностью…

Scrapy

ну да, на каком-то уровне сложности динамического кода приходится сдаваться

Читать полностью…

Scrapy

с текущей правда системой не все можно затипизировать
(условно лямбды)

Читать полностью…

Scrapy

но лучше сразу с ним писать конечно

Читать полностью…
Subscribe to a channel