Scrapy

30 September 2025 22:10

тогда может это:
https://github.com/microsoft/playwright/issues/2728

Scrapy

30 September 2025 22:08

дальше у чатгпт спрашивай)

    FROM mcr.microsoft.com/playwright/python:v1.48.0-jammy # Or your preferred Playwright image
    
    RUN apt-get update && apt-get install -y xvfb
    
    # ... rest of your Dockerfile

Scrapy

30 September 2025 22:00

здравствуйте
столкнулся с интересным явлением

вот из-за последней строчки получается вот такая тема

если запустить у себя на машине - на озон все проходит, никаких там ни капч, ни блоков от антиботов, ничего нет

сейчас возился над тем, чтобы с теми же параметрами (headless=false) утащить в докер
в итоге какого-то хрена он отключает (если это еще так, конечно) жаваскрипт.

ни у кого нет идей что это может быть?

Scrapy

30 September 2025 07:18

Я (да, наверное, и процентов 70 тут сидящих) всегда говорил. Полная формулировка вопроса подразумевает в себе 80% ответа.
Пока, был бессвязный поток мыслей и уточнений. Просто сядь и запиши на бумажке свой вопрос, только развернуто и со всеми нюансами. Андрей, к примеру, предлагает уточке вопрос задавать 😁.
Я без стеба, что сейчас есть, хоть чуть понятно. Что надо - вааще не пойму.
И да. Ни одного сообщения с вопросительной интонацией я не видел (может просто просмотрел)

Scrapy

30 September 2025 04:48

Расписание есть но могут выходить раньше или позже

Scrapy

29 September 2025 16:59

но у датаклассов лучше апи

Scrapy

29 September 2025 16:49

Although they use a very different mechanism, Data Classes can be thought of as “mutable namedtuples with defaults”.

Scrapy

29 September 2025 16:46

с выводом ошибок в скрапи статы, что мне никогда не нравилось, но лучше чем никак

Scrapy

29 September 2025 16:46

кайфы) было же такое

Scrapy

29 September 2025 16:45

ну это все меняет ахахаха

Scrapy

29 September 2025 16:45

схема это страшновато, будут как на java, сначала у нас схема, потом мы программируем на xml, а в итоге дебага-то у вас на xml нетути))

Scrapy

29 September 2025 16:44

и медленно и не корректно
люди к сожалению бизнес логику в валидаторах пишут потому что иначе никак

Scrapy

29 September 2025 16:43

pydantic это прямо сложно, я его почти не знаю

Scrapy

29 September 2025 16:43

ну на вкус и цвет все фломастеры разные

Scrapy

29 September 2025 16:42

дело вкуса, я чисто про то как мощно оно подчёркивает то что pyright/pylance посчитал ошибкой тайпинга
(и про то что в пайчарме оно мало того что не так заметно, так ещё и чекер там такой тухлый что я его мысленно игнорирую просто)

Scrapy

30 September 2025 22:08

ну собсна у меня именно xvfb и стоит))

Scrapy

30 September 2025 22:07

Ты локально запускаешь что-ли? емнип там надо как-то для докера дрова еще ставить чтобы оно пробрасывало окно, а так на чем он тебе отрендерит этот headless то, и оно еще отображаться будет. Еще до этого с x server или xvfb возюкались. ВИдел вроде чето полегче штуку посовременней но не помню.

Scrapy

30 September 2025 09:27

Я тут посмотрел твой сайт у тя даже рсс удобный есть: https://v16.astar.bz/rss.xml чекай сколько влезет, но лучше проверить тоже, иногда отстают рсс ленты

Scrapy

30 September 2025 04:49

Единственный точный способ чекнуть главную страницу и там смотреть список

Scrapy

29 September 2025 22:55

пхах, с uv приорнул (сорян, конечно, но так и было)
это как, очереное "мамой клянусь, самый лучший менеджер пакетов и всего на свете"?
ну, я по старинке, завел несколько venv, которые обновляются раз в пятилетку, и сидю по чуть...

не хочу ни в кого и ни во что кидаться какашками, но, иногда, ощущаю себя старым пердуном, который сидит на завалинке и смотрит на суету вокруг 😂

Scrapy

29 September 2025 16:52

как в МММ, "я не халявщик, я партнер", так и тут - я не namedtuple, я датакласс

Scrapy

29 September 2025 16:48

если мне нужен прям датакласс мне namedtuple хватает)

Scrapy

29 September 2025 16:46

валидация айтемов относительно жсонсхемы через спайдермон у нас много лет в проде

Scrapy

29 September 2025 16:45

программировать будете на джсоне

Scrapy

29 September 2025 16:45

attrs ещё есть, не уверен что стоит начинать с ним знакомиться щас

Scrapy

29 September 2025 16:45

мем с пайдентиком
построить класс по дикту БЕЗ валидации медленнее чем с валидацией

Scrapy

29 September 2025 16:44

зато там схемы, валидации и т.д.

Scrapy

29 September 2025 16:43

датаклассы это ну совсем тонкая обёртка, но лучше дикта

Scrapy

29 September 2025 16:43

если датаклассов достаточно то их

Scrapy

29 September 2025 16:42

походу тупо 3 все надо знать и все