scrapy_python | Unsorted

Telegram-канал scrapy_python - Scrapy

1045

Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs

Subscribe to a channel

Scrapy

т.е. докер у тебя на wsl2, так?

Читать полностью…

Scrapy

ps1 это прикол плейрайта, он из под линуха докера запускается

сам докер у меня Docker Desktop на винде

Читать полностью…

Scrapy

понять бы для начала что означает "Please, enable JavaScript to continue"

Читать полностью…

Scrapy

а где он у тебя в командах?

Читать полностью…

Scrapy

ой, верней это https://github.com/microsoft/playwright/issues/2609

Читать полностью…

Scrapy

ну собсна у меня именно xvfb и стоит))

Читать полностью…

Scrapy

Ты локально запускаешь что-ли? емнип там надо как-то для докера дрова еще ставить чтобы оно пробрасывало окно, а так на чем он тебе отрендерит этот headless то, и оно еще отображаться будет. Еще до этого с x server или xvfb возюкались. ВИдел вроде чето полегче штуку посовременней но не помню.

Читать полностью…

Scrapy

Я тут посмотрел твой сайт у тя даже рсс удобный есть: https://v16.astar.bz/rss.xml чекай сколько влезет, но лучше проверить тоже, иногда отстают рсс ленты

Читать полностью…

Scrapy

Единственный точный способ чекнуть главную страницу и там смотреть список

Читать полностью…

Scrapy

пхах, с uv приорнул (сорян, конечно, но так и было)
это как, очереное "мамой клянусь, самый лучший менеджер пакетов и всего на свете"?
ну, я по старинке, завел несколько venv, которые обновляются раз в пятилетку, и сидю по чуть...

не хочу ни в кого и ни во что кидаться какашками, но, иногда, ощущаю себя старым пердуном, который сидит на завалинке и смотрит на суету вокруг 😂

Читать полностью…

Scrapy

как в МММ, "я не халявщик, я партнер", так и тут - я не namedtuple, я датакласс

Читать полностью…

Scrapy

если мне нужен прям датакласс мне namedtuple хватает)

Читать полностью…

Scrapy

валидация айтемов относительно жсонсхемы через спайдермон у нас много лет в проде

Читать полностью…

Scrapy

программировать будете на джсоне

Читать полностью…

Scrapy

attrs ещё есть, не уверен что стоит начинать с ним знакомиться щас

Читать полностью…

Scrapy

ну и контейнер на линуксе, да

Читать полностью…

Scrapy

откуда запускаешь. и что. линуховый или виндовый конт. типа из wsl? я просто вижу там и ps1 и apt-get и чет не догоняю

Читать полностью…

Scrapy

и он есть для винды? ты получается конт виндовый запускаешь что-ли?

Читать полностью…

Scrapy

а ну вроде расширение тоже есть

Читать полностью…

Scrapy

тогда может это:
https://github.com/microsoft/playwright/issues/2728

Читать полностью…

Scrapy

дальше у чатгпт спрашивай)

    FROM mcr.microsoft.com/playwright/python:v1.48.0-jammy # Or your preferred Playwright image

RUN apt-get update && apt-get install -y xvfb

# ... rest of your Dockerfile

Читать полностью…

Scrapy

здравствуйте
столкнулся с интересным явлением

вот из-за последней строчки получается вот такая тема

если запустить у себя на машине - на озон все проходит, никаких там ни капч, ни блоков от антиботов, ничего нет

сейчас возился над тем, чтобы с теми же параметрами (headless=false) утащить в докер
в итоге какого-то хрена он отключает (если это еще так, конечно) жаваскрипт.

ни у кого нет идей что это может быть?

Читать полностью…

Scrapy

Я (да, наверное, и процентов 70 тут сидящих) всегда говорил. Полная формулировка вопроса подразумевает в себе 80% ответа.
Пока, был бессвязный поток мыслей и уточнений. Просто сядь и запиши на бумажке свой вопрос, только развернуто и со всеми нюансами. Андрей, к примеру, предлагает уточке вопрос задавать 😁.
Я без стеба, что сейчас есть, хоть чуть понятно. Что надо - вааще не пойму.
И да. Ни одного сообщения с вопросительной интонацией я не видел (может просто просмотрел)

Читать полностью…

Scrapy

Расписание есть но могут выходить раньше или позже

Читать полностью…

Scrapy

но у датаклассов лучше апи

Читать полностью…

Scrapy

Although they use a very different mechanism, Data Classes can be thought of as “mutable namedtuples with defaults”.

Читать полностью…

Scrapy

с выводом ошибок в скрапи статы, что мне никогда не нравилось, но лучше чем никак

Читать полностью…

Scrapy

кайфы) было же такое

Читать полностью…

Scrapy

ну это все меняет ахахаха

Читать полностью…

Scrapy

схема это страшновато, будут как на java, сначала у нас схема, потом мы программируем на xml, а в итоге дебага-то у вас на xml нетути))

Читать полностью…
Subscribe to a channel