scrapy_python | Unsorted

Telegram-канал scrapy_python - Scrapy

1045

Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs

Subscribe to a channel

Scrapy

аэээ, слабо пока понимаю о чем речь

Читать полностью…

Scrapy

но мне интересна природа ошибки. нет часом никакого сайта провериться?

Читать полностью…

Scrapy

т.е. докер у тебя на wsl2, так?

Читать полностью…

Scrapy

ps1 это прикол плейрайта, он из под линуха докера запускается

сам докер у меня Docker Desktop на винде

Читать полностью…

Scrapy

понять бы для начала что означает "Please, enable JavaScript to continue"

Читать полностью…

Scrapy

а где он у тебя в командах?

Читать полностью…

Scrapy

ой, верней это https://github.com/microsoft/playwright/issues/2609

Читать полностью…

Scrapy

ну собсна у меня именно xvfb и стоит))

Читать полностью…

Scrapy

Ты локально запускаешь что-ли? емнип там надо как-то для докера дрова еще ставить чтобы оно пробрасывало окно, а так на чем он тебе отрендерит этот headless то, и оно еще отображаться будет. Еще до этого с x server или xvfb возюкались. ВИдел вроде чето полегче штуку посовременней но не помню.

Читать полностью…

Scrapy

Я тут посмотрел твой сайт у тя даже рсс удобный есть: https://v16.astar.bz/rss.xml чекай сколько влезет, но лучше проверить тоже, иногда отстают рсс ленты

Читать полностью…

Scrapy

Единственный точный способ чекнуть главную страницу и там смотреть список

Читать полностью…

Scrapy

пхах, с uv приорнул (сорян, конечно, но так и было)
это как, очереное "мамой клянусь, самый лучший менеджер пакетов и всего на свете"?
ну, я по старинке, завел несколько venv, которые обновляются раз в пятилетку, и сидю по чуть...

не хочу ни в кого и ни во что кидаться какашками, но, иногда, ощущаю себя старым пердуном, который сидит на завалинке и смотрит на суету вокруг 😂

Читать полностью…

Scrapy

как в МММ, "я не халявщик, я партнер", так и тут - я не namedtuple, я датакласс

Читать полностью…

Scrapy

если мне нужен прям датакласс мне namedtuple хватает)

Читать полностью…

Scrapy

валидация айтемов относительно жсонсхемы через спайдермон у нас много лет в проде

Читать полностью…

Scrapy

смари. а если ты не контом. а из-под wsl его запускаешь с headless false - у тебя окно линуксовое появляется?

Читать полностью…

Scrapy

щас попробую фаерфокс, не хромиум, хз может че даст

Читать полностью…

Scrapy

ну и контейнер на линуксе, да

Читать полностью…

Scrapy

откуда запускаешь. и что. линуховый или виндовый конт. типа из wsl? я просто вижу там и ps1 и apt-get и чет не догоняю

Читать полностью…

Scrapy

и он есть для винды? ты получается конт виндовый запускаешь что-ли?

Читать полностью…

Scrapy

а ну вроде расширение тоже есть

Читать полностью…

Scrapy

тогда может это:
https://github.com/microsoft/playwright/issues/2728

Читать полностью…

Scrapy

дальше у чатгпт спрашивай)

    FROM mcr.microsoft.com/playwright/python:v1.48.0-jammy # Or your preferred Playwright image

RUN apt-get update && apt-get install -y xvfb

# ... rest of your Dockerfile

Читать полностью…

Scrapy

здравствуйте
столкнулся с интересным явлением

вот из-за последней строчки получается вот такая тема

если запустить у себя на машине - на озон все проходит, никаких там ни капч, ни блоков от антиботов, ничего нет

сейчас возился над тем, чтобы с теми же параметрами (headless=false) утащить в докер
в итоге какого-то хрена он отключает (если это еще так, конечно) жаваскрипт.

ни у кого нет идей что это может быть?

Читать полностью…

Scrapy

Я (да, наверное, и процентов 70 тут сидящих) всегда говорил. Полная формулировка вопроса подразумевает в себе 80% ответа.
Пока, был бессвязный поток мыслей и уточнений. Просто сядь и запиши на бумажке свой вопрос, только развернуто и со всеми нюансами. Андрей, к примеру, предлагает уточке вопрос задавать 😁.
Я без стеба, что сейчас есть, хоть чуть понятно. Что надо - вааще не пойму.
И да. Ни одного сообщения с вопросительной интонацией я не видел (может просто просмотрел)

Читать полностью…

Scrapy

Расписание есть но могут выходить раньше или позже

Читать полностью…

Scrapy

но у датаклассов лучше апи

Читать полностью…

Scrapy

Although they use a very different mechanism, Data Classes can be thought of as “mutable namedtuples with defaults”.

Читать полностью…

Scrapy

с выводом ошибок в скрапи статы, что мне никогда не нравилось, но лучше чем никак

Читать полностью…

Scrapy

кайфы) было же такое

Читать полностью…
Subscribe to a channel