scrapy_python | Unsorted

Telegram-канал scrapy_python - Scrapy

1045

Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs

Subscribe to a channel

Scrapy

а что тебе дает xvfb-run npx playwright test ?

Читать полностью…

Scrapy

по сути оно окно виртуализирует, да
но нюанс в том, что без докера (просто на винде) на озоне проходит проверку
а здесь он не то чтобы не проходит, он сыпется от того что якобы жс не включен

Читать полностью…

Scrapy

ща я подумаю. надо какое-то гуевое приложение вспомнить мелкое

Читать полностью…

Scrapy

аэээ, слабо пока понимаю о чем речь

Читать полностью…

Scrapy

но мне интересна природа ошибки. нет часом никакого сайта провериться?

Читать полностью…

Scrapy

т.е. докер у тебя на wsl2, так?

Читать полностью…

Scrapy

ps1 это прикол плейрайта, он из под линуха докера запускается

сам докер у меня Docker Desktop на винде

Читать полностью…

Scrapy

понять бы для начала что означает "Please, enable JavaScript to continue"

Читать полностью…

Scrapy

а где он у тебя в командах?

Читать полностью…

Scrapy

ой, верней это https://github.com/microsoft/playwright/issues/2609

Читать полностью…

Scrapy

ну собсна у меня именно xvfb и стоит))

Читать полностью…

Scrapy

Ты локально запускаешь что-ли? емнип там надо как-то для докера дрова еще ставить чтобы оно пробрасывало окно, а так на чем он тебе отрендерит этот headless то, и оно еще отображаться будет. Еще до этого с x server или xvfb возюкались. ВИдел вроде чето полегче штуку посовременней но не помню.

Читать полностью…

Scrapy

Я тут посмотрел твой сайт у тя даже рсс удобный есть: https://v16.astar.bz/rss.xml чекай сколько влезет, но лучше проверить тоже, иногда отстают рсс ленты

Читать полностью…

Scrapy

Единственный точный способ чекнуть главную страницу и там смотреть список

Читать полностью…

Scrapy

пхах, с uv приорнул (сорян, конечно, но так и было)
это как, очереное "мамой клянусь, самый лучший менеджер пакетов и всего на свете"?
ну, я по старинке, завел несколько venv, которые обновляются раз в пятилетку, и сидю по чуть...

не хочу ни в кого и ни во что кидаться какашками, но, иногда, ощущаю себя старым пердуном, который сидит на завалинке и смотрит на суету вокруг 😂

Читать полностью…

Scrapy

щас попробую скрин взять через апиху

Читать полностью…

Scrapy

хотя не, ты же типа на xvfb запускаешь, оно должно вполне возможно и виртуализовать как-то окно при этом и даже не показывать. а то, что ты сможешь из-под чистого wsl запускать гуевое приложение тот же chromium, тебе вряд ли поможет

Читать полностью…

Scrapy

сейчас вот так

как попробовать нужно?

Читать полностью…

Scrapy

смари. а если ты не контом. а из-под wsl его запускаешь с headless false - у тебя окно линуксовое появляется?

Читать полностью…

Scrapy

щас попробую фаерфокс, не хромиум, хз может че даст

Читать полностью…

Scrapy

ну и контейнер на линуксе, да

Читать полностью…

Scrapy

откуда запускаешь. и что. линуховый или виндовый конт. типа из wsl? я просто вижу там и ps1 и apt-get и чет не догоняю

Читать полностью…

Scrapy

и он есть для винды? ты получается конт виндовый запускаешь что-ли?

Читать полностью…

Scrapy

а ну вроде расширение тоже есть

Читать полностью…

Scrapy

тогда может это:
https://github.com/microsoft/playwright/issues/2728

Читать полностью…

Scrapy

дальше у чатгпт спрашивай)

    FROM mcr.microsoft.com/playwright/python:v1.48.0-jammy # Or your preferred Playwright image

RUN apt-get update && apt-get install -y xvfb

# ... rest of your Dockerfile

Читать полностью…

Scrapy

здравствуйте
столкнулся с интересным явлением

вот из-за последней строчки получается вот такая тема

если запустить у себя на машине - на озон все проходит, никаких там ни капч, ни блоков от антиботов, ничего нет

сейчас возился над тем, чтобы с теми же параметрами (headless=false) утащить в докер
в итоге какого-то хрена он отключает (если это еще так, конечно) жаваскрипт.

ни у кого нет идей что это может быть?

Читать полностью…

Scrapy

Я (да, наверное, и процентов 70 тут сидящих) всегда говорил. Полная формулировка вопроса подразумевает в себе 80% ответа.
Пока, был бессвязный поток мыслей и уточнений. Просто сядь и запиши на бумажке свой вопрос, только развернуто и со всеми нюансами. Андрей, к примеру, предлагает уточке вопрос задавать 😁.
Я без стеба, что сейчас есть, хоть чуть понятно. Что надо - вааще не пойму.
И да. Ни одного сообщения с вопросительной интонацией я не видел (может просто просмотрел)

Читать полностью…

Scrapy

Расписание есть но могут выходить раньше или позже

Читать полностью…

Scrapy

но у датаклассов лучше апи

Читать полностью…
Subscribe to a channel