scrapy_python | Unsorted

Telegram-канал scrapy_python - Scrapy

1045

Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs

Subscribe to a channel

Scrapy

просто у них вот есть https://playwright.dev/docs/ci#:~:text=have%20Xvfb%20pre%2Dinstalled

Читать полностью…

Scrapy

оно для меня не подойдет

у меня не тесты, а приложение на дотнете, которое скрапит

Читать полностью…

Scrapy

щас попробую скрин взять через апиху

Читать полностью…

Scrapy

хотя не, ты же типа на xvfb запускаешь, оно должно вполне возможно и виртуализовать как-то окно при этом и даже не показывать. а то, что ты сможешь из-под чистого wsl запускать гуевое приложение тот же chromium, тебе вряд ли поможет

Читать полностью…

Scrapy

сейчас вот так

как попробовать нужно?

Читать полностью…

Scrapy

смари. а если ты не контом. а из-под wsl его запускаешь с headless false - у тебя окно линуксовое появляется?

Читать полностью…

Scrapy

щас попробую фаерфокс, не хромиум, хз может че даст

Читать полностью…

Scrapy

ну и контейнер на линуксе, да

Читать полностью…

Scrapy

откуда запускаешь. и что. линуховый или виндовый конт. типа из wsl? я просто вижу там и ps1 и apt-get и чет не догоняю

Читать полностью…

Scrapy

и он есть для винды? ты получается конт виндовый запускаешь что-ли?

Читать полностью…

Scrapy

а ну вроде расширение тоже есть

Читать полностью…

Scrapy

тогда может это:
https://github.com/microsoft/playwright/issues/2728

Читать полностью…

Scrapy

дальше у чатгпт спрашивай)

    FROM mcr.microsoft.com/playwright/python:v1.48.0-jammy # Or your preferred Playwright image

RUN apt-get update && apt-get install -y xvfb

# ... rest of your Dockerfile

Читать полностью…

Scrapy

здравствуйте
столкнулся с интересным явлением

вот из-за последней строчки получается вот такая тема

если запустить у себя на машине - на озон все проходит, никаких там ни капч, ни блоков от антиботов, ничего нет

сейчас возился над тем, чтобы с теми же параметрами (headless=false) утащить в докер
в итоге какого-то хрена он отключает (если это еще так, конечно) жаваскрипт.

ни у кого нет идей что это может быть?

Читать полностью…

Scrapy

Я (да, наверное, и процентов 70 тут сидящих) всегда говорил. Полная формулировка вопроса подразумевает в себе 80% ответа.
Пока, был бессвязный поток мыслей и уточнений. Просто сядь и запиши на бумажке свой вопрос, только развернуто и со всеми нюансами. Андрей, к примеру, предлагает уточке вопрос задавать 😁.
Я без стеба, что сейчас есть, хоть чуть понятно. Что надо - вааще не пойму.
И да. Ни одного сообщения с вопросительной интонацией я не видел (может просто просмотрел)

Читать полностью…

Scrapy

это да, но тебе же надо проверить как работает

Читать полностью…

Scrapy

а что тебе дает xvfb-run npx playwright test ?

Читать полностью…

Scrapy

по сути оно окно виртуализирует, да
но нюанс в том, что без докера (просто на винде) на озоне проходит проверку
а здесь он не то чтобы не проходит, он сыпется от того что якобы жс не включен

Читать полностью…

Scrapy

ща я подумаю. надо какое-то гуевое приложение вспомнить мелкое

Читать полностью…

Scrapy

аэээ, слабо пока понимаю о чем речь

Читать полностью…

Scrapy

но мне интересна природа ошибки. нет часом никакого сайта провериться?

Читать полностью…

Scrapy

т.е. докер у тебя на wsl2, так?

Читать полностью…

Scrapy

ps1 это прикол плейрайта, он из под линуха докера запускается

сам докер у меня Docker Desktop на винде

Читать полностью…

Scrapy

понять бы для начала что означает "Please, enable JavaScript to continue"

Читать полностью…

Scrapy

а где он у тебя в командах?

Читать полностью…

Scrapy

ой, верней это https://github.com/microsoft/playwright/issues/2609

Читать полностью…

Scrapy

ну собсна у меня именно xvfb и стоит))

Читать полностью…

Scrapy

Ты локально запускаешь что-ли? емнип там надо как-то для докера дрова еще ставить чтобы оно пробрасывало окно, а так на чем он тебе отрендерит этот headless то, и оно еще отображаться будет. Еще до этого с x server или xvfb возюкались. ВИдел вроде чето полегче штуку посовременней но не помню.

Читать полностью…

Scrapy

Я тут посмотрел твой сайт у тя даже рсс удобный есть: https://v16.astar.bz/rss.xml чекай сколько влезет, но лучше проверить тоже, иногда отстают рсс ленты

Читать полностью…

Scrapy

Единственный точный способ чекнуть главную страницу и там смотреть список

Читать полностью…
Subscribe to a channel