1045
Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs
Я тупа вытащил в отдельный сервис типа splash или browserless. Но сам написал
Читать полностью…
в частности не работает PageMethod("evaluate") c onclick
Читать полностью…
одна из мер защиты от ии слопа)))
https://github.com/AlgorithmAlchemy/flake8-no-emoji
В принципе знания зенопостера не обязательны главное разбираться в запросах
Читать полностью…
https://gist.github.com/visuator/0ccbcaddd480580fe644c2a91584107f
Читать полностью…
руки пока не доходят его доделать + я очень давно не работал с докером забыл что к чему
Читать полностью…
у них образ для тестов
у меня образ - сдк для запуска дотнет приложения, а плейрайт идет пакетом к нему
т.е. они говорят что у них image с предустановленным xvfb, ты его должен по-идее взять и уже поверх него что-то там фигачить
Читать полностью…
по сути оно окно виртуализирует, да
но нюанс в том, что без докера (просто на винде) на озоне проходит проверку
а здесь он не то чтобы не проходит, он сыпется от того что якобы жс не включен
ща я подумаю. надо какое-то гуевое приложение вспомнить мелкое
Читать полностью…
ну даже мне интересно стало
так в чем причина была-то?
ребят, может быть такое, что при настройке proxy ротации в middleware scrapy, часть скриптов playwright не работают? А часть работают...🤢
Читать полностью…
Ребят есть кто с зенопостером работает и в запросах разбирается есть работа в лс
Читать полностью…
короче, щас ссылку сделаю прикреплю, а дальше кому надо будет сделают
Читать полностью…
Ну причеши и положи хотя бы на gist.github с основным описанием, может кому-то поможет
Читать полностью…
вопрос тока, что они говорят мол юзайте docker pull mcr.microsoft.com/playwright:v1.55.0-noble - а ты тянешь какое-то sdk, оно поверх этого напихано что-ли?
хотя ты его вроде и тянешь. запусти там эту вот test чо покажет?
Читать полностью…
просто у них вот есть https://playwright.dev/docs/ci#:~:text=have%20Xvfb%20pre%2Dinstalled
Читать полностью…
оно для меня не подойдет
у меня не тесты, а приложение на дотнете, которое скрапит
хотя не, ты же типа на xvfb запускаешь, оно должно вполне возможно и виртуализовать как-то окно при этом и даже не показывать. а то, что ты сможешь из-под чистого wsl запускать гуевое приложение тот же chromium, тебе вряд ли поможет
Читать полностью…
смари. а если ты не контом. а из-под wsl его запускаешь с headless false - у тебя окно линуксовое появляется?
Читать полностью…