1045
Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs
Критериев никаких нет, так что вот.
https://proxy.house/
https://proxymania.su/
https://socproxy.ru/
Первое что в голову пришло из ру сегмента и чем точно пользовался. Ещё из иностранных пользовался
https://www.proxyrack.com/
Ку, а есть примерные сроки когда 2.14 выйдет?) Если их нет, то ок, но было бы классно знать. Очень жду фикс)
Читать полностью…
Я тупа вытащил в отдельный сервис типа splash или browserless. Но сам написал
Читать полностью…
в частности не работает PageMethod("evaluate") c onclick
Читать полностью…
одна из мер защиты от ии слопа)))
https://github.com/AlgorithmAlchemy/flake8-no-emoji
В принципе знания зенопостера не обязательны главное разбираться в запросах
Читать полностью…
https://gist.github.com/visuator/0ccbcaddd480580fe644c2a91584107f
Читать полностью…
руки пока не доходят его доделать + я очень давно не работал с докером забыл что к чему
Читать полностью…
у них образ для тестов
у меня образ - сдк для запуска дотнет приложения, а плейрайт идет пакетом к нему
т.е. они говорят что у них image с предустановленным xvfb, ты его должен по-идее взять и уже поверх него что-то там фигачить
Читать полностью…
по сути оно окно виртуализирует, да
но нюанс в том, что без докера (просто на винде) на озоне проходит проверку
а здесь он не то чтобы не проходит, он сыпется от того что якобы жс не включен
I need a LinkedIn cookie+pass account, logged in using the cookie and with the correct password. Email access is not required. If you have this type of account, please contact me.
Читать полностью…
ну даже мне интересно стало
так в чем причина была-то?
ребят, может быть такое, что при настройке proxy ротации в middleware scrapy, часть скриптов playwright не работают? А часть работают...🤢
Читать полностью…
Ребят есть кто с зенопостером работает и в запросах разбирается есть работа в лс
Читать полностью…
короче, щас ссылку сделаю прикреплю, а дальше кому надо будет сделают
Читать полностью…
Ну причеши и положи хотя бы на gist.github с основным описанием, может кому-то поможет
Читать полностью…
вопрос тока, что они говорят мол юзайте docker pull mcr.microsoft.com/playwright:v1.55.0-noble - а ты тянешь какое-то sdk, оно поверх этого напихано что-ли?
хотя ты его вроде и тянешь. запусти там эту вот test чо покажет?
Читать полностью…
просто у них вот есть https://playwright.dev/docs/ci#:~:text=have%20Xvfb%20pre%2Dinstalled
Читать полностью…
оно для меня не подойдет
у меня не тесты, а приложение на дотнете, которое скрапит
хотя не, ты же типа на xvfb запускаешь, оно должно вполне возможно и виртуализовать как-то окно при этом и даже не показывать. а то, что ты сможешь из-под чистого wsl запускать гуевое приложение тот же chromium, тебе вряд ли поможет
Читать полностью…