scrapy_python | Unsorted

Telegram-канал scrapy_python - Scrapy

1045

Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs

Subscribe to a channel

Scrapy

Критериев никаких нет, так что вот.
https://proxy.house/
https://proxymania.su/
https://socproxy.ru/
Первое что в голову пришло из ру сегмента и чем точно пользовался. Ещё из иностранных пользовался
https://www.proxyrack.com/

Читать полностью…

Scrapy

Ку, а есть примерные сроки когда 2.14 выйдет?) Если их нет, то ок, но было бы классно знать. Очень жду фикс)

Читать полностью…

Scrapy

Я тупа вытащил в отдельный сервис типа splash или browserless. Но сам написал

Читать полностью…

Scrapy

в частности не работает PageMethod("evaluate") c onclick

Читать полностью…

Scrapy

одна из мер защиты от ии слопа)))

https://github.com/AlgorithmAlchemy/flake8-no-emoji

Читать полностью…

Scrapy

В принципе знания зенопостера не обязательны главное разбираться в запросах

Читать полностью…

Scrapy

https://gist.github.com/visuator/0ccbcaddd480580fe644c2a91584107f

Читать полностью…

Scrapy

руки пока не доходят его доделать + я очень давно не работал с докером забыл что к чему

Читать полностью…

Scrapy

у них образ для тестов

у меня образ - сдк для запуска дотнет приложения, а плейрайт идет пакетом к нему

Читать полностью…

Scrapy

ну он очень плохой, но для старта пойдет

Читать полностью…

Scrapy

да!!! внатуре оно само заработало

Читать полностью…

Scrapy

т.е. они говорят что у них image с предустановленным xvfb, ты его должен по-идее взять и уже поверх него что-то там фигачить

Читать полностью…

Scrapy

это да, но тебе же надо проверить как работает

Читать полностью…

Scrapy

а что тебе дает xvfb-run npx playwright test ?

Читать полностью…

Scrapy

по сути оно окно виртуализирует, да
но нюанс в том, что без докера (просто на винде) на озоне проходит проверку
а здесь он не то чтобы не проходит, он сыпется от того что якобы жс не включен

Читать полностью…

Scrapy

Может кто то посоветовать прокси сервис?

Читать полностью…

Scrapy

I need a LinkedIn cookie+pass account, logged in using the cookie and with the correct password. Email access is not required. If you have this type of account, please contact me.

Читать полностью…

Scrapy

ну даже мне интересно стало

так в чем причина была-то?

Читать полностью…

Scrapy

ребят, может быть такое, что при настройке proxy ротации в middleware scrapy, часть скриптов playwright не работают? А часть работают...🤢

Читать полностью…

Scrapy

Нужно сделать одно действие запросом плачу от 50usdt

Читать полностью…

Scrapy

Ребят есть кто с зенопостером работает и в запросах разбирается есть работа в лс

Читать полностью…

Scrapy

короче, щас ссылку сделаю прикреплю, а дальше кому надо будет сделают

Читать полностью…

Scrapy

Ну причеши и положи хотя бы на gist.github с основным описанием, может кому-то поможет

Читать полностью…

Scrapy

вопрос тока, что они говорят мол юзайте docker pull mcr.microsoft.com/playwright:v1.55.0-noble - а ты тянешь какое-то sdk, оно поверх этого напихано что-ли?

Читать полностью…

Scrapy

выложить докер файл? если это поможет кому?

Читать полностью…

Scrapy

хотя ты его вроде и тянешь. запусти там эту вот test чо покажет?

Читать полностью…

Scrapy

просто у них вот есть https://playwright.dev/docs/ci#:~:text=have%20Xvfb%20pre%2Dinstalled

Читать полностью…

Scrapy

оно для меня не подойдет

у меня не тесты, а приложение на дотнете, которое скрапит

Читать полностью…

Scrapy

щас попробую скрин взять через апиху

Читать полностью…

Scrapy

хотя не, ты же типа на xvfb запускаешь, оно должно вполне возможно и виртуализовать как-то окно при этом и даже не показывать. а то, что ты сможешь из-под чистого wsl запускать гуевое приложение тот же chromium, тебе вряд ли поможет

Читать полностью…
Subscribe to a channel