scrapy_python | Unsorted

Telegram-канал scrapy_python - Scrapy

1045

Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs

Subscribe to a channel

Scrapy

Я тупа вытащил в отдельный сервис типа splash или browserless. Но сам написал

Читать полностью…

Scrapy

в частности не работает PageMethod("evaluate") c onclick

Читать полностью…

Scrapy

одна из мер защиты от ии слопа)))

https://github.com/AlgorithmAlchemy/flake8-no-emoji

Читать полностью…

Scrapy

В принципе знания зенопостера не обязательны главное разбираться в запросах

Читать полностью…

Scrapy

https://gist.github.com/visuator/0ccbcaddd480580fe644c2a91584107f

Читать полностью…

Scrapy

руки пока не доходят его доделать + я очень давно не работал с докером забыл что к чему

Читать полностью…

Scrapy

у них образ для тестов

у меня образ - сдк для запуска дотнет приложения, а плейрайт идет пакетом к нему

Читать полностью…

Scrapy

ну он очень плохой, но для старта пойдет

Читать полностью…

Scrapy

да!!! внатуре оно само заработало

Читать полностью…

Scrapy

т.е. они говорят что у них image с предустановленным xvfb, ты его должен по-идее взять и уже поверх него что-то там фигачить

Читать полностью…

Scrapy

это да, но тебе же надо проверить как работает

Читать полностью…

Scrapy

а что тебе дает xvfb-run npx playwright test ?

Читать полностью…

Scrapy

по сути оно окно виртуализирует, да
но нюанс в том, что без докера (просто на винде) на озоне проходит проверку
а здесь он не то чтобы не проходит, он сыпется от того что якобы жс не включен

Читать полностью…

Scrapy

ща я подумаю. надо какое-то гуевое приложение вспомнить мелкое

Читать полностью…

Scrapy

аэээ, слабо пока понимаю о чем речь

Читать полностью…

Scrapy

ну даже мне интересно стало

так в чем причина была-то?

Читать полностью…

Scrapy

ребят, может быть такое, что при настройке proxy ротации в middleware scrapy, часть скриптов playwright не работают? А часть работают...🤢

Читать полностью…

Scrapy

Нужно сделать одно действие запросом плачу от 50usdt

Читать полностью…

Scrapy

Ребят есть кто с зенопостером работает и в запросах разбирается есть работа в лс

Читать полностью…

Scrapy

короче, щас ссылку сделаю прикреплю, а дальше кому надо будет сделают

Читать полностью…

Scrapy

Ну причеши и положи хотя бы на gist.github с основным описанием, может кому-то поможет

Читать полностью…

Scrapy

вопрос тока, что они говорят мол юзайте docker pull mcr.microsoft.com/playwright:v1.55.0-noble - а ты тянешь какое-то sdk, оно поверх этого напихано что-ли?

Читать полностью…

Scrapy

выложить докер файл? если это поможет кому?

Читать полностью…

Scrapy

хотя ты его вроде и тянешь. запусти там эту вот test чо покажет?

Читать полностью…

Scrapy

просто у них вот есть https://playwright.dev/docs/ci#:~:text=have%20Xvfb%20pre%2Dinstalled

Читать полностью…

Scrapy

оно для меня не подойдет

у меня не тесты, а приложение на дотнете, которое скрапит

Читать полностью…

Scrapy

щас попробую скрин взять через апиху

Читать полностью…

Scrapy

хотя не, ты же типа на xvfb запускаешь, оно должно вполне возможно и виртуализовать как-то окно при этом и даже не показывать. а то, что ты сможешь из-под чистого wsl запускать гуевое приложение тот же chromium, тебе вряд ли поможет

Читать полностью…

Scrapy

сейчас вот так

как попробовать нужно?

Читать полностью…

Scrapy

смари. а если ты не контом. а из-под wsl его запускаешь с headless false - у тебя окно линуксовое появляется?

Читать полностью…
Subscribe to a channel