Scrapy

16 June 2025 13:44

Есть кто с опытом? Можем в команду взять

Scrapy

16 June 2025 13:11

селениумом хочешь сказать?

Scrapy

16 June 2025 08:16

Мне нужно мониторить общую группу в ватсапе и при получении триггер сообщения писать в нее 1 слово, с интервалом ~1час.

Работать должно автономно 24/7 в докере на дедике.

Насколько я понял у ватсапа нет изичной халявной апишки, в этом проблема

Ктото уже сталкивался с таким кейсом, чем воспользовались?

Scrapy

13 June 2025 21:03

Ещё раз огромная благодарность)

Scrapy

13 June 2025 21:03

самым распространенным вполне возможно что и селениум

Scrapy

13 June 2025 21:02

Если нужно подделать тлс фингерпринт, можно взять scrapy-curl-cffi

Scrapy

13 June 2025 21:00

/channel/scrapy_python/61298

Scrapy

13 June 2025 20:59

Знаю. В чистом виде пользовал немного

Scrapy

13 June 2025 20:59

Не понравился сплеш. Browserless больше понравился, но он тяжёлый и много ненужной функций для меня, пришлось свою писать))

Scrapy

13 June 2025 20:58

Его в скрапи засунуть можно?)

Scrapy

13 June 2025 20:57

Сначала ж надо сломать все пальцы, а потом пойти, как большинство))

Scrapy

13 June 2025 20:55

но вы уже код написали, запустили и спросили почему он не работает (кстати его не показав)
я думаю вам надо идти и смотреть исходники, ну либо создавать страницу самому и передавать её в реквесте

Scrapy

13 June 2025 20:50

и как вы собираетесь применить это мидлварью?

Scrapy

13 June 2025 20:48

Есть пакет tf-playwright-stealth. На сколько я понимаю, то он с коробки подкидывает красивый фингерпинт.
Код отрабатывает, но сайт сервис по определению ботов показывает, что проверку (chromium) не прохожу. Сервис видит, что это вебдрайвер.

Подключение фингрепринта осуществляется с помощью download midlware или нужно писать свой кастомный download handler?
Или есть ещё какие-нибудь готовые технические решения?

Scrapy

13 June 2025 10:17

«Человека легче обмануть, чем убедить, что его обманули».

Марк Твен

Scrapy

16 June 2025 13:18

реверс инжиниринг + get|post запросы

Scrapy

16 June 2025 12:18

web версия WA всё позволяет делать.

Scrapy

14 June 2025 09:20

Самый распространённый имхо выкинуть по максимуму все браузеры. И воспользоваться одним из решений с браузерными tls. Они есть для scrapy. А браузер - куки получить и все.

Scrapy

13 June 2025 21:03

рекомендуемым - playwright и scrapy-playwright

Scrapy

13 June 2025 21:02

Честно, глубоко не копал. На данный момент, какой стек является общепринятым и самым распространенным?

Scrapy

13 June 2025 21:00

было б странно если б они были, конечно

Scrapy

13 June 2025 21:00

Там же вроде апдейтов давно не было на скрапи-силениум?

Scrapy

13 June 2025 20:59

ну то есть есть scrapy-selenium, но большинство скорее всего и про него не знает

Scrapy

13 June 2025 20:58

конечно можно, он же на питоне

Scrapy

13 June 2025 20:58

большинство селениум юзает

Scrapy

13 June 2025 20:55

Я отдельно вытащил плейрайт в фаст апи и упаковал в докер. А в скрапи просто сделал запросы на этот апи и все. Не стал парится пихать плейрайт в скрапи, не все заросы делаю через плейрайт. И все это работает на кубеон

Scrapy

13 June 2025 20:54

Это, я так понимаю, нужно посмотреть схему взаимодействия самого скрапи и плейврайта. Т.к. стелз применяется уже к самой Пейдж.
А в мидлваре мы получим доступ только к метадате.
Это менеджить надо на уровне хендлера

Scrapy

13 June 2025 20:49

нет никакого "Подключение фингрепринта", вы всё перепутали видимо

Scrapy

13 June 2025 20:40

Ребят, пытаюсь в scrapy, scrapy-playwright и tf-playwright-stealth.
Пробовал обернуть в мидлвару через 'evaluate' в process_request(). Работает не корректно, при попытке ходить на bot.sannysoft через хромиум и фф видит вебдрайвер плюс:
- в хроме варнинг на 264 кодек
- в фф половина полей связанных с видео - фейл

Не пойму, моя мидлвара отрабатывает уже после запроса чтоле?

Или фингерпинт как-то по другому имплементировать? Или есть ещё какие-нибудь технические решения?

Scrapy

10 June 2025 21:59

Вот оно что, за день сменился сайт. Теперь никаких таблиц. И можно пагинацию брать сразу с каталога. Начал вчера запускать паука. А выдачи - 0. Ещё раз спасибо за помощь.