Привет посоветуйте, пожалуйста, настройки селениума / сервсис прокси, чтобы парсить яндекс
https://stackoverflow.com/questions/79626509/how-to-improve-selenium-script-so-that-the-captcha-does-not-appear
На моей ноутбуке скрипт работает прекрасно (в headless режиме) - выскакивает только чекбокс "Я не робот", успешно его решаю
Но на сервере скрипт получает вот такую капчу (приложил фото)
Читать полностью…
Все привет
Делаю небольшую автоматизацию scrapy и playwright.
Мне нужно открыть страницу с капчей DadaDome я использую сервис 2captcha для её решения. Результат куков я вставляю таким образом.
async def _apply_solution(self, data: dict, captcha_url: str) -> None:
cookie_str = data['code']
name, rest = cookie_str.split("=", 1)
value = rest.split(";", 1)[0]
print(cookie_str)
# парсим Max-Age
m = re.search(r"Max-Age=(\d+)", cookie_str, re.IGNORECASE)
max_age = int(m.group(1)) if m else None
# вычисляем UNIX-время истечения
expires = int(time.time()) + max_age if max_age is not None else None
host = urlparse(self._page.url).hostname
domain = "." + ".".join(host.split(".")[-2:])
cookie = {
"name": name.strip(),
"value": value.strip(),
"domain": domain,
"path": "/",
"httpOnly": False,
"secure": True,
"sameSite": "Lax",
}
# только если парсинг Max-Age удался — добавляем expires
if expires is not None:
cookie["expires"] = expires
geo_cookie = cookie.copy()
geo_cookie["domain"] = "geo.captcha-delivery.com"
# await asyncio.sleep(1000)
await self._page.context.add_cookies([cookie, geo_cookie])
# 3) теперь вернуться/перезагрузить исходную страницу — DataDome пропустит вас
await self._page.goto(self._page.url, wait_until="networkidle")
Но проблема в том что
Я постоянно получаю такое сообщение и не могу понять что не так.
Проверяю куки в хромиум и те что получил от 2captcha те и вставил, но после
их сбрасывает и получаю «скрин».
Буду благодарен за любую помощь.
Читать полностью…
Хотя сейчас может и всегда, я не уверен в этом
Читать полностью…
Кажется нету, как я понял клаудфаер требует js скрипт чтобы выполнялся. А без вебдвижка не получится это сделать.
Читать полностью…
Всем привет. Не существует способов обойти клаудфлеер в формате http запросов?
Не интересует обход с помощью обнаружения айпи сервера, веб движков(селениум и прочее)
Читать полностью…
если задача реальная, пиши в личку
Читать полностью…
видел в доке что никак нельзя, но может есть какой то способ
Читать полностью…
Знаете как купить прокси на webshare?
Читать полностью…
а вы используете https://github.com/scrapy-plugins/scrapy-playwright ? и отключаете там картинки, сторонние запросы, ну и всякие шрифты и css ненужные? Там емнип можно статистику по-памяти прикрутить, вот насчет того, чтобы все пауки с этой либой использовали один и тот же пул из какого-то количества только браузеров - вот это не знаю, можно ли такое сделать, но я бы смотрел в этом направлении.
Жпт говорит мол прям такого нет, но можно написать и накидывает про Persistent Contexts, Limit Contexts and Pages
Читать полностью…
непонятно что именно вы хотите, универсальное решение, обход капч или не учиться скрейпить апи
Читать полностью…
Ну кроме как ручками писать для каждого такого свое решение я особо выхода не вижу. Обычно серебряные пули на поверку не такие уж серебряные
Читать полностью…
Я парсю разные сайты. Рсс ленту или просто страничку с помощью xpath, css, trafilatura или вообще регекс
Читать полностью…
Всем добрый вечер.Может кто то знает тут, как парсить сайты с js или которые просто требуют браузер. У меня скрапи кластер который на кубере. Туда внедрить плейрат тяжело. Чет пока тыкаю browserless. Парсю новости, много новостей
Читать полностью…
1045