Просто хочется последовательно подходить к решению вопроса, сначала на уровне TLS утечки минимизировать, а потом уже на уровне JS. Потому что если ты заявляешь что ты приличный windows пользователь, а сервер видит что ты linux в докере крутишь, то и смысла в работе с другими отпечатками на уровнях выше нет. Сначала носки, потом ботинки. Не наоборот
Читать полностью…
мне gpt напел:
Коротко: идея в таком виде неверная или как минимум сильно упрощённая.
Разберу по пунктам.
QUIC не “обходит” fingerprinting
Да, TCP handshake нет, потому что QUIC работает поверх UDP.
Но это не значит, что fingerprinting исчезает. Он просто переезжает в QUIC/TLS ClientHello.
У QUIC есть свои отпечатки:
TLS cipher suites
extensions
transport parameters
packet number behavior
ACK timing
ALPN (h3)
version negotiation
даже особенности реализации стека
То есть вместо JA4 TCP/TLS появляются JA4-QUIC / TLS fingerprints и прочие сигнатуры.
Cloudflare и крупные WAF смотрят не только L3/L4 Это вообще главный misconception.
Они смотрят:
TCP/QUIC fingerprint
TLS fingerprint
HTTP/2 / HTTP/3 framing behavior
Header order
Pseudo-headers (:authority, :path)
HPACK/QPACK особенности
Timing
Cookie behavior
Retry logic
IP reputation
ASN
Request sequencing
Browser challenge telemetry
JS signals
То есть fingerprint — это не “TCP и всё”, это куча сигналов.
Chrome не всегда “сразу QUIC с первого пакета” Тут нюанс.
Обычно:
первый контакт может идти по TCP/TLS
сервер может отдать Alt-Svc
потом браузер переходит на HTTP/3
Есть механизмы вроде preloaded knowledge / cached Alt-Svc, но это не “магия — сразу в QUIC всегда”.
HTTP/3 fingerprinting иногда даже проще заметить Потому что:
если ты пишешь свой клиент или юзаешь нестандартный стек:
quiche
aioquic
lsquic
ngtcp2
то они часто палятся очень характерно.
Реальный Chrome/BoringSSL + сетевое поведение — это не только “отправить h3”.
“Набор отпечатков HTTP/3 меньше” — частично правда, но вывод неправильный Да:
HTTP/3 ecosystem моложе
fingerprint DB местами менее богатые
Но крупные антиботы (Cloudflare, Akamai, PerimeterX и т.д.) давно это умеют.
И если у тебя:
датацентр IP
странный pacing
не-хромовый QPACK
weird transport params
то ты выделяешься сильнее, а не слабее.
⸻
Где ChatGPT тебе напел ерунду
Вот это:
“основные лики происходят при TCP handshake”
— неправда.
TCP window size / MSS / options — это только один маленький сигнал.
В современных антиботах чаще важнее:
TLS + HTTP behavior + JS telemetry + reputation
чем чистый TCP fingerprint.
⸻
Итог
Твоя идея:
“убрать TCP → стать человечнее”
не работает сама по себе.
Правильнее:
“убрать один класс сигналов, но получить другой”
Иногда QUIC даже хуже маскируется, если стек не идентичен браузеру.
Так что это не фигня как мысль, но вывод “QUIC поможет обойти fingerprinting” — слишком оптимистичный и обычно неверный.
Читать полностью…
form2request именно про хтлм формы
Читать полностью…
а это смотря что вы хотите получить
Читать полностью…
А еще у нас частый случай, когда данные формы вручную шлют, без извлечения полей из формы в хтмл, а "form2request() requires an HTML form object". Кодировать body и выставлять хэдеры вручную - утомительно.
Читать полностью…
JsonRequest просто json.dumps() делает, а в FormRequest куча логики
Читать полностью…
Всем привет! Кто-то занимался парсингом linkedin? Напиши в лс где вы брали Аккаунты для парсинга пожалуйста!
Читать полностью…
Понятно, посмотрю может с camoufox чет выйдеь
Читать полностью…
все библиотеки рендерят челлендж, большинство браузером
Читать полностью…
ну скинь ссылку гляну что у тебя там
Читать полностью…
попробуй найти origin ip сайта
Читать полностью…
то есть только в названии проблема?
Читать полностью…
Товарищи, а вот как правильнее разбирать вложенные элементы?
Пока у меня вот такой код:
for block in response.css('div.product_block'):
block_loader = GoodItemLoaderDefault(item=dict(), selector=block, urljoin=urljoin)
block_loader.add_css('url_item', 'div.product_block_img > a::attr(href)')
block_loader.add_css('url_img', 'div.product_block_img img::attr(src)')
block_item = block_loader.load_item()
for good in block.css('table.variants tr'):
n += 1
loader = GoodItemLoaderDefault(item=dict(block_item), selector=good)
loader.add_css('title', 'td.name::text')
loader.add_css('artikul', 'td.name::text', re=re_art)
loader.add_css('price', 'td.price::text', re=re_prace)
loader.add_css('valuta', 'td.price::text', re=re_valuta)
loader.add_css(
'code', 'td.to_cart input[type="hidden"]::attr(name)', re=re_code)
item = loader.load_item()И вроде напрашивается .nested_* - но нельзя.
Может ввести для подобного использования какое нибудь .nested_copy_* ?
Читать полностью…
1045