Scrapy

02 Apr 2024 17:42

(шутка юмора если что)

Scrapy

02 Apr 2024 17:34

Совсем неправильно. Почитайте, что такое TLS fingerprinting, это обязательное знание, если заниматься парсингом в наши дни. Даже тут в канале много раз обсуждали, есть толковые статьи на хабре и т.п.
Дальше наберите в поиске curl_cffi например, одна ил либ для python с правильными отпечатками. Ну а дальше останется всем этим научиться пользоваться, да еще и к scrapy прикрутить.
TLS не в плане 1.2, 1.3... TLS отпечаток формируется в процессе обмена приветствиями клиента и сервера и установления шифрованного соединения. Он включает в себя множество параметров.

Scrapy

02 Apr 2024 17:03

на мвидео какой тлс?

Scrapy

02 Apr 2024 16:40

requestS

Scrapy

02 Apr 2024 16:24

Реквест то от скрапи в общем то TLS отпечатками и отличается, если заголовки одинаковые

Scrapy

02 Apr 2024 16:16

Заголовки, tls отпечатки

Scrapy

02 Apr 2024 15:50

ребят, кто парсил Mvideo? scrapy на любой запрос 302 возвращает, когда обычным запросом через requests возвращает данные. какие есть варианты решения?

Scrapy

31 Mar 2024 20:35

Причем тут посты? Открываешь network, вбиваешь в поиск запрос и смотришь ссылку

Scrapy

31 Mar 2024 20:34

Вкладка запросов в браузере перестала работать?

Scrapy

31 Mar 2024 17:02

Пишите на inlineCallbacks где можно, будет почти await

Scrapy

31 Mar 2024 16:27

https://github.com/scrapy/scrapy/issues/6219

Scrapy

31 Mar 2024 14:23

И это просто твистедовая реализация фьюч, промизов и т.д.

Scrapy

31 Mar 2024 14:22

Деферреды лучше уметь, да

Scrapy

31 Mar 2024 14:16

любые, возвращающие деферед, потому что хттп отправить вы и твистедом сможете

Scrapy

31 Mar 2024 14:10

не знаю подойдут ли они вам

Scrapy

02 Apr 2024 17:41

а вообще тру челики сами пишут запрос как стрингу и хуярят через сокеты в 443 порт

Scrapy

02 Apr 2024 17:28

т е если я правильно понял, то только через selenuim/playwright мвидео спарсить возможно

Scrapy

02 Apr 2024 17:02

Естественно. Requests это вообще что-то по быстрому запилить, попробовать, но не для работы, особенно если речь идет об обходе защит.
Конкретно mvideo в scrapy - только с кастомным download handler возможно. С браузерными TLS. По крайней мере пару месяцев назад это работало.

Scrapy

02 Apr 2024 16:38

я для обхода тлс юзаю другие библы,но не как не реквест

Scrapy

02 Apr 2024 16:23

через реквест,если тлс отпечатки не пропустят

Scrapy

02 Apr 2024 16:04

пробовали заголовки копипастить?

Scrapy

01 Apr 2024 09:33

На последнем lxml не работает extruct:
https://github.com/scrapinghub/extruct/issues/216

Scrapy

31 Mar 2024 20:34

не нашел инфу, везде старые посты

Scrapy

31 Mar 2024 20:21

кто нибудь парсил поисковые запросы в яндексе? Можете пожалуйста скинуть или хотя бы ссылку как

Scrapy

31 Mar 2024 17:02

после asyncio больно в голову ложиться twisted, вроде понятно от куда сравнение с промисами.

Scrapy

31 Mar 2024 16:24

интересно что корутина не использовалось в описание deffered. Но спасибо.
А кстати scrapy с twisted не собирается переезжать со временем на asyncio ?

Scrapy

31 Mar 2024 14:23

Всмысле не вообще, а при работе со скрапи

Scrapy

31 Mar 2024 14:21

Умейте вы выгнать в ступор всего парочкой советов. Гуглю Deffered... Но как не крути: спасибо.

Scrapy

31 Mar 2024 14:15

Под асинхронными интерфейсами я как понимаю этот список подразумевается?

Scrapy

31 Mar 2024 14:10

к счастью в скрапи много асинхронных интерфейсов