Scrapy

10 June 2024 14:41

серьёзно? любой парсер с XPath

Scrapy

08 June 2024 16:23

но тогда да, все куки придётся прописывать явно

Scrapy

08 June 2024 16:23

тогда по сути надо игнор кук от сервера

Scrapy

06 June 2024 17:05

А месячная прибыль -200% ?

Scrapy

06 June 2024 14:02

akamai ставит свои куки и я ухожу в бесконечный редирект вот

Scrapy

06 June 2024 09:48

Возможно вручную прописанные в банку не кладутся, я не помню какое поведение текущее

Scrapy

05 June 2024 18:04

чето так не выходит, попадаю в бесконечный редирект

Scrapy

05 June 2024 15:27

а можно как нибудь как дефолтные хедеры, выставить дефолтные куки? я пока так делаю

RequestWithCookies = partial(
    FormRequest,
    method='GET',
    cookies={    },
)

Scrapy

05 June 2024 11:38

перенаправьте stdout

Scrapy

05 June 2024 08:57

только сейчас понял что это не хттп код, а вендовый эррно, и соответственно ничего они не возвращают и не присылают

Scrapy

05 June 2024 08:56

а, кстати да, если не смог подключиться, о каком ответе идёт речь)

Scrapy

05 June 2024 08:54

так что всё ещё не понимаю вопроса

Scrapy

05 June 2024 08:52

да, из хендлера вылетает twisted.internet.error.ConnectionRefusedError

Scrapy

05 June 2024 08:45

тогда не будет process_exception

Scrapy

05 June 2024 08:40

если пришел exception то и распоза же не будет

Scrapy

10 June 2024 14:41

Существует ли какой-нибудь парсер HTML с логикой, подобной look-behind в регулярных выражениях: чтобы можно было найти некий элемент, следующий за определённым другим элементом?

Scrapy

08 June 2024 16:23

это тоже можно сделать, через dont_merge_cookies

Scrapy

08 June 2024 16:19

вручную выставленеые куки хранятся в банке и отправляются, да,
но куки которые присылает акамаи сохраняются и отправляются тоже

он по ним понимает, что присылает их не человек, и чтоб остановить парсинг, все реквесты с такими куками шлет в редирект

а вот если я каждый раз буду слать реквесты только с нужными мне куками, без тех которые еще пришли от сервера, все реквесты будут проходить

я больно глубоко не углублялся, сделал выводы один раз просмотрев дебаг

наверное, по хорошему, надо поднять настоящий браузер, открыть там страницу, сэмулировать человеческое поведение, стырить оттуда куки и слать их

Scrapy

06 June 2024 14:12

ну это ничего не объясняет

Scrapy

06 June 2024 09:48

Тем более читайте тогда

Scrapy

06 June 2024 09:47

Читайте COOKIES_DEBUG
Смысл-то в том, что если мы один раз куку отправили, она так и останется в банке

Scrapy

05 June 2024 18:00

А зачем? Одного раза должно быть достаточно

Scrapy

05 June 2024 11:39

scrapy fetch "url" > file.txt ?

Scrapy

05 June 2024 11:36

а можно ли как-нибудь чтоб scrapy fetch сохранял вывод в файл?

Scrapy

05 June 2024 08:56

вообще, да, если прилетело process_exception - то уже "ой, все, у меня лапки".

Scrapy

05 June 2024 08:56

а чего там смотреть... там же, вроде, низкий уровень ошибки, так что и ответа никакого не будет...

Scrapy

05 June 2024 08:53

ConnectionRefusedError действительно звучит как будто респонса нет

Scrapy

05 June 2024 08:45

или у вас там работа с прокси так сделана что это из хендлера выпадает?

Scrapy

05 June 2024 08:41

ну вот просто бывают дохлые прокси, которые возвращают 111, хочу смотреть что они ещё присылают

Scrapy

05 June 2024 08:38

вы что-то путаете, видимо