Scrapy

11 Jun 2024 18:12

burp suite, charles proxy, mitm proxy для питона

Scrapy

11 Jun 2024 18:03

всем привет, подскажите софт каким можно запросы отснифать, в инспекторе не видны )

Scrapy

10 Jun 2024 22:22

я чето кстати заметил что parsel в разы быстрее bs4, даже с lxml + cchardet

Scrapy

10 Jun 2024 14:42

вроде даже на цсс можно написать

Scrapy

10 Jun 2024 14:41

серьёзно? любой парсер с XPath

Scrapy

08 Jun 2024 16:23

но тогда да, все куки придётся прописывать явно

Scrapy

08 Jun 2024 16:23

тогда по сути надо игнор кук от сервера

Scrapy

06 Jun 2024 17:05

А месячная прибыль -200% ?

Scrapy

06 Jun 2024 14:02

akamai ставит свои куки и я ухожу в бесконечный редирект вот

Scrapy

06 Jun 2024 09:48

Возможно вручную прописанные в банку не кладутся, я не помню какое поведение текущее

Scrapy

05 Jun 2024 18:04

чето так не выходит, попадаю в бесконечный редирект

Scrapy

05 Jun 2024 15:27

а можно как нибудь как дефолтные хедеры, выставить дефолтные куки? я пока так делаю

RequestWithCookies = partial(
    FormRequest,
    method='GET',
    cookies={    },
)

Scrapy

05 Jun 2024 11:38

перенаправьте stdout

Scrapy

05 Jun 2024 08:57

только сейчас понял что это не хттп код, а вендовый эррно, и соответственно ничего они не возвращают и не присылают

Scrapy

05 Jun 2024 08:56

а, кстати да, если не смог подключиться, о каком ответе идёт речь)

Scrapy

11 Jun 2024 18:04

он платный вроде, не ?

Scrapy

10 Jun 2024 22:23

ну так парсел клёвый

Scrapy

10 Jun 2024 20:03

https://www.w3schools.com/cssref/css_selectors.php#:~:text=a%20%3Cdiv%3E%20element-,element%2Belement,-div%20%2B%20p

Scrapy

10 Jun 2024 14:42

ось following-sibling

Scrapy

10 Jun 2024 14:41

Существует ли какой-нибудь парсер HTML с логикой, подобной look-behind в регулярных выражениях: чтобы можно было найти некий элемент, следующий за определённым другим элементом?

Scrapy

08 Jun 2024 16:23

это тоже можно сделать, через dont_merge_cookies

Scrapy

08 Jun 2024 16:19

вручную выставленеые куки хранятся в банке и отправляются, да,
но куки которые присылает акамаи сохраняются и отправляются тоже

он по ним понимает, что присылает их не человек, и чтоб остановить парсинг, все реквесты с такими куками шлет в редирект

а вот если я каждый раз буду слать реквесты только с нужными мне куками, без тех которые еще пришли от сервера, все реквесты будут проходить

я больно глубоко не углублялся, сделал выводы один раз просмотрев дебаг

наверное, по хорошему, надо поднять настоящий браузер, открыть там страницу, сэмулировать человеческое поведение, стырить оттуда куки и слать их

Scrapy

06 Jun 2024 14:12

ну это ничего не объясняет

Scrapy

06 Jun 2024 09:48

Тем более читайте тогда

Scrapy

06 Jun 2024 09:47

Читайте COOKIES_DEBUG
Смысл-то в том, что если мы один раз куку отправили, она так и останется в банке

Scrapy

05 Jun 2024 18:00

А зачем? Одного раза должно быть достаточно

Scrapy

05 Jun 2024 11:39

scrapy fetch "url" > file.txt ?

Scrapy

05 Jun 2024 11:36

а можно ли как-нибудь чтоб scrapy fetch сохранял вывод в файл?

Scrapy

05 Jun 2024 08:56

вообще, да, если прилетело process_exception - то уже "ой, все, у меня лапки".

Scrapy

05 Jun 2024 08:56

а чего там смотреть... там же, вроде, низкий уровень ошибки, так что и ответа никакого не будет...