Scrapy

15 June 2024 11:01

и с requests я делаю response = requests.post(
'https://www.mangoup.cz/Dokumenty/GetDokumentyForZakaznikWidget',
cookies=cookies,
headers=headers,
data=data,
)

а в scrapy FormRequest(url='https://www.mangoup.cz/Dokumenty/GetDokumentyForZakaznikWidget', headers=headers, cookies=cookies, formdata=data)

Scrapy

15 June 2024 10:55

Что в реквестс что в скрейпи?

Scrapy

15 June 2024 10:52

Или вот еще странность: пытаюсь авторизоваться, а сервер в ответ выдает форму регистрации, хотя я уже прокинул данные

Scrapy

14 June 2024 21:38

если у меня в file_urls будут пробелы, скрапи их переведёт на %20%, перед тем как скачивать в FilePipeline ??

Scrapy

13 June 2024 19:20

капсолвер говно, чето сломается сразу полетит и никто делать не будет, я хкапчу жду 2 месяца

Scrapy

12 June 2024 12:00

threads.deferToThread это аналог asyncio.to_thread?

Scrapy

11 June 2024 22:20

mitmproxy2swagger как дополнение

Scrapy

11 June 2024 22:16

или есть что то отдельное и лучше?

Scrapy

11 June 2024 20:52

может уже пора удалить это?

Scrapy

11 June 2024 18:50

это всегда оказывается либо вебсокеты, либо "не туда посмотрел", либо "я не знал что данные могут быть в странице"

Scrapy

11 June 2024 18:46

ну расскажите потом, как найдете эти секретные :)

Scrapy

11 June 2024 18:12

burp suite, charles proxy, mitm proxy для питона

Scrapy

11 June 2024 18:03

всем привет, подскажите софт каким можно запросы отснифать, в инспекторе не видны )

Scrapy

10 June 2024 22:22

я чето кстати заметил что parsel в разы быстрее bs4, даже с lxml + cchardet

Scrapy

10 June 2024 14:42

вроде даже на цсс можно написать

Scrapy

15 June 2024 11:01

ну, суть в том, что есть словари одинаковые: data, headers, cookies

Scrapy

15 June 2024 10:55

у меня уже депрессия блин, скрапишь такой, думаешь умный, а потом бац хренотень: на идентичные запросы сервер по-разному отвечает

Scrapy

15 June 2024 10:50

Есть у меня запрос, который отрабатывает с requests, но когда пытаюсь его в скрапи повторить, то сервер как-то странно отвечает. Что делать?

Scrapy

13 June 2024 22:26

How to bypass press and hold captcha

Scrapy

13 June 2024 12:29

ребят, а кто юзает по капчам сервисы. Можете накидать что-то кроме 2captcha и capsolver? Нужен Fast в recaptcha.

Scrapy

11 June 2024 22:50

Если не ошибаюсь то можно, но точно знаю что через xpath можно

Scrapy

11 June 2024 22:18

Спасибо. Жаль, в CSS-селекторах невозможно искать по содержимому тега (строке)

Scrapy

11 June 2024 22:15

для поиска апи с мобильных приложений норм тема наверное

Scrapy

11 June 2024 20:49

из это серии и оказалось

Scrapy

11 June 2024 18:46

из тех, что есть. но не всегда видны - web sockets. Для их отдельная закладка есть

Scrapy

11 June 2024 18:45

это что за запросы такие, интересно, которые не видны в инспекторе?

Scrapy

11 June 2024 18:04

он платный вроде, не ?

Scrapy

10 June 2024 22:23

ну так парсел клёвый

Scrapy

10 June 2024 20:03

https://www.w3schools.com/cssref/css_selectors.php#:~:text=a%20%3Cdiv%3E%20element-,element%2Belement,-div%20%2B%20p

Scrapy

10 June 2024 14:42

ось following-sibling