Scrapy

15 Jun 2024 11:23

а при этом если в коде проверить:
response.request.headers['Cookie'] # это выдаст ошибку, потому что в хедерах нету куки
response.request.cookies # тут будут куки

Scrapy

15 Jun 2024 11:21

в то же время requests сам добавляет к хедерам Cookie

Scrapy

15 Jun 2024 11:12

Это значит, что заменить две строки в коде сложнее, чем написать кучу сообщений

Scrapy

15 Jun 2024 11:07

Судя по небольшому фрагменту кода, сложно дать точный ответ. Возможно, ответ не так уж и важен

Scrapy

15 Jun 2024 11:01

и с requests я делаю response = requests.post(
'https://www.mangoup.cz/Dokumenty/GetDokumentyForZakaznikWidget',
cookies=cookies,
headers=headers,
data=data,
)

а в scrapy FormRequest(url='https://www.mangoup.cz/Dokumenty/GetDokumentyForZakaznikWidget', headers=headers, cookies=cookies, formdata=data)

Scrapy

15 Jun 2024 10:55

Что в реквестс что в скрейпи?

Scrapy

15 Jun 2024 10:52

Или вот еще странность: пытаюсь авторизоваться, а сервер в ответ выдает форму регистрации, хотя я уже прокинул данные

Scrapy

14 Jun 2024 21:38

если у меня в file_urls будут пробелы, скрапи их переведёт на %20%, перед тем как скачивать в FilePipeline ??

Scrapy

13 Jun 2024 19:20

капсолвер говно, чето сломается сразу полетит и никто делать не будет, я хкапчу жду 2 месяца

Scrapy

12 Jun 2024 12:00

threads.deferToThread это аналог asyncio.to_thread?

Scrapy

11 Jun 2024 22:20

mitmproxy2swagger как дополнение

Scrapy

11 Jun 2024 22:16

или есть что то отдельное и лучше?

Scrapy

11 Jun 2024 20:52

может уже пора удалить это?

Scrapy

11 Jun 2024 18:50

это всегда оказывается либо вебсокеты, либо "не туда посмотрел", либо "я не знал что данные могут быть в странице"

Scrapy

11 Jun 2024 18:46

ну расскажите потом, как найдете эти секретные :)

Scrapy

15 Jun 2024 11:22

я особо не понимаю почему так разнится логика. По идее ведь если я передаю cookies в FormRequest(cookies=cookies, ...), то им надо и добавится в хедеры?

Scrapy

15 Jun 2024 11:20

короче, почему-то если у меня в скрапи в хедерах не стоит cookie, то оно редиректит, а когда я его вручную туда добавляю, то запрос отрабатывает

Scrapy

15 Jun 2024 11:08

ну не буду ж я давать пароль и логин сразу 😄

Scrapy

15 Jun 2024 11:02

первое срабатывает с кодом 200, а второе редиректит на страницу входа

Scrapy

15 Jun 2024 11:01

ну, суть в том, что есть словари одинаковые: data, headers, cookies

Scrapy

15 Jun 2024 10:55

у меня уже депрессия блин, скрапишь такой, думаешь умный, а потом бац хренотень: на идентичные запросы сервер по-разному отвечает

Scrapy

15 Jun 2024 10:50

Есть у меня запрос, который отрабатывает с requests, но когда пытаюсь его в скрапи повторить, то сервер как-то странно отвечает. Что делать?

Scrapy

13 Jun 2024 22:26

How to bypass press and hold captcha

Scrapy

13 Jun 2024 12:29

ребят, а кто юзает по капчам сервисы. Можете накидать что-то кроме 2captcha и capsolver? Нужен Fast в recaptcha.

Scrapy

11 Jun 2024 22:50

Если не ошибаюсь то можно, но точно знаю что через xpath можно

Scrapy

11 Jun 2024 22:18

Спасибо. Жаль, в CSS-селекторах невозможно искать по содержимому тега (строке)

Scrapy

11 Jun 2024 22:15

для поиска апи с мобильных приложений норм тема наверное

Scrapy

11 Jun 2024 20:49

из это серии и оказалось

Scrapy

11 Jun 2024 18:46

из тех, что есть. но не всегда видны - web sockets. Для их отдельная закладка есть

Scrapy

11 Jun 2024 18:45

это что за запросы такие, интересно, которые не видны в инспекторе?