Scrapy

18 June 2024 18:55

при этом кроме UA ничего не меняю
странная штука
ну придется подтягивать через JSON

Scrapy

18 June 2024 18:53

также и с либой requests
если голый запрос отправляю
страница отрисовывается полностью
стоит добавить UA - та же история

Scrapy

18 June 2024 18:51

почему то когда отправляю без UA
а с стандартным UA scrapy Scrapy/2.9.0 (+https://scrapy.org)
страница отрисовывается полностью
когда добавляю UA
данные приходят в JSON

Scrapy

18 June 2024 17:43

респонс меняется
не смотря на то, что остальные заголовки остались такими же

Scrapy

18 June 2024 17:27

Что значит прекращает работу?

Scrapy

18 June 2024 17:26

Всем привет.
Столкнулся с такой проблемой. Отправляю запросы на сайт не меняя заголовков и user agent - все окей. Но стоит мне подключить мидлвейр по смене отпечатка браузера и парсер прекращает свою работу.
Вот код моего мидлвейра

class RandomUserAgentMiddleware:
    """
    Мидлвар для применения отпечатка браузера для запросов
    """

    def __init__(self):
        self.user_agents = []

    @classmethod
    def from_crawler(cls, crawler):
        middleware = cls()
        crawler.signals.connect(middleware.spider_opened, signal=signals.spider_opened)
        return middleware

    def spider_opened(self, spider):
        spider.logger.info('Spider opened: %s' % spider.name)
        with open(spider.settings.get('USER_AGENTS')) as file:
            self.user_agents = [line.strip() for line in file]

    def process_request(self, request, spider):
        user_agent = random.choice(self.user_agents)
        request.headers['User-Agent'] = user_agent

Scrapy

15 June 2024 12:54

зато оплата почасовая

Scrapy

15 June 2024 12:53

/channel/scrapy_python/106070

Scrapy

15 June 2024 12:07

Кстати, по идее если я сделаю запрос с заранее подготовленными куки, а потом добавлю в meta cookie-jar, то в последующих запросах достаточно будет указать просто эту "банку"?

Scrapy

15 June 2024 11:28

ну я хз, мб порядок куки другой или что, но по моему довольно странно выходит

Scrapy

15 June 2024 11:24

response.request.headers не соответствует тому что было передано в проводе

Scrapy

15 June 2024 11:23

а при этом если в коде проверить:
response.request.headers['Cookie'] # это выдаст ошибку, потому что в хедерах нету куки
response.request.cookies # тут будут куки

Scrapy

15 June 2024 11:21

в то же время requests сам добавляет к хедерам Cookie

Scrapy

15 June 2024 11:12

Это значит, что заменить две строки в коде сложнее, чем написать кучу сообщений

Scrapy

15 June 2024 11:07

Судя по небольшому фрагменту кода, сложно дать точный ответ. Возможно, ответ не так уж и важен

Scrapy

18 June 2024 18:54

вот мои заголовки

 INFO: Request headers: {b'Accept': [b'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'], b'Accept-Language': [b'en'], b'User-Agent': [b'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'], b'Accept-Encoding': [b'gzip, deflate']}

Scrapy

18 June 2024 18:51

впервые сталкиваюсь с таким

Scrapy

18 June 2024 18:50

Свангую что в респонзе код с баном?

Scrapy

18 June 2024 17:28

он прекращает парсить
то есть кидает запрос на сайт и паук закрывается
причем код ответа 200

Scrapy

18 June 2024 17:27

При этом пробовал подключить мидлвейр из либы scrapy-user-agents
Но результат такой же
с чем это может быть связано ?

Scrapy

18 June 2024 03:00

Привет всем. Кто знает, какие сейчас конференции для системных аналитиков проходят годные? Хочу своих отправить куда-нибудь на повышение квалификации… а то у них уже замылилось всё, что можно

Scrapy

15 June 2024 12:54

дурак я, что поделать

Scrapy

15 June 2024 12:09

Передать запрос на httpbin, глянуть что реально уходит, сравнить

Scrapy

15 June 2024 12:01

Так то это нормально. В конце концов (если отбросить неверное формирование запросов) есть ещё тлс фингерпринтинг, с помощью которого requests от scrapy легко отличается

Scrapy

15 June 2024 11:28

вроде бы не выключал (это scrapy shell)

Scrapy

15 June 2024 11:24

в настройках куки включил?

Scrapy

15 June 2024 11:22

я особо не понимаю почему так разнится логика. По идее ведь если я передаю cookies в FormRequest(cookies=cookies, ...), то им надо и добавится в хедеры?

Scrapy

15 June 2024 11:20

короче, почему-то если у меня в скрапи в хедерах не стоит cookie, то оно редиректит, а когда я его вручную туда добавляю, то запрос отрабатывает

Scrapy

15 June 2024 11:08

ну не буду ж я давать пароль и логин сразу 😄

Scrapy

15 June 2024 11:02

первое срабатывает с кодом 200, а второе редиректит на страницу входа