Scrapy

29 August 2026 12:57

Понял, это капча от бота, не отвечаю.

Scrapy

20 August 2026 18:05

Премиумное обслуживание получилось

Scrapy

20 August 2026 09:48

ну анализ-то всё равно пригодится

Scrapy

19 August 2026 22:13

здесь угадывается и переназначается type https://github.com/scrapy/scrapy/blob/master/scrapy/selector/unified.py#L90-L97

        if type is None:
            ...
            elif response is None or isinstance(response, HtmlResponse):
                type = "html"  # noqa: A001

        super().__init__(text=text, type=type, **kwargs)

Scrapy

19 August 2026 20:36

в мастере так же, короче мне влом ковыряться, пишите багу

Scrapy

19 August 2026 18:40

можно просто импортировать жмеспат и юзать jmespath.search()

Scrapy

19 August 2026 18:36

In [33]: sel = scrapy.Selector(text='{"f":false}')

In [34]: sel.type
Out[34]: 'json'

In [35]: sel.response.text
Out[35]: '{"f":false}'

In [36]: sel.jmespath("f").get()
Out[36]: '0'

Scrapy

19 August 2026 18:35

Ожидаемый да, мне непонятно почему так, неужели из-за того какой там type передался в parsel.Selector

Scrapy

19 August 2026 18:31

ну и что там по этому поводу написано?

Scrapy

19 August 2026 18:24

В этой фигне много острых углов, да, на первом релизе было больше
Правда я не понимаю что происходит в этом примере

Scrapy

19 August 2026 16:59

это самый простой вариант

Scrapy

19 August 2026 16:56

в последнем релизе сигнатура str | None, но погляжу что в релиз-кандидате.
спасибо

Scrapy

19 August 2026 16:53

@wrar42
В текущей версии parsel у SelectorList.get() вот такая сигнатура:

    @typing.overload
    def get(self, default: None = None) -> str | None:
        pass

    @typing.overload
    def get(self, default: str) -> str:
        pass

    def get(self, default: str | None = None) -> Any:

>>> type(parsel.Selector('{"foo": 1}').jmespath("foo").get())
int

Scrapy

12 August 2026 00:11

@timofeey_belousov, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch

Scrapy

07 August 2026 16:25

https://github.com/scrapy/itemadapter/pull/125

Scrapy

20 August 2026 18:06

https://docs.scrapy.org/en/2.18/news.html

Scrapy

20 August 2026 10:58

https://github.com/scrapy/scrapy/issues/8038

Scrapy

20 August 2026 09:48

другого ответа и не ждал :)

Scrapy

19 August 2026 20:37

точнее не ковыряться, проблема явно в том что type=html, мне думать влом, я над этой логикой уже два раза думал в этом году

Scrapy

19 August 2026 18:44

На всякий случай уточню - в примере селектор создается из текста для простоты демонстрации, баг найден в реальной жизни, с реальными респонзами, там это примерно так

        page_props = response.css("#__NEXT_DATA__").jmespath("props.pageProps")
        if page_props.jmespath("hasSales").get() is not True:
            return

Scrapy

19 August 2026 18:39

Raw HTML is always text.
А жмес был прикручен к легаси коду

Scrapy

19 August 2026 18:35

Это недавно меняли в мастере, но не уверен есть ли разница когда респонса нет

Scrapy

19 August 2026 18:34

Ожидаемый результат - True, а никак не "1" (строка).
Еще более веселый результат - это получить "0" (строку) вместо False:

In [31]: scrapy.Selector(text='{"f":false}', type="json").jmespath("f").get()
Out[31]: '0'

In [32]: bool('0')
Out[32]: True

Scrapy

19 August 2026 18:31

может документацию читать нужно?

Scrapy

19 August 2026 18:00

вот еще очень неприятный баг

In [1]: import parsel, scrapy

In [2]: scrapy.__version__
Out[2]: '2.17.0'

In [3]: parsel.__version__
Out[3]: '1.11.0'

In [4]: parsel.Selector(text='{"f":true}').jmespath("f").get()
Out[4]: True

In [5]: scrapy.Selector(text='{"f":true}').jmespath("f").get()
Out[5]: '1'

Scrapy

19 August 2026 16:58

а поставить -> Any совсем коряво будет?

Scrapy

19 August 2026 16:53

вроде уже даже смержили это

Scrapy

17 August 2026 11:02

Игорь, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch

Scrapy

08 August 2026 14:49

За 5к вы бы уже через ИИ порешали домашние дела )) ведь он всемогуч и как раз в том диапазоне оплаты труда

Scrapy

07 August 2026 16:25

https://github.com/scrapy/itemadapter/issues/124