Scrapy

20 May 2026 13:23

form2request именно про хтлм формы

Scrapy

20 May 2026 13:23

а это смотря что вы хотите получить

Scrapy

20 May 2026 13:20

А еще у нас частый случай, когда данные формы вручную шлют, без извлечения полей из формы в хтмл, а "form2request() requires an HTML form object". Кодировать body и выставлять хэдеры вручную - утомительно.

Scrapy

20 May 2026 12:57

JsonRequest просто json.dumps() делает, а в FormRequest куча логики

Scrapy

19 May 2026 14:42

2.16.0: https://docs.scrapy.org/en/latest/news.html#scrapy-2-16-0-2026-05-19

Scrapy

06 May 2026 20:42

Всем привет! Кто-то занимался парсингом linkedin? Напиши в лс где вы брали Аккаунты для парсинга пожалуйста!

Scrapy

06 May 2026 13:44

Понятно, посмотрю может с camoufox чет выйдеь

Scrapy

06 May 2026 13:43

все библиотеки рендерят челлендж, большинство браузером

Scrapy

06 May 2026 13:40

ну скинь ссылку гляну что у тебя там

Scrapy

06 May 2026 13:38

попробуй найти origin ip сайта

Scrapy

06 May 2026 10:43

то есть только в названии проблема?

Scrapy

06 May 2026 08:43

Товарищи, а вот как правильнее разбирать вложенные элементы?
Пока у меня вот такой код:

    for block in response.css('div.product_block'):
      block_loader = GoodItemLoaderDefault(item=dict(), selector=block, urljoin=urljoin)
      block_loader.add_css('url_item', 'div.product_block_img > a::attr(href)')
      block_loader.add_css('url_img', 'div.product_block_img img::attr(src)')
      block_item = block_loader.load_item()
      for good in block.css('table.variants tr'):
        n += 1
        loader = GoodItemLoaderDefault(item=dict(block_item), selector=good)
        loader.add_css('title', 'td.name::text')
        loader.add_css('artikul', 'td.name::text', re=re_art)
        loader.add_css('price', 'td.price::text', re=re_prace)
        loader.add_css('valuta', 'td.price::text', re=re_valuta)
        loader.add_css(
          'code', 'td.to_cart input[type="hidden"]::attr(name)', re=re_code)
        item = loader.load_item()

Scrapy

10 April 2026 05:11

Чет кажется кидалово какой-то 🤔

Scrapy

06 April 2026 12:39

Это шутка такая или анонс? Не улавливаю

Scrapy

06 April 2026 12:34

мне кажется это всё было от бедности

Scrapy

20 May 2026 13:23

буду отстаивать FormRequest в scrapy/scrapy. Правда там ишью - мильон

Scrapy

20 May 2026 13:22

да нет, напишу. Только вот в сомнении в scrapy/scrapy или scrapy/form2request?

Scrapy

20 May 2026 13:02

Как по мне, так логичнее то, о чем kmike в PR говорил - логика во внешней библиотеке, но оставить хелпер FormRequest в API. У меня вот, например, еще и самописный GraphQLRequest хелпер часто в ходу.

Scrapy

20 May 2026 12:56

Cпорное решение убрать FormRequest. Он вроде как логичен, исходя из того, что есть JsonRequest.

Scrapy

06 May 2026 23:50

Вот этим
https://github.com/divtiply/scrapy-curl-cffi

Scrapy

06 May 2026 13:46

у клаудфлаера несколько уровней защиты, параметры браузера, фингер принты, и IP, прокси тоже нужны быть не в блэк листе, ну или подключи антикапчу

Scrapy

06 May 2026 13:43

быстро это не бывает

Scrapy

06 May 2026 13:42

Всмысле ссылку? Да на любой сайт с CF. Не принципиально. У меня таких сайтов 100. Просто нужен html. Думал может библиотеки какие то есть. А там сам поизучаю

Scrapy

06 May 2026 13:39

Нужен просто html. Есть парсер новостных сайтов, все парсит нормально. Все работает отлично вот нужны заблченные сайт теперь

Scrapy

06 May 2026 13:37

Народ как вы обходите клаудфаер. Я вот пробую через camoufox. Тяжелая какая то. Как будто не стабильная. Делаю что то типа аналога у скрапи сплэш но на плейрайте через фаст апи

Scrapy

06 May 2026 10:38

На странице это выглядит так: блок с картинкой и заголовком, а в нём таблица с конкретными товарами.
И в каждый товар нужно добавить эту картинку, а название сконкатенировать с заголовком блока

Scrapy

02 May 2026 17:49

ну, пока шутка) но третья версия скрапи имхо гораздо реальнее чем четвертая у питона и первая у фастапи)

Scrapy

09 April 2026 14:31

2.15.0 вышел: https://docs.scrapy.org/en/latest/news.html#scrapy-2-15-0-2026-04-09
Highlights:
* Experimental support for running without a Twisted reactor
* Experimental httpx-based download handler

Scrapy

06 April 2026 12:35

как бы нам получить какую-нибудь асинхронность не сильно переписывая код

Scrapy

06 April 2026 12:34

из современного знаю они только в асинхронной алхимии остались