Scrapy

06 May 2026 23:50

Вот этим
https://github.com/divtiply/scrapy-curl-cffi

Scrapy

06 May 2026 13:46

у клаудфлаера несколько уровней защиты, параметры браузера, фингер принты, и IP, прокси тоже нужны быть не в блэк листе, ну или подключи антикапчу

Scrapy

06 May 2026 13:43

быстро это не бывает

Scrapy

06 May 2026 13:42

Всмысле ссылку? Да на любой сайт с CF. Не принципиально. У меня таких сайтов 100. Просто нужен html. Думал может библиотеки какие то есть. А там сам поизучаю

Scrapy

06 May 2026 13:39

Нужен просто html. Есть парсер новостных сайтов, все парсит нормально. Все работает отлично вот нужны заблченные сайт теперь

Scrapy

06 May 2026 13:37

Народ как вы обходите клаудфаер. Я вот пробую через camoufox. Тяжелая какая то. Как будто не стабильная. Делаю что то типа аналога у скрапи сплэш но на плейрайте через фаст апи

Scrapy

06 May 2026 10:38

На странице это выглядит так: блок с картинкой и заголовком, а в нём таблица с конкретными товарами.
И в каждый товар нужно добавить эту картинку, а название сконкатенировать с заголовком блока

Scrapy

02 May 2026 17:49

ну, пока шутка) но третья версия скрапи имхо гораздо реальнее чем четвертая у питона и первая у фастапи)

Scrapy

09 April 2026 14:31

2.15.0 вышел: https://docs.scrapy.org/en/latest/news.html#scrapy-2-15-0-2026-04-09
Highlights:
* Experimental support for running without a Twisted reactor
* Experimental httpx-based download handler

Scrapy

06 April 2026 12:35

как бы нам получить какую-нибудь асинхронность не сильно переписывая код

Scrapy

06 April 2026 12:34

из современного знаю они только в асинхронной алхимии остались

Scrapy

06 April 2026 12:25

в итоге у них аж целых два джита, а у нас только половина)
правда юзверей у них прям мало, чисто как dsl для шопифая остался))

Scrapy

06 April 2026 12:23

всмысле был ли в стандартной десктопной установке? не знаю
но в репозиториях-то был

Scrapy

06 April 2026 12:23

первую версию google кста на питоне и джаве написали, в 94 примерно

Scrapy

06 April 2026 12:22

в линуксах он при этом был и ставился, но я не вспомню что его вообще там использовало

Scrapy

06 May 2026 20:42

Всем привет! Кто-то занимался парсингом linkedin? Напиши в лс где вы брали Аккаунты для парсинга пожалуйста!

Scrapy

06 May 2026 13:44

Понятно, посмотрю может с camoufox чет выйдеь

Scrapy

06 May 2026 13:43

все библиотеки рендерят челлендж, большинство браузером

Scrapy

06 May 2026 13:40

ну скинь ссылку гляну что у тебя там

Scrapy

06 May 2026 13:38

попробуй найти origin ip сайта

Scrapy

06 May 2026 10:43

то есть только в названии проблема?

Scrapy

06 May 2026 08:43

Товарищи, а вот как правильнее разбирать вложенные элементы?
Пока у меня вот такой код:

    for block in response.css('div.product_block'):
      block_loader = GoodItemLoaderDefault(item=dict(), selector=block, urljoin=urljoin)
      block_loader.add_css('url_item', 'div.product_block_img > a::attr(href)')
      block_loader.add_css('url_img', 'div.product_block_img img::attr(src)')
      block_item = block_loader.load_item()
      for good in block.css('table.variants tr'):
        n += 1
        loader = GoodItemLoaderDefault(item=dict(block_item), selector=good)
        loader.add_css('title', 'td.name::text')
        loader.add_css('artikul', 'td.name::text', re=re_art)
        loader.add_css('price', 'td.price::text', re=re_prace)
        loader.add_css('valuta', 'td.price::text', re=re_valuta)
        loader.add_css(
          'code', 'td.to_cart input[type="hidden"]::attr(name)', re=re_code)
        item = loader.load_item()

Scrapy

10 April 2026 05:11

Чет кажется кидалово какой-то 🤔

Scrapy

06 April 2026 12:39

Это шутка такая или анонс? Не улавливаю

Scrapy

06 April 2026 12:34

мне кажется это всё было от бедности

Scrapy

06 April 2026 12:33

а раньше часто кстати гевентами/гринлетами баловались? просто уже год почти прошел с обсуждения добавления виртуальных потоков в питон
пока никак не двигается, но к обсуждению возвращаются)

так то было бы прикольно асинхронщину бесцветную иметь

Scrapy

06 April 2026 12:24

ещё рубисты ходили и рассказывали что питон ваш отстой, надо на руби писать, вот рельсы смотрите, а ещё у нас символы есть как в лиспе

Scrapy

06 April 2026 12:23

по дефолту в смысле шел? прикол)

Scrapy

06 April 2026 12:23

https://github.com/7mind/jopa
есть и свежая jopa

Scrapy

06 April 2026 12:22

в эпоху питона 2.3-2.5 на нём реально почти ничего не было