Scrapy

06 May 2026 13:39

Нужен просто html. Есть парсер новостных сайтов, все парсит нормально. Все работает отлично вот нужны заблченные сайт теперь

Scrapy

06 May 2026 13:37

Народ как вы обходите клаудфаер. Я вот пробую через camoufox. Тяжелая какая то. Как будто не стабильная. Делаю что то типа аналога у скрапи сплэш но на плейрайте через фаст апи

Scrapy

06 May 2026 10:38

На странице это выглядит так: блок с картинкой и заголовком, а в нём таблица с конкретными товарами.
И в каждый товар нужно добавить эту картинку, а название сконкатенировать с заголовком блока

Scrapy

02 May 2026 17:49

ну, пока шутка) но третья версия скрапи имхо гораздо реальнее чем четвертая у питона и первая у фастапи)

Scrapy

09 April 2026 14:31

2.15.0 вышел: https://docs.scrapy.org/en/latest/news.html#scrapy-2-15-0-2026-04-09
Highlights:
* Experimental support for running without a Twisted reactor
* Experimental httpx-based download handler

Scrapy

06 April 2026 12:35

как бы нам получить какую-нибудь асинхронность не сильно переписывая код

Scrapy

06 April 2026 12:34

из современного знаю они только в асинхронной алхимии остались

Scrapy

06 April 2026 12:25

в итоге у них аж целых два джита, а у нас только половина)
правда юзверей у них прям мало, чисто как dsl для шопифая остался))

Scrapy

06 April 2026 12:23

всмысле был ли в стандартной десктопной установке? не знаю
но в репозиториях-то был

Scrapy

06 April 2026 12:23

первую версию google кста на питоне и джаве написали, в 94 примерно

Scrapy

06 April 2026 12:22

в линуксах он при этом был и ставился, но я не вспомню что его вообще там использовало

Scrapy

06 April 2026 12:20

в те года он вообще редко где был как будто
многое что встречал, веб в основном, и что было написано до ~2016 года было на пыхе

а что на питоне: zope прям супер экзотика, только слышал что у кого есть что-то живое на нем, больше всего из старого это питон 2.7 и штанга

Scrapy

06 April 2026 12:13

ну мне с направлением повезло) в смежных факультетах до сих пор на листочках бейсик пишут

хотя был предмет «параллельное программирование», там вот интересно, на контрольных писали кресты с опенмп на листочках

вроде я его не сдал даже) ушел в академ, вернулся, а его в программе уже нет)

Scrapy

06 April 2026 12:03

помню в универе на первом курсе перед тем как начать веб разработку изучать как раз знакомились с технологиями через реквестс+бс4, потом перетекли на фласк и штангу

Scrapy

06 April 2026 11:56

ща как 3.0 дропнем и заживем

Scrapy

06 May 2026 13:38

попробуй найти origin ip сайта

Scrapy

06 May 2026 10:43

то есть только в названии проблема?

Scrapy

06 May 2026 08:43

Товарищи, а вот как правильнее разбирать вложенные элементы?
Пока у меня вот такой код:

    for block in response.css('div.product_block'):
      block_loader = GoodItemLoaderDefault(item=dict(), selector=block, urljoin=urljoin)
      block_loader.add_css('url_item', 'div.product_block_img > a::attr(href)')
      block_loader.add_css('url_img', 'div.product_block_img img::attr(src)')
      block_item = block_loader.load_item()
      for good in block.css('table.variants tr'):
        n += 1
        loader = GoodItemLoaderDefault(item=dict(block_item), selector=good)
        loader.add_css('title', 'td.name::text')
        loader.add_css('artikul', 'td.name::text', re=re_art)
        loader.add_css('price', 'td.price::text', re=re_prace)
        loader.add_css('valuta', 'td.price::text', re=re_valuta)
        loader.add_css(
          'code', 'td.to_cart input[type="hidden"]::attr(name)', re=re_code)
        item = loader.load_item()

Scrapy

10 April 2026 05:11

Чет кажется кидалово какой-то 🤔

Scrapy

06 April 2026 12:39

Это шутка такая или анонс? Не улавливаю

Scrapy

06 April 2026 12:34

мне кажется это всё было от бедности

Scrapy

06 April 2026 12:33

а раньше часто кстати гевентами/гринлетами баловались? просто уже год почти прошел с обсуждения добавления виртуальных потоков в питон
пока никак не двигается, но к обсуждению возвращаются)

так то было бы прикольно асинхронщину бесцветную иметь

Scrapy

06 April 2026 12:24

ещё рубисты ходили и рассказывали что питон ваш отстой, надо на руби писать, вот рельсы смотрите, а ещё у нас символы есть как в лиспе

Scrapy

06 April 2026 12:23

по дефолту в смысле шел? прикол)

Scrapy

06 April 2026 12:23

https://github.com/7mind/jopa
есть и свежая jopa

Scrapy

06 April 2026 12:22

в эпоху питона 2.3-2.5 на нём реально почти ничего не было

Scrapy

06 April 2026 12:14

Кажется язык не так и важен, имхо
Просто в 2004 питона в вузе почти не было
А вот в 2025 у дочки в школе - уже вовсю

Scrapy

06 April 2026 12:07

бейсик помню
паскаль помню
ассемблер помню
winapi помню
кресты помню

питон не помню )

Scrapy

06 April 2026 11:59

блин а вот раньше как будто все изучение питончика с парсинга начинали, бьютифул суп был установлен в глобальных пакетах обязательно прям
а сейчас все как будто с фастапишки начинают, к парсингу ажиотажа среди новеньких нет уже

Scrapy

06 April 2026 10:29

Реклама или я наивный?))