scrapy_python | Unsorted

Telegram-канал scrapy_python - Scrapy

883

Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs

Subscribe to a channel

Scrapy

Mohd Juber, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch

Читать полностью…

Scrapy

Hey everyone! 👋
I'm a Web Scraping, Reverse Engineering, and Automation Engineer.
I specialize in:
Web scraping and data extraction
- Python automation
- Browser automation (Playwright, Selenium)
- API integration and reverse engineering
- Custom automation workflows
I'd love to exchange ideas, share technical knowledge, collaborate on projects, and build valuable professional relationships.
Looking forward to connecting with everyone!

Читать полностью…

Scrapy

там не клод, там ключ для клода, не обманывай

Читать полностью…

Scrapy

Супер парсинг от Гпт и Клод анліміtеd

Читать полностью…

Scrapy

как бы без реактора-то уже давно можно юзать, там всё есть уже

Читать полностью…

Scrapy

я хочу задепрекейтить не-асинкио реакторы в следующем релизе

Читать полностью…

Scrapy

планы ничего не ломать (несовместимые изменения прятать за настройку), но выпустить где-нибудь после НГ с парой больших фич (я пока смотрю на переписывание хедеров на multidict, сигналов на кастомную реализацию и в идеале остатков дефередов на корутины)

Читать полностью…

Scrapy

@e4p04mvk что ты там хотел в 3.0 сломать?

Читать полностью…

Scrapy

ИИ способен парсить большие сайты в промышленных масштабах на ежедневной основе где-то с июля 2026

Читать полностью…

Scrapy

Samuel Brooks, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch

Читать полностью…

Scrapy

Не парсер написать норм конечно. Но я так понял там люди дают ии чтобы он сам парсил. А так да у меня скрапи кластер на 20к сайтов пашет все супер. Вот надо теперь ии сделать чтобы разметку сам чинил пока руки не доходят

Читать полностью…

Scrapy

ну надо сгенерить паука аём и запускать его
(пока сайт не поменяется)

Читать полностью…

Scrapy

Не, тут другая идея, сделать инструмент который будет парсить данные по сайту, а потом по кейвордам будет искать инфу, это не 1 раз, так что в целом буду пушить через ИИ, а там посмотрим что получится в итоге

Читать полностью…

Scrapy

для пет проекта чтобы данные собрать можно попросить данные собрать, если один раз надо :)

Читать полностью…

Scrapy

ИИ (Opus 4.8–5.5, Sol) может спарсить 90% сайтов, за которые мне платили последние 6 лет.
Оставшиеся 10% тоже ему по силам, но потребуются подсказки, эксперименты и дополнительная работа.

Имхо, как и раньше, парсинг сайтов не требует какой-то уникальной экспертизы, но кто-то всё равно должен сесть и проделать эту работу. Вероятно это будет in-house разработчик.

Читать полностью…

Scrapy

Всем привет!

Хочу рассказать о проекте, над которым сейчас работаю, — SOLProxy. Это прокси-сервис, созданный для того, чтобы сделать доступ к прокси более доступным по цене для разработчиков и всех, кто занимается веб-скрейпингом и сбором данных.

Сейчас есть три способа начать пользоваться сервисом:

• Бесплатный список прокси: обновляется каждую минуту, регистрация не требуется. Список также доступен на GitHub — его можно напрямую интегрировать в свои скрипты: https://github.com/solproxy/sol-free-proxy-list
• 25 ГБ бесплатного трафика ежемесячно: после регистрации бесплатного аккаунта вы получаете один эндпоинт с доступом к нашим более стабильным прокси.
• Резидентные прокси: $0,80 за ГБ с оплатой по факту использования. Без подписки, а неиспользованный трафик не сгорает.

Специальное предложение: используйте промокод FVR37K и получите дополнительный 1 ГБ трафика резидентных прокси бесплатно. Предложение действует для первых 50 пользователей.

Подробнее о сервисе и регистрация: https://solproxy.net/free-proxy-list

Мы продолжаем развивать SOLProxy, поэтому будем особенно признательны за отзывы и предложения от тех, кто занимается веб-скрейпингом и сбором данных.
Спасибо за внимание!

Читать полностью…

Scrapy

выпустили 2.20: https://docs.scrapy.org/en/latest/news.html#scrapy-2-20-0-2026-11-06

Читать полностью…

Scrapy

pip install scrapy делаешь и клод бесплатно дается на всю жизнь

Читать полностью…

Scrapy

ну то есть как, выясняется что можно много чего сломать если это под настройку спрятать

Читать полностью…

Scrapy

уходить это долго ещё

Читать полностью…

Scrapy

да я как то смотрел на хедеры и думал для чего собственную реализацию мультидикта держать когда есть от аиолибс
ну раз релиз мажорный можно и сломать чего) от твистеда пока не уходим?)

Читать полностью…

Scrapy

блин не помню уже)))
а какие на 3.0 планы вообще?

Читать полностью…

Scrapy

если вам некуда токены тратить донатьте их мне🙏

Читать полностью…

Scrapy

ИИ спокойно работает с разными прокси-провайдерами, решает капчи через платные инструменты и дебажит сайты с помощью Selenium/Playwright.
Последние пару месяцев Claude становится всё лучше и лучше в Computer Use.

ИИ уже может прокликать практически любой пользовательский сценарий и посмотреть запросы во Network tab.
Например, при мне он оформил доставку пиццы через браузер в Wolt. Курьер приехал и отдал пиццу.

Читать полностью…

Scrapy

Хотел написать что вы товарищи врёте, но работая в скрапинге 10 лет в целом может быть правдой, что много сайтов можно собирать простыми инструментами, с которыми справится ИИ. Но я не верю, что маркетплейсы и большие сайты в промышленных масштабах вам настроит ИИ. Это невозможно как минимум из-за прокси, детектов и капчей

Читать полностью…

Scrapy

ИИ отлично пишет и поддерживает большие scrapy проекты

Читать полностью…

Scrapy

А если нужно парсить новости всегда и глобально в большом количестве обычный парсинг кажется экономичнне, чем давать постоянно к ии

Читать полностью…

Scrapy

для пет проекта ИИ точно справится

Читать полностью…

Scrapy

Да мне нужно просто для пет проекта, чтобы данные собрать, просто не очень хочется сильно углубляться в тему, спасибо)

Читать полностью…

Scrapy

Сами скраперы(за редким исключением) особо ревьюить нет смысла. Достаточно тестами обложить и ллмке отдать. Почти всегда справиться.

Читать полностью…
Subscribe to a channel