883
Чат создан чтобы делиться опытом о Scrapy/Python и другими парсинг технологиями. Вежливость и уважение к другим участникам группы. Троллинг не приветствуется. FAQ: https://github.com/bulatbulat48/ru-scrapy-python Работа: t.me/scrapy_jobs
Mohd Juber, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch
Hey everyone! 👋
I'm a Web Scraping, Reverse Engineering, and Automation Engineer.
I specialize in:
Web scraping and data extraction
- Python automation
- Browser automation (Playwright, Selenium)
- API integration and reverse engineering
- Custom automation workflows
I'd love to exchange ideas, share technical knowledge, collaborate on projects, and build valuable professional relationships.
Looking forward to connecting with everyone!
как бы без реактора-то уже давно можно юзать, там всё есть уже
Читать полностью…
я хочу задепрекейтить не-асинкио реакторы в следующем релизе
Читать полностью…
планы ничего не ломать (несовместимые изменения прятать за настройку), но выпустить где-нибудь после НГ с парой больших фич (я пока смотрю на переписывание хедеров на multidict, сигналов на кастомную реализацию и в идеале остатков дефередов на корутины)
Читать полностью…
ИИ способен парсить большие сайты в промышленных масштабах на ежедневной основе где-то с июля 2026
Читать полностью…
Samuel Brooks, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch
Не парсер написать норм конечно. Но я так понял там люди дают ии чтобы он сам парсил. А так да у меня скрапи кластер на 20к сайтов пашет все супер. Вот надо теперь ии сделать чтобы разметку сам чинил пока руки не доходят
Читать полностью…
ну надо сгенерить паука аём и запускать его
(пока сайт не поменяется)
Не, тут другая идея, сделать инструмент который будет парсить данные по сайту, а потом по кейвордам будет искать инфу, это не 1 раз, так что в целом буду пушить через ИИ, а там посмотрим что получится в итоге
Читать полностью…
для пет проекта чтобы данные собрать можно попросить данные собрать, если один раз надо :)
Читать полностью…
ИИ (Opus 4.8–5.5, Sol) может спарсить 90% сайтов, за которые мне платили последние 6 лет.
Оставшиеся 10% тоже ему по силам, но потребуются подсказки, эксперименты и дополнительная работа.
Имхо, как и раньше, парсинг сайтов не требует какой-то уникальной экспертизы, но кто-то всё равно должен сесть и проделать эту работу. Вероятно это будет in-house разработчик.
Всем привет!
Хочу рассказать о проекте, над которым сейчас работаю, — SOLProxy. Это прокси-сервис, созданный для того, чтобы сделать доступ к прокси более доступным по цене для разработчиков и всех, кто занимается веб-скрейпингом и сбором данных.
Сейчас есть три способа начать пользоваться сервисом:
• Бесплатный список прокси: обновляется каждую минуту, регистрация не требуется. Список также доступен на GitHub — его можно напрямую интегрировать в свои скрипты: https://github.com/solproxy/sol-free-proxy-list
• 25 ГБ бесплатного трафика ежемесячно: после регистрации бесплатного аккаунта вы получаете один эндпоинт с доступом к нашим более стабильным прокси.
• Резидентные прокси: $0,80 за ГБ с оплатой по факту использования. Без подписки, а неиспользованный трафик не сгорает.
Специальное предложение: используйте промокод FVR37K и получите дополнительный 1 ГБ трафика резидентных прокси бесплатно. Предложение действует для первых 50 пользователей.
Подробнее о сервисе и регистрация: https://solproxy.net/free-proxy-list
Мы продолжаем развивать SOLProxy, поэтому будем особенно признательны за отзывы и предложения от тех, кто занимается веб-скрейпингом и сбором данных.
Спасибо за внимание!
выпустили 2.20: https://docs.scrapy.org/en/latest/news.html#scrapy-2-20-0-2026-11-06
Читать полностью…
pip install scrapy делаешь и клод бесплатно дается на всю жизнь
Читать полностью…
ну то есть как, выясняется что можно много чего сломать если это под настройку спрятать
Читать полностью…
да я как то смотрел на хедеры и думал для чего собственную реализацию мультидикта держать когда есть от аиолибс
ну раз релиз мажорный можно и сломать чего) от твистеда пока не уходим?)
ИИ спокойно работает с разными прокси-провайдерами, решает капчи через платные инструменты и дебажит сайты с помощью Selenium/Playwright.
Последние пару месяцев Claude становится всё лучше и лучше в Computer Use.
ИИ уже может прокликать практически любой пользовательский сценарий и посмотреть запросы во Network tab.
Например, при мне он оформил доставку пиццы через браузер в Wolt. Курьер приехал и отдал пиццу.
Хотел написать что вы товарищи врёте, но работая в скрапинге 10 лет в целом может быть правдой, что много сайтов можно собирать простыми инструментами, с которыми справится ИИ. Но я не верю, что маркетплейсы и большие сайты в промышленных масштабах вам настроит ИИ. Это невозможно как минимум из-за прокси, детектов и капчей
Читать полностью…
ИИ отлично пишет и поддерживает большие scrapy проекты
Читать полностью…
А если нужно парсить новости всегда и глобально в большом количестве обычный парсинг кажется экономичнне, чем давать постоянно к ии
Читать полностью…
Да мне нужно просто для пет проекта, чтобы данные собрать, просто не очень хочется сильно углубляться в тему, спасибо)
Читать полностью…
Сами скраперы(за редким исключением) особо ревьюить нет смысла. Достаточно тестами обложить и ллмке отдать. Почти всегда справиться.
Читать полностью…