52806
по всем вопросам @haarrp @itchannels_telegram - 🔥 best it channels @ai_machinelearning_big_data -ML @ArtificialIntelligencedl -AI @datascienceiot - ml 📚 @pythonlbooks -📚books
✔️ Data-Juicer: пайплайн для подготовки данных под foundation models
Alibaba и сообщество Data-Juicer развивают open-source систему для обработки датасетов перед обучением, дообучением и RAG.
Data-Juicer помогает чистить, фильтровать, дедуплицировать, синтезировать и анализировать данные. Работает не только с текстом, но и с мультимодальными датасетами: изображениями, аудио и видео. В версии 2.0 заявлено больше 100 операторов для разных модальностей.
Практический сценарий понятный: есть сырой корпус из разных источников, где много дублей, мусора, слабых примеров и перекоса по доменам. Data-Juicer позволяет собрать воспроизводимый data recipe, прогнать его на локальной машине или в распределённом режиме и потом оценить, как изменения в данных влияют на модель.
Проект смотрит на данные как на отдельный слой оптимизации. Позволяет настроить качество, смесь, фильтры и пайплайн обработки. В ранней работе авторы показывали прирост до 7.45% по среднему score на 16 LLM-бенчмарках и 17.5% win rate в GPT-4 pairwise evaluation за счёт data recipes.
https://github.com/datajuicer/data-juicer
Забавная игрушка на ночь: GitHub-профиль теперь можно превратить в карточку в стиле FIFA.
GitFut прогоняет аккаунт по метрикам вроде коммитов, звёзд, репозиториев, подписчиков и активности, а потом собирает карточку с рейтингом от 0 до 99.
Идеально, чтобы внезапно узнать, ты GitHub-легенда или бронзовый запасной с одним pet-проектом.
https://gitfut.com/
✔️ DeepSeek OCR локально на RTX 3090
Проект даёт полноценный OCR и умную обработку документов прямо у себя на машине через DeepSeek-OCR.
Что внутри:
загрузка изображений и многостраничных PDF
точное распознавание текста + структурирование
экспорт в Markdown / HTML / DOCX / JSON
извлечение изображений и сохранение формул
удобный интерфейс (React) + API (FastAPI)
готов к запуску в Docker
Подходит, когда нужно превратить сканы в редактируемые и поисковые документы без облака.
GitHub: http://github.com/rdumasia303/deepseek_ocr_app
🖥 «Git Pro: от первого коммита до уровня senior» — на Stepik
Пятница, 17:58.
Вы пишете git push --force. И понимаете, что были не в той ветке.
Дальше два сценария. Первый: холодный пот, звонок тимлиду, испорченные выходные. Второй: git reflog, две команды, всё на месте, идёте домой.
Разница между этими сценариями - этот курс.
Git изнутри. Rebase без страха. Конфликты по алгоритму. Pull Request, code review, защита веток, CI/CD. Три модели ветвления - выберете свою.
Скидка 58%, 48 часов: https://stepik.org/course/284799/
Как запустить своего Джарвиса за 5 минут: локальный AI-ассистент OpenJarvis
Идея простая: вместо очередного облачного чат-бота вы собираете персонального AI-помощника, который работает ближе к вашему устройству, файлам и задачам.
https://github.com/open-jarvis/OpenJarvis
Вышел scikit-learn 1.9.
Это не релиз про «новую модную модель», а про то, что библиотека становится удобнее для реальной ML-разработки.
Главное:
• experimental callbacks
Теперь можно вешать callbacks на estimator-ы через set_callbacks() и отслеживать ключевые этапы fit.
Из коробки есть ProgressBar для прогресса и ScoringMonitor для логирования метрик.
• лучшее HTML-представление моделей
В Jupyter estimator-ы теперь показывают больше полезной информации после fit: fitted attributes, типы, значения, output features у трансформеров и пайплайнов.
Для сложных Pipeline, ColumnTransformer и FeatureUnion это реально удобнее, чем вручную копаться в атрибутах.
• новый sparse_interface
Появилась настройка:
sklearn.set_config(sparse_interface="sparray")
pip install --upgrade scikit-learn
🖥 10 GitHub-репозиториев для Парсинга
Сохрани, если работаешь с парсингом, RAG, LLM-пайплайнами или автоматизацией браузера.
Важно: использовать такие инструменты стоит только там, где у вас есть право собирать данные, с учётом ToS, robots.txt и лимитов сайта.
1. Firecrawl
Превращает сайт в чистый Markdown или JSON, удобный для LLM и RAG.
https://github.com/firecrawl/firecrawl
2. Crawl4AI
Краулер, который делает страницы LLM-ready без лишней настройки.
https://github.com/unclecode/crawl4ai
3. Browser Use
AI-агент, который управляет браузером: клики, формы, навигация, сбор данных через UI.
https://github.com/browser-use/browser-use
4. Crawlee
Production-фреймворк для краулинга: очереди, ретраи, браузерная автоматизация, хранение результатов.
https://github.com/apify/crawlee
5. Scrapy
Классика Python-скрейпинга. Подходит для больших краулеров и стабильных data pipelines.
https://github.com/scrapy/scrapy
6. MarkItDown
Инструмент Microsoft для конвертации PDF, Office, HTML и других форматов в Markdown.
https://github.com/microsoft/markitdown
7. Scrapling
Фреймворк для более устойчивого парсинга страниц, которые часто меняют структуру.
https://github.com/D4Vinci/Scrapling
8. scrcpy
Управление Android-устройством с компьютера. Полезно для тестирования и автоматизации mobile-only сценариев.
https://github.com/Genymobile/scrcpy
9. AutoScraper
Показываете пример нужных данных, а он сам пытается найти похожие элементы на странице.
https://github.com/alirezamika/autoscraper
10. curl-impersonate
Версия curl, которая имитирует сетевой профиль популярных браузеров. Полезно для тестов и совместимости.
https://github.com/lwthiker/curl-impersonate
Современный scraping давно перерос requests + BeautifulSoup.
Теперь это целая инфраструктура: браузерные агенты, Markdown для LLM, очереди, мобильная автоматизация и пайплайны для подготовки данных под AI.
📌 Mistral AI представила OCR 4.
Модель превращает документ в структуру:
• выделяет блоки через bounding boxes
• понимает типы элементов: заголовок, таблица, формула, подпись
• показывает confidence score по страницам и словам
• работает на 170 языках
Главная польза не в «распознать текст», а в том, чтобы дальше нормально использовать документы в RAG, enterprise search, редактировании, проверке человеком и агентных пайплайнах.
Mistral заявляет, что OCR 4 обошла конкурентов в слепом сравнении на 600+ реальных документах и набрала 85.20 на OlmOCRBench.
Модель можно запускать self-hosted в одном контейнере, чтобы документы не покидали вашу инфраструктуру.
Цена через API: $4 за 1000 страниц, через Batch API: $2 за 1000 страниц.
https://mistral.ai/news/ocr-4/
Как создать аннотированный график с помощью #Python и matplotlib 🐍📊
Читать полностью…
Baidu выпустила Unlimited OCR - модель для распознавания длинных документов за один проход.
У модели 3B параметров, но активируются только 500M. При этом она показывает новые SOTA-результаты на OmniDocBench v1.5 и v1.6.
Главная фишка - Reference Sliding Window Attention.
Модель держит в фокусе:
• исходный документ
• недавний контекст
• следующие слова
А всё лишнее постепенно «забывает», чтобы не раздувать вычисления.
За счёт постоянного размера KV Cache и более дешёвого attention Unlimited OCR может распознавать 40+ страниц за один forward pass, не теряя контекст и не замедляясь.
GitHub: https://github.com/baidu/Unlimited-OCR
Hugging Face: https://huggingface.co/baidu/Unlimited-OCR
Python Tip: pickle — быстрый способ сохранить Python-объекты в файл.pickle умеет сериализовать почти любые Python-структуры: словари, списки, кортежи, set, числа, строки и даже более сложные объекты.
Пример:
import pickle
data = {
"name": "Alice",
"scores": [10, 20, 30],
"active": True
}
with open("data.pickle", "wb") as f:
pickle.dump(data, f)
with open("data.pickle", "rb") as f:
loaded_data = pickle.load(f)
print(loaded_data)
pickle небезопасен.pickle только для внутренних данных, которым доверяете.
Читать полностью…
🏆 Итоги Первого Кубка нейроконтента в МосХаб.Сколково
Вчера наше пространство превратилось в настоящую нейролабораторию. 150 дизайнеров, разработчиков, сценаристов и AI-специалистов собрались, чтобы за несколько часов создать вертикальные ролики с помощью нейросетей.
Участники работали по четырём социально значимым кейсам: «Москва 2040: технологии для людей», «Технологическое будущее: страна инженеров», «Код жизни: медицина будущего» и «Москва — город заботы».
Главный кубок второй год подряд завоевала команда «Кролики».
Генеральный директор платформы «Россия — страна возможностей» Андрей Бетин отметил: «Из 1300 заявок в финал вышли сильнейшие. Это подтверждает высокий уровень подготовки участников и их творческий потенциал».
Кубок нейроконтента подтвердил: нейросети усиливают замысел человека, но не заменяют его. Настоящий прорыв — в тандеме живого творчества и цифровых технологий. МосХаб.Сколково — та самая точка, где такие проекты становятся реальностью.
Фото с мероприятия — в альбоме
Подписывайтесь: Telegram | МАКС | ВКонтакте
OpenMythos - open-source попытка теоретически реконструировать Claude Mythos, где все архитектурные ставки расписаны прямо в README.
По сути, OpenMythos это публичная гипотеза, которая ещё и запускается.
Что авторы считают основой Mythos?
Не глубокий стек уникальных слоёв, а Recurrent-Depth Transformer.
MoE с активацией около 5% параметров, поэтому общий размер модели скорее показывает объём хранения, а не реальную стоимость вычислений.
Loop-index positional embedding, чтобы каждая итерация работала как отдельная вычислительная фаза.
ACT halting, чтобы модель сама решала, когда ей достаточно “думать”, причём отдельно для каждого токена.
И ещё continuous latent thoughts, которые могут кодировать сразу несколько следующих шагов. По смыслу это похоже на breadth-first search внутри одного forward pass.
Источники идей тоже понятны: Parcae для стабильности, Universal Transformers для halting, DeepSeek для MoE routing.
GitHub:
http://github.com/kyegomez/OpenMythos
🐍 Python Парсинг: Большой продвинутый бесплатный курс
Полное практическое руководство по веб-скрейпингу на Python — от основ HTTP до production-grade пауков, обхода антибот-защит, асинхронности и проектирования надёжных пайплайнов. Каждый раздел содержит рабочие примеры, типовые ошибки и продвинутые практики.
https://github.com/justxor/Pythonparsing-/tree/main
🔥 Интенсив Путь в ИБ: деньги, карьера, реальность стартует УЖЕ СЕГОДНЯ!
📗Сохраняйте расписание:
🗓 7 ИЮЛЯ | День 1
🎙 Спикер: Лев — Инфраструктурный пентест. Эксперт по пентесту, Active Directory и безопасности Windows-сред. Работает с атаками на корпоративные сети и покажет, как новичку зайти в специализацию, где ценится понимание инфраструктуры.
🟢Тема: AD И ПЕНТЕСТ: СПЕЦИАЛИЗАЦИЯ, ЗА КОТОРУЮ ПЛАТЯТ
🟦Практическая сторона безопасности: как проверяют корпоративные сети, находят слабые места и превращают этот навык в высокооплачиваемую профессию.
🟦Что такое AD и почему без него не понять корпоративную безопасность
🟦Как атакующий двигается по сети и ищет слабые места
🟦Что нужно новичку на старте: сети, Windows и базовый код
🟦Почему компании платят за умение решать реальные задачи
🟦Раскладываем сферу ИБ по полочкам: какие направления есть, чем они отличаются, сколько можно зарабатывать и какой первый шаг выбрать.
🟦Как устроена кибербезопасность изнутри и зачем она бизнесу
🟦Пентест, SOC, работа этичных хакеров и защита инфраструктуры
🟦AppSec и DevSecOps: почему это отдельное направление с высоким спросом
🟦Как выбрать свой путь в ИБ и сделать первый шаг
🟦Разбираем, почему ChatGPT, AI-агенты и другие ИИ-инструменты могут быть не только помощниками, но и источником риска.
🟦Как ИИ уже используют в кибербезопасности
🟦Чем AI-агенты отличаются от обычного чата с нейросетью
🟦Что такое обман ИИ простыми словами и зачем это знать новичку
🟦Как правильно применять нейросети для обучения и работы
The Easiest Way to Scrape the Web
Инструмент, который Имитирует браузеры для скрейпинга и парсит HTML в Markdown.
Незаметный web-scraping и удобный HTML-парсинг в Python.
https://github.com/jpjacobpadilla/Stealth-Requests
Wagtail как Django admin на стероидах
Хороший разбор для Django-разработчиков: Wagtail можно использовать не только как CMS, но и как более удобную админку для обычных Django-моделей.
Смысл простой: Django admin быстро даёт UI вокруг моделей, но кастомизация часто превращается в боль. Wagtail даёт более современный интерфейс, нормальную работу с полями, группировку через panels, роли, permissions, rich text, media library, versioning и редакторские workflow.
При этом не нужно переписывать проект под CMS-логику. Wagtail ставится как обычный Django-пакет, добавляется в INSTALLED_APPS, подключается в urls.py, а бизнес-логика, views, forms и templates остаются обычными Django.
Самый практичный случай использования : взять существующий admin.py, перенести модели в Wagtail snippets и постепенно заменить старую админку там, где нужен интерфейс, который не стыдно показать клиенту.
Для внутренних тулзов, CRM, backoffice и контентных разделов это может быть намного приятнее, чем бесконечно допиливать стандартный Django admin.
https://timonweb.com/wagtail/wagtail-as-django-admin-on-steroids/
Array API + JIT: как ускорять scientific Python без CUDA C
Quansight разобрали важную проблему: Array API помогает писать код под разные array-бэкенды, но в SciPy и похожих библиотеках много compiled-кода, который сложнее переносить на GPU и multicore CPU.
Авторы предлагают использовать Array API + JIT/AOT-компиляцию как альтернативу ручным специализированным kernels.
На примере SciPy RBF interpolator авторы показывают, что такой подход может дать серьёзный прирост производительности на CUDA без написания CUDA C-кода.
Scientific Python постепенно уходит от модели «пишем отдельную реализацию под каждое железо» к более удобному стеку, где один код может работать быстрее на разных backend’ах.
https://labs.quansight.org/blog/array-api-aot-jit
@pythonl
Anthropic выкатила Claude Sonnet 5 - мощнейший «агентный» Sonnet в линейке.
Главная идея: модель теперь лучше планирует, пользуется инструментами, браузером, терминалом и может дольше вести сложные задачи без постоянного контроля.
По словам Anthropic, Sonnet 5 приблизился к Opus 4.8 по агентным задачам, но стоит дешевле. Особенно упор сделали на кодинг, tool use, reasoning и работу с многошаговыми процессами.
Модель уже доступна во всех планах Claude, включая Free и Pro, а также в Claude Code и API.
Цена для разработчиков до 31 августа 2026:
• $2 за 1 млн input tokens
• $10 за 1 млн output tokens
Потом стандартная цена:
• $3 за input
• $15 за output
Интересный момент: Anthropic отдельно пишет, что Sonnet 5 безопаснее Sonnet 4.6 в агентных сценариях, лучше отказывается от вредных запросов и устойчивее к prompt injection.
По сути, это попытка сделать «рабочую лошадку» для AI-агентов: не самую дорогую, но достаточно сильную, чтобы закрывать кодинг, автоматизацию, браузерные задачи и долгие пайплайны.
https://www.anthropic.com/news/claude-sonnet-5
🖥 GitHub Pages можно пересобрать почти на голом Python.
Автор показал, как сделать лёгкую платформу для хостинга статических сайтов без фреймворков и тяжёлой инфраструктуры. Только стандартная библиотека Python.
Идея простая:
• http.server отдаёт статические файлы
• небольшой Python-код добавляет логику деплоя
• автоматизация обновляет сайт после изменений
• HTTPS можно прикрутить без отдельного большого стека
Главный кайф не в том, чтобы «убить GitHub Pages», а в том, чтобы понять механику под капотом.
Статический хостинг - это не магия. Это файловая раздача, маршруты, деплой, сертификаты и немного аккуратной автоматизации.
Хороший материал для тех, кто хочет лучше понимать web-инфраструктуру, а не просто нажимать кнопку Deploy.
https://blog.klemek.fr/articles/2026-06-14/
В Python есть встроенный кэш, о котором многие забывают.
Если функция часто вызывается с одними и теми же аргументами, не всегда нужно руками писать словарь, Redis или отдельный слой кэширования.
Иногда хватает lru_cache из стандартного модуля functools.
Пример:
from functools import lru_cache
@lru_cache(maxsize=128)
def get_user(user_id):
print("Запрос к базе")
return {"id": user_id}
user_id вернёт результат из кэша.
get_user(1) # Запрос к базе
get_user(1) # уже из кэша
maxsize ограничивает размер кэша, а старые значения вытесняются по принципу LRU: least recently used.lru_cache хорошо работает, когда результат функции зависит только от её аргументов.
Читать полностью…
Идёт регистрация на Робозон — хакатон по оптимизации складских процессов от Ozon Tech.
Призовой фонд: 15 000 000 рублей.
Три задачи на выбор, два месяца на решение, один реальный бизнес-процесс, в рамках которого и нужно думать.
Какие решения ждут:
— модель движения товаров в сортировочном центре;
— проект-конструкция автосортера;
— алгоритм классификации и обработки товаров с помощью CV.
Робозон — это возможность поработать с логикой и ограничениями высоконагруженной среды. Проверить свои навыки на процессах индустрии e-com. Обсудить решения с экспертами Ozon Tech.
Один из главных мифов вокруг ИИ-кодинга: достаточно найти правильный промпт — и модель начнет писать хороший код
Но на практике два разработчика могут отправить одинаковый запрос: «создай API для пользователей» — и получить совершенно разный результат. Один получит аккуратный FastAPI-сервис с типами, тестами и обработкой ошибок. Другой — код, который придется переписывать после первого изменения.
Причина часто не в модели.
LLM (большие языковые модели) не знает, как устроен ваш проект: какие архитектурные решения приняты, какие стандарты действуют и что команда считает качественным результатом.
Поэтому стоит выстраивать вокруг ИИ тот же инженерный слой, который уже есть в обычной разработке: правила проекта, чек-листы, автоматические проверки и понятные критерии качества.
На бесплатном вебинаре karpovꓸcourses «ИИ-агенты и профессиональная разработка на Python» Алексей Жиряков покажет вживую, почему ИИ-код ломается в реальных проектах и как это исправлять.
Алексей — исполнительный директор в Сбере, занимается развитием генеративного ИИ, а до этого более 15 лет работал в backend-разработке и руководил инженерными командами.
Будет живое демо поверх готового репозитория: как настроить процесс, получить более чистый типизированный код и использовать продакшен-подход вроде связки «дешевая модель пишет — дорогая ревьюит», которая помогает снижать стоимость генерации.
Присоединяйтесь по ссылке, а после регистрации вы получите гайд «Почему ваш ИИ пишет не то: LLM против ИИ-агента»: https://clc.to/erid_2W5zFHK9mww
Реклама. ООО «КАРПОВ КУРСЫ». ИНН 7811764627. erid: 2W5zFHK9mww
Скажи мне 5 главных слов: на GitVerse появилось зеркало PyPI! 😎
Все нужные Python‑пакеты живут на российской платформе для разработчиков GitVerse — вы не потеряете доступ к ним, даже если основной PyPI решит «повиснуть».
А ещё такое зеркало — плюс к скорости: меньше сетевых прыжков — быстрее загрузка.
Ставьте его как основной источник или держите как резерв. Тут рассказали, как подключить зеркало!
🔍Тестовое собеседование на Middle Python с разработчиком из Авито завтра вечером
Уже завтра вечером в 19:00 по мск приходи онлайн на открытое собеседование, чтобы посмотреть на настоящее интервью на Middle Python-разработчика.
Как это будет:
📂 Даня, старший разработчик в Авито, будет задавать реальные вопросы и задачи разработчику-добровольцу
📂 Даня будет комментировать каждый ответ респондента, чтобы дать понять чего от вас ожидает собеседующий на интервью
📂 В конце можно будет задать любой вопрос Дане
Это бесплатно. Эфир проходит в рамках менторской программы от ШОРТКАТ для Python-разработчиков, которые хотят повысить свой грейд, ЗП и прокачать скиллы.
Переходи в нашего бота, чтобы получить ссылку на эфир → @shortcut_py_bot
Реклама.
О рекламодателе.
Pew Research опубликовали свежий отчёт «Americans and AI 2026».
Только 16% американцев теперь ожидают, что ИИ принесёт пользу обществу в следующие 20 лет, а 40% считают, что ИИ навредит обществу за тот же период.
24% американцев используют чат-боты ежедневно: 12% - несколько раз в день, 4%, почти постоянно.
51% взрослых жителей США всё ещё вообще не пользуются ИИ-чат-ботами.
42% используют чат-боты для поиска информации, и это делает поиск главным сценарием применения.
38% работающих взрослых используют чат-боты для рабочих задач.
10% используют их для эмоциональной поддержки или советов, а 4% - для общения и чувства компании.
ChatGPT доминирует по уровню использования: 44% взрослых американцев сообщили, что пользовались им.
Дальше идут Gemini - 24%, Copilot — 17%, Meta AI — 14%, Grok — 8%, Claude — 6% и Character.ai — 3%.
Взрослые младше 50 лет примерно в два раза чаще пользуются ChatGPT, чем люди старшего возраста: 57% против 28%.
30% говорят, что чат-боты помогают им с продуктивностью, и только 5% считают, что они ей вредят.
28% говорят, что чат-боты помогают им оставаться в курсе событий, и только 5% считают, что они мешают этому.
60% взрослых жителей США читают ИИ-сводки в поиске. Это значит, что ИИ уже влияет на потребление информации даже у тех, кто может активно не пользоваться чат-ботами.
https://www.pewresearch.org/internet/2026/06/17/americans-and-ai-2026-chatbots-smart-devices-and-views-on-impact/
⚡️ Linux Roadmap: подробный практический курс от нуля до уверенного администратора
Это пошаговый маршрут изучения Linux с упором на практику. Каждый раздел содержит объяснение «почему это устроено именно так», разбор команд и обязательные задания, которые нужно выполнить руками в терминале. Чтение без повторения навыка не даёт — держите терминал открытым рядом с этим текстом.
Как работать с этим курсом: идите сверху вниз, не перепрыгивайте разделы; каждую команду набирайте руками, а не копируйте; в конце каждого блока выполняйте задание; специально ломайте систему в виртуалке и чините — это лучший способ учиться.
https://github.com/justxor/linuxfullroadmap/
🖥 На stepik обновили курс Python в 2026 - рабочий инструмент для автоматизации, ботов, парсинга, API, данных и разработки с ИИ.
Проблема новичков в том, что они учат Python кусками: синтаксис, пару задач, немного теории - и потом не понимают, как собрать из этого реальный проект.
Этот курс закрывает именно этот разрыв. Здесь вы не просто смотрите уроки, а учитесь писать код, разбирать ошибки и собирать рабочие решения на практике.
Внутри:
- Python с нуля
- много практики без сухой теории
- реальные задачи и проекты
- автоматизация рутины
- работа с файлами, данными и API
- понятная логика программирования
- современная разработка с ИИ
- отдельный блок по вайбкодингу
Вайбкодинг это нормальный навык 2026 года и вас научат- правильно ставить задачу, проверять код, понимать результат и быстрее доводить проект до рабочего состояния.
48 часов скидка 60%: https://stepik.org/course/288218/
GLM-5.2 теперь можно запускать локально.
2-битная версия сохраняет около 82% точности после сжатия модели с 1,51 ТБ до 238 ГБ, то есть размер уменьшили на 84%.
Запуск возможен на Mac с 256 ГБ памяти или на системах с достаточным объёмом RAM/VRAM.
GLM-5.2 называют самой сильной открытой моделью на данный момент.
Гайд: https://unsloth.ai/docs/models/glm-5.2
GGUF: https://huggingface.co/unsloth/GLM-5.2-GGUF