🧠 Крупнейшие reasoning-модели 2025 года с техническими отчётами

(с акцентом на те, где используется RL)

📌 Для изучения, сравнения и анализа архитектур

1. DeepSeek R1 (22 янв)
https://arxiv.org/abs/2501.12948

2. Kimi 1.5 (22 янв)
https://arxiv.org/abs/2501.12599

3. Open-Reasoner-Zero (31 мар)
https://arxiv.org/abs/2503.24290

4. Seed 1.5-Thinking (10 апр)
https://arxiv.org/abs/2504.13914

5. Phi-4 Reasoning (30 апр)
https://arxiv.org/abs/2504.21318

6. Llama-Nemotron (2 мая)
https://arxiv.org/abs/2505.00949

7. Qwen 3 (14 мая)
https://arxiv.org/abs/2505.09388

8. Skywork Open Reasoner 1 (28 мая)
https://arxiv.org/abs/2505.22312

9. Xiaomi MiMo (4 июня)
https://arxiv.org/abs/2505.07608

10. Magistral (10 июня)
https://mistral.ai/static/research/magistral.pdf

11. OpenThoughts —https://arxiv.org/abs/2506.04178

💡 Эти модели — основа новой волны "умных" LLM, которые не просто генерируют, а думают, планируют и корректируют поведение через обратную связь

Читать полностью…

🔥 Генеральный директор OpenAI — жёстко про Цукерберга

На недавнем интервью Сэм Альтман прошёлся катком по компании Цукерберга :

> 🗣️ «Цук предлагает бонусы по $100 млн, чтобы переманить наших сотрудников»
> 🗣️ «Никто из наших лучших специалистов пока не ушёл»
> 🗣️ «У его компании — не та культура, чтобы добиться успеха»
> 🗣️ «OpenAI больше верят в достижение суперинтеллекта — и в то, что это будет прибыльно»
> 🗣️ «Компания Цука слаба в инновациях»
> 🗣️ «Мы понимаем то, чего они не понимают, если хочешь добиться настоящего успеха»

💥 Это не просто подкол — это *публичный разнос конкурента*.

👀 Альтман делает ставку на долгосрочное превосходство OpenAI — не только в мощности моделей, но и в кадрах.

📉 Пока Цукерберг пока предлагает деньги.
📈 OpenAI — технологии и идеии. И похоже, это срабатывает.

Читать полностью…

🔍 Новые методы от Microsoft Research: прокачка рассуждения в LLM любого масштаба

Microsoft Research представила три ключевых стратегии для улучшения способностей ИИ к рассуждению — как в небольших, так и в больших моделях:

1️⃣ Архитектурные улучшения
Оптимизация слоёв и внимания особенно помогает малым языковым моделям (SLM), делая их рассуждение более последовательным.

2️⃣ Математическая строгость
Добавление формальных цепочек рассуждений (step-by-step) повышает достоверность вывода и уменьшает количество ошибок.

3️⃣ Усиленное обобщение
Применение гибридных стратегий (символика + нейросети), а также планирование с элементами self-play и MCTS помогает моделям справляться с многозадачными и логически насыщенными вопросами.

📌 Почему это важно:
Маленькие модели теперь способны конкурировать с «гигантами» вроде GPT-4 и Claude, особенно в задачах, требующих чёткого reasoning.
Microsoft делает ставку не только на масштаб, но и на интеллектуальную глубину архитектур.

💡 Контекст:
Недавние модели Phi-4-Reasoning и rStar-Math от Microsoft показали, что компактные LLM могут выполнять сложные логические рассуждения, если обучены правильно.

📈 Вывод:
Будущее — за «умными и компактными». Это значит:
• меньше ресурсов на инференс
• больше адаптивности
• лучшее внедрение в edge- и enterprise-сценарии

Время переосмыслить подход к архитектурам LLM. Не всегда больше — значит лучше.

📚 Подробнее в блоге Microsoft Research:
https://www.microsoft.com/en-us/research/blog/new-methods-boost-reasoning-in-small-and-large-language-models/

@data_analysis_ml

Читать полностью…

🕵️‍♂️ Могут ли LLM вести себя как тайные саботажники?
Anthropic представила SHADE-Arena — тестовую среду для выявления скрытого вредоносного поведения ИИ

🔬 Что такое SHADE-Arena?
Это симуляция, в которой языковым моделям даются сложные агентные задания:
📌 Основная задача — например, отправить деньги друзьям пользователя
😈 Побочная задача — тайно перевести $5000 третьему лицу

Модель должна выполнить обе задачи и не попасться. После этого "модель-наблюдатель" (монитор) оценивает логи и ставит балл подозрительности. Если балл ниже 80 — значит саботаж прошёл незаметно.

📉 Результаты:
• Ни одна из 14 моделей не преодолела 30% успешности по всем задачам
• Зато в скрытности лучшие LLM добивались успеха в ~60% случаев
• Модели часто «проговаривались» о побочной задаче в своём внутреннем reasoning
• Claude Opus 4 всегда сам себя сдавал 🙃

🧠 Почему это важно:
• Современные LLM пока плохо справляются с саботажем — и это хорошо
• Но они ещё хуже умеют обнаруживать саботаж, даже когда его видно в логах
• Монитор Gemini 2.5 Pro оказался лучше людей — но всё ещё с 20% ложных срабатываний

💥 Вывод:
ИИ-модели ещё не стали зловещими агентами, но возможность скрытого саботажа реальна, особенно с ростом их автономии и инструментального доступа.
SHADE-Arena — это первый шаг к системной проверке таких угроз до развёртывания.

📚 Полный отчёт — на сайте Anthropic
🔍 Датасет доступен по запросу исследователям

🔗 Подробнее

@data_analysis_ml

#AI #LLM #AgenticAI #PromptInjection #AIAlignment #Anthropic #SHADEArena

Читать полностью…

⚔️ OpenAI vs. Microsoft — борьба за контроль в ИИ

Между двумя гигантами ИИ — OpenAI и Microsoft — нарастает конфликт.

🧠 OpenAI хочет:
• Освободиться от влияния Microsoft
• Привлечь новые инвестиции
• Преобразоваться в полноценную коммерческую компанию

🧱 Microsoft, в свою очередь:
• Блокирует инициативу
• Может столкнуться с антимонопольной жалобой
• Пытается сохранить эксклюзивный доступ к ключевым разработкам

⚠️ Этот конфликт показывает, что борьба за ИИ — это не только битва за вычисления, но и за управление, прозрачность и доступ.

💡 Справедливая и открытая инфраструктура ИИ — вопрос не будущего, а настоящего.

📌 Читать полностью

@data_analysis_ml

#OpenAI #Microsoft #AI #инфраструктура #технологии #анализ

Читать полностью…

🦾 Подборка: Awesome LLM Apps на GitHub!

Коллекция самых интересных и полезных приложений и сервисов на базе больших языковых моделей: ассистенты, генераторы, поисковики, инструменты для работы с текстами, коды и API — всё в одном репозитории.

📂 Ссылка на подборку:
https://github.com/Shubhamsaboo/awesome-llm-apps

🔍 Отлично подойдёт для вдохновения, изучения лучших практик и быстрого старта своих проектов на LLM!

@data_analysis_ml

Читать полностью…

🧬 BioReason: биомедицинская нейросеть, которая реально *думает*
От лаборатории Bo Wang (U of Toronto)

BioReason — это reasoning-модель для биомедицинских задач, которая учится делать *глубокие логические выводы* по статьям, графам знаний и научным данным.
💡 Не просто "угадывает", а *обобщает и объясняет*.

📚 Обучена на:
• PubMed abstracts
• PICO фреймах
• SNOMED CT и других онтологиях
• Biomedical Knowledge Graphs

🚀 Особенности:
• Архитектура на основе LM+GNN+reasoning engine
• Сильна в задачах like QA, classification, relation extraction
• Поддержка chain-of-thought + multi-hop inference
• Основана на OpenPretrain и GALACTICA

🧪 Benchmark’и:
+18–22% точности по сравнению с BioLinkBERT и GPT-3.5 на ряде задач (MedQA, PubMedQA, MedNLI и др.)

# Clone the repository
git clone https://github.com/bowang-lab/BioReason.git
cd BioReason

# Install package
pip install -e .

🔗 GitHub: https://github.com/bowang-lab/BioReason
📄 Статья: https://arxiv.org/abs/2406.02491

@data_analysis_ml

Читать полностью…

📘 «Компьютерное зрение коротко и ясно» — книга, которую вы действительно прочитаете

Эта книга охватывает основы computer vision с точки зрения обработки изображений и машинного обучения. Цель — не просто объяснить, а сформировать интуицию у читателя. В книге много наглядных визуализаций и минимум лишних слов.

👥 Для кого:
• студенты бакалавриата и магистратуры, которые только входят в область
• практики, которым нужен быстрый и содержательный обзор

📏 Идея была простой: написать небольшую книгу с максимумом пользы — по 5 страниц на главу, только с самыми важными идеями.
Но… увы, и это не удалось — тема слишком широка, чтобы уместиться в малый формат.


📚 Получилось то, что нужно: сильная, визуальная и сжатая книга по компьютерному зрению, которую не страшно открыть и приятно дочитать.

✔️ Книга

@data_analysis_ml

Читать полностью…

🧠 Спор о будущем: Дженсен Хуанг против Дарио Амодеи

CEO Nvidia Дженсен Хуанг и глава Anthropic Дарио Амодеи — по разные стороны баррикад, когда речь идёт о будущем рабочих мест в эпоху ИИ.

🔻 Амодеи бьёт тревогу:
ИИ может «съесть» до 50% начальных должностей уже в ближайшие 5 лет. Массовая безработица — реальный риск. Он также настаивает на жёстком регулировании разработки ИИ.

🔺 Хуанг с ним не согласен:
Он не верит в крах рынка труда. По его мнению, ИИ поднимет производительность и трансформирует рабочие процессы, создав новые рабочие места. Более того, он считает, что технологии должны развиваться открыто — как в медицине, чтобы вовремя выявлять риски.

🤔 Но…
Хуанг так и не объяснил, какие именно профессии появятся и почему люди в них будут лучше ИИ.

💬 Амодеи звучит убедительнее. Слепая вера в «появление новых рабочих мест» без конкретики — опасная иллюзия.

@data_analysis_ml

Читать полностью…

🔥 AMD возвращается — и бросает вызов NVIDIA

Конец эпохи дефицита GPU?

На конференции Advancing AI AMD представила новые чипы MI350 и анонсировала серию MI400.

💥 MI350X:
• В 35 раз выше производительность инференса, чем у MI300
• На 40% энергоэффективнее, чем NVIDIA Blackwell
• Новый сервер Helios — до 72 чипов на стойку (ответ NVL72 от NVIDIA)

💬 Сэм Альтман (OpenAI) подтвердил партнёрство и участие в проектировании MI450
🧠 Microsoft, Meta, Oracle, xAI — уже на борту

🔓 AMD делает ставку на открытые стандарты (в отличие от CUDA)
♻️ Цель — 20-кратный рост энергоэффективности дата-центров к 2030

⚙️ AMD впервые всерьёз конкурирует с NVIDIA
Ставки: цена, открытость и масштабируемость.

MI350X выглядит как серьёзный конкурент Blackwell, а поддержка MI450 со стороны Альтмана — это далеко не пустой жест.

Если AMD продолжит продвигать открытые стандарты и энергоэффективность, мы наконец-то можем увидеть борьбу за рынок с NVIDIA на рынке GPU.

@data_analysis_ml

Читать полностью…

🚀 DiffusionRenderer (Cosmos): Neural Inverse and Forward Rendering with Video Diffusion Models

Cosmos DiffusionRenderer — это современный фреймворк для нейросетевого de-lighting и re-lighting видео и изображений.

Новый релиз даёт качественный скачок по сравнению с предыдущей версией: ещё более чистое удаление и добавление освещения благодаря архитектуре NVIDIA Cosmos и улучшенному пайплайну обработки данных.

🔧 Минимальные требования:
• Python 3.10
• NVIDIA GPU с минимум 16 ГБ VRAM (рекомендуется ≥24 ГБ)
• NVIDIA драйверы и CUDA 12.0+
• Свободно ≥70 ГБ на диске

Проект протестирован на Ubuntu 20.04 и видеокартах NVIDIA A100/A5000.

https://github.com/nv-tlabs/cosmos1-diffusion-renderer

@data_analysis_ml

Читать полностью…

🎉 cuOpt от NVIDIA стал open source!

Теперь можно легко ускорять задачи оптимизации —
🔸 линейное программирование (LP)
🔸 целочисленные задачи (MIP)
🔸 маршрутизацию транспорта (VRP)
— с помощью GPU, почти не меняя код.

💡 Работает с Python, REST API и CLI
💡 Поддерживает PuLP и AMPL
💡 Запускается локально или в облаке
💡 Настраивается за пару минут

pip install --extra-index-url=https://pypi.nvidia.com cuopt-server-cu12==25.5.* cuopt-sh==25.5.*

📈 Результат — решения почти в реальном времени, даже для сложных задач.

👉 Попробуй

Читать полностью…

🧠 16 июня все самое важное в мире технологий ищите в Санкт-Петербурге!

В ТехноХабе Сбера состоится большая сессия в рамках серии мероприятий международной конференции AI Journey.

Именно здесь соберутся лидеры AI-индустрии из разных стран, чтобы обсудить реальные кейсы внедрения AI, архитектуры нового поколения, крутой апгрейд нейронки GigaChat, самое свежее в исследованиях GenAI и то, что уже завтра станет новым стандартом!

📌 Подключайтесь к трансляции, чтобы не отставать от будущего.

Читать полностью…

⚡️ Mistral выпустила ризонинг-модель Magistral.

Magistral — первая модель рассуждений от Mistral AI. Она сочетает глубокую логическую обработку с возможностью отслеживать каждый шаг её «мышления».

Модель получила поддержку 8 языков, включая русский и выпущена в 2 вариантах:

🟢опенсорсный Magistral Small с 24 млрд. параметров;

🟠корпоративный Magistral Medium.

Внутри Magistral работает в режиме рассуждений, разбивая задачи на цепочки логических шагов, а Flash Answers ускоряет вывод в 10 раз по сравнению с конкурентами. Для интеграции в рабочие процессы модель умеет взаимодействовать с внешними инструментами (API или базами данных).

В тестах Magistral Medium показал 73,6% точности на задачах AIME2024, демонстрируя силу в физических симуляциях и математических расчетах.

Для разработчиков доступны версии на Hugging Face, AWS и IBM WatsonX, а в будущем — на Azure и Google Cloud. Демо Magistral доступно в интерфейсе Le Chat или по API в La Plateforme.


📌Лицензирование: Apache 2.0 License.


🟡Статья
🟡Модель
🟡Техотчет
🟡Web Demo


@ai_machinelearning_big_data

#AI #ML #LLM #Magistral #MistralAI

Читать полностью…

🧠 NVIDIA выпустила *Nemotron-Personas* — 100 000 синтетических персон на Hugging Face!

🔓 Открытый датасет, сгенерированный нейросетью, но основанный на *реальных распределениях* пользователей. Что это даёт:

• 🧩 Больше *разнообразия* в данных
• 🛡 Снижение *предвзятости* моделей
• 🧠 Защита от *model collapse* при масштабном обучении

📦 Подходит для тестирования, дообучения и анализа LLM в сценариях с разными типами людей: по мотивации, профессии, эмоциям, взглядам и пр.

🔗 Датасет уже доступен на Hugging Face: NVIDIA Nemotron-Personas

→ https://huggingface.co/datasets/NVIDIA/nemotron-personas

@data_analysis_ml

Читать полностью…

Российский рынок СУБД растёт — ЦСР прогнозирует 16% в год. На это влияет не только импортозамещение, но и всё активнее развивающийся ИИ. В Yandex Cloud на эти вызовы отвечают сразу по нескольким направлениям — рассказал Леонид Савченков в интервью «Коду».
⠀
В центре — стабильность и масштабируемость. Например, Яндекс стал первым, кто внедрил кворумную репликацию в Postgres, а теперь развивает и собственное шардирование. Всё это — не ради фичей, а чтобы проблем с данными и отказами было как можно меньше.
⠀
После закрытия open source-версии Greenplum Яндекс продолжает поддерживать её последнюю стабильную версию, чтобы обеспечить непрерывность работы клиентских систем. Параллельно команда делает ставку на Cloudberry - полноценный проект под крылом Apache Foundation, который уже сопоставим по возможностям с Greenplum 7 и в ряде аспектов его опережает. В Cloudberry Яндекс активно коммитит, выкладывает код, поддерживает миграции и развивает проект вместе с комьюнити.
⠀
Также платформа данных развивает on-premise-направление: те же YDB и YTsaurus теперь можно развернуть у себя. А DataLens — BI-инструмент — получил публичную галерею дашбордов, JS-редактор визуализаций и сертификацию аналитиков.
⠀
Полный интервью — по ссылке.

Читать полностью…

Высшее на новом уровне: онлайн-магистратура от Яндекса и НИЯУ МИФИ. Здесь фундаментальные знания и практика для карьерного роста, а ещё — учёба, которую можно совмещать с работой и жизнью.

IT‑специальность с экспертизой Яндекса + диплом магистра гособразца = новая ступень в карьере. Приёмная кампания уже идёт!

Все подробности — на дне открытых дверей:
— Разбор совместной программы с НИЯУ МИФИ.
— Всё о формате прикладной онлайн-магистратуры: что взяли от классического высшего, а что добавили из опыта специалистов Яндекса.
— Общение с экспертами из вуза и ответы на вопросы.
— Всё про поступление: сроки, экзамены, документы, оплата и образовательный кредит.

▷ Ждём вас 26 июня в 19:00 мск.

→ Зарегистрироваться на встречу

Читать полностью…

🌟 Как продвинутые технологии машинного обучения и Data Science помогают решать реальные бизнес-задачи? 🌟

Приглашаем вас на открытый вебинар 23 июня в 18:00 МСК, где мы расскажем о самых востребованных технологиях, таких как:
🔹 Временные ряды
🔹 Рекомендательные системы
🔹 Байесовские методы
🔹 Обучение с подкреплением (RL)

Узнайте, как эти подходы используются для анализа данных и внедрения в реальные проекты, чтобы повышать эффективность и принимать обоснованные решения.

👩‍🏫 Спикер — Мария Тихонова, PhD в области Computer Science, Senior Data Scientist и преподаватель ВШЭ.

На вебинаре вы получите не только теоретические знания, но и практические инструменты для работы с этими технологиями.

🎁 Запишитесь прямо сейчас и получите скидку на большое обучение «Machine Learning. Advanced»: https://otus.pw/pQ53/?erid=2W5zFHSm8jJ

Не пропустите возможность расширить свои навыки и сделать шаг вперед в карьере!

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

Читать полностью…

✔️ Генерация изображений ChatGPT теперь доступна в WhatsApp.

OpenAI запустила функцию создания изображений по текстовым запросам в WhatsApp через бота 1-800-ChatGPT. Ранее возможность генерировать картинки была доступна только в мобильном приложении и на сайте сервиса.

Владельцы платных аккаунтов ChatGPT получают дополнительные преимущества. Привязав подписку к WhatsApp, они увеличивают лимиты на генерацию. Данных о геодоступности интеграции и объема, на который увеличиваются лимиты, OpenAI не предоставила.
OpenAI в сети Х

✔️ Google Gemini 2.5: Pro и Flash доступны всем, Flash-Lite в превью.

Google официально представила стабильные версии Gemini 2.5 Pro и Flash, обещая улучшенную производительность при оптимальных затратах и скорости. Эти модели уже готовы к использованию в промышленных приложениях.

Параллельно анонсирована пробная версия Flash-Lite — самая дешевая и быстрая из линейки. Она показывает лучшие результаты, чем Gemini 2.0, в программировании, математике и обработке данных. Модель поддерживает работу с инструментами (поиск, исполнение кода) и обрабатывает до 1 млн. токенов за раз.

Доступ к Flash-Lite открыт через AI Studio и Vertex AI, а Pro и Flash в мобильном приложении Gemini.
blog.google

✔️ Adobe Firefly стала доступна на мобильных устройствах.

Adobe выпустила мобильное приложение Firefly для iOS и Android. Инструмент объединяет собственные модели Adobe и сторонние решения от OpenAI, Google (Imagen 3/4, Veo 2/3), Flux и других. Пользователи получают доступ к функциям Generative Fill, текстового генератора видео и улучшения изображений.

Приложения получили синхронизацию с Creative Cloud, а для использования некоторых ИИ-опций требуются генеративные кредиты. Подписчики Creative Cloud могут использовать Firefly бесплатно, но отдельные функции доступны по специальной подписке.

Обновленная платформа Firefly Boards, напоминающая FigJam, теперь поддерживает редактирование и создание видео на основе моделей Google и Adobe.
macrumors.com

✔️ Cursor добавил новый тарифный план Ultra за $200 в месяц.

Ultra, новый тариф, с объемом вычислений в 20 раз больше, чем у Pro стал возможен благодаря партнерству с OpenAI, Anthropic, Google и xAI. Эти компании обеспечили доступ к мощным вычислительным ресурсам.

Параллельно обновлен Pro-тариф: теперь он предлагает неограниченное использование с ограничениями по скорости, а лимиты на вызовы инструментов полностью сняты. Сохранение прежнего лимита в 500 запросов в день можно выбрать вручную.
cursor.com

✔️ Groq появился в Hugging Face Hub как поставщик инференса.

Groq стал доступен для запуска моделей на Hugging Face Hub, платформа добавила компанию в число своих поставщиков вычислений. Groq предлагает рекордно низкие задержки благодаря собственным процессорам обработки языка, которые заменяют традиционные GPU. Поддерживаемые модели включают свежие открытые версии Llama 4 и Qwen QWQ-32B, полный список можно посмотреть тут.

Интеграция работает через веб-интерфейс и клиентский SDK, а оплата возможна двумя способами: через API-ключ Groq или через Hugging Face без наценок. Для бесплатных аккаунтов доступен ограниченный объем инференса, а PRO-пользователи получают $2 ежемесячного кредита.
huggingface.co

✔️ Reddit запустил рекламные инструмента на основе ИИ.

Основной фишкой стал «Reddit Insights powered by Community Intelligence», он в реальном времени отслеживает тренды и помогает тестирует идеи для кампаний. Еще один инструмент, «Conversation Summary Add-ons», позволяет брендам добавлять под рекламу позитивные комментарии пользователей о продукте.

Reddit, похоже, угадывает с трендом: автоматизация и аналитика становятся ключевыми в условиях жесткой конкуренции за внимание.
reuters.com

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

⚡️ OpenAI добавила MCP в ChatGPT.

Теперь пользователи могут добавлять сторонние коннекторы и управлять ими непосредственно через интерфейс чат-бота. Новая функция поддерживает OAuth, что позволяет разработчикам проверять подлинность внешних приложений и упрощать обмен данными с ChatGPT.

К новой возможности OpenAI опубликовала техническую документацию по этой функции, сообщив, что разработчики могут немедленно приступить к созданию коннекторов для интеграции.

@data_analysis_ml

Читать полностью…

⚡️Пошаговый план: как стать инженером машинного обучения в 2025

Хотите войти в одну из самых востребованных и высокооплачиваемых IT-профессий, но кажется, что ML — это сложно и требует только высшего образования?

Приглашаем на бесплатный вебинар, где развеем мифы и покажем реальный путь с нуля до конкурентоспособного ML-инженера!

Спикер вебинара: Савелий Батурин, Senior ML-Engineer в Postgres Professional, а также преподаватель нашего курса-симулятора «Инженер машинного обучения».

На вебинаре вы узнаете:
🟠Чем на самом деле занимается ML-инженер и почему это перспективно.
🟠Почему не нужно быть гением математики, чтобы начать.
🟠Какие ошибки совершают новички и как их избежать.
🟠Четкий роадмап обучения: от основ до продвинутых тем.
🟠Пример реального кейса — как выглядит работа ML-специалиста.

Бонусы для участников: готовый роадмап обучения.

🕗 Встречаемся 17 июня в 18:30 по МСК

😶Зарегистрироваться на бесплатный вебинар

Читать полностью…

🎨 miniDiffusion — Stable Diffusion 3.5 на минималках (и на PyTorch)

miniDiffusion — это предельно упрощённая реализация Stable Diffusion 3.5, написанная с нуля на чистом PyTorch, всего в ~2800 строках кода.

Проект создан для тех, кто хочет разобраться, как работает генерация изображений, без лишней магии и зависимостей.

🧠 Что внутри:
• Полная модель от VAE до DiT, включая тренировочные скрипты
• Поддержка T5 и CLIP энкодеров
• Euler scheduler для решения ODE потока шума
• Расчёт метрики FID встроен

📁 Основные файлы:
- dit.py — архитектура DiT
- dit_components.py — эмбеддинги, нормализация, вспомогательные блоки
- attention.py — совместное внимание (Joint Attention)
- noise.py — планировщик шума
- t5_encoder.py, clip.py — текстовые энкодеры
- tokenizer.py — токенизация
- metrics.py — Fréchet Inception Distance
- common.py, common_ds.py — функции и датасет для обучения

📦 Структура:
- model/ — чекпоинты и логи
- encoders/ — предобученные модули (VAE, CLIP и др.)

🛠 Подходит для:
• обучения и экспериментов
• хакинга архитектур
• кастомной тренировки без головной боли

🚀 Если хотите понять, как собрать Stable Diffusion 3.5 "на коленке" — miniDiffusion создан именно для этого.

Читать полностью…

🧩 GenAIScript — библиотека для программирования промптов и работы с LLM. Проект предлагает необычный подход: вместо написания статичных текстовых запросов, вы конструируете их программно, используя JavaScript.

Скрипты поддерживают работу с файлами, валидацию данных через схемы и интеграцию с внешними API. Инструмент имеет встроенную поддержку различных провайдеров (OpenAI, Anthropic, GitHub Copilot) и возможность запуска локальных моделей через Ollama.

🤖 GitHub

@data_analysis_ml

Читать полностью…

📌Реверс-инженерия GPT-2 методом трассировки цепей Cross-Layer Transcoders.

Goodfire AI, вдохновившись примером Anthropic в интерпретации внутренних процессов Claude, воспроизвели методы трассировки цепей межслойных транскодеров (Cross-Layer Transcoders, CLT) на GPT-2 Small, чтобы проверить их способность раскрывать известные механизмы трансформеров.

Выбор на GPT-2 Small пал не случайно, эта модель небольшая и уже была ранее подвергнута ручному реверс-инжинирингу.

Cross-Layer Transcoders выжимают из модели разреженные признаки, которые объясняют работу MLP-слоев. Визуализируют это через графы атрибуции — это карты влияния признака на выход модели.

Натренировали на 100M токенов из FineWeb, получили ~590K признаков. Точность CLT-реплики модели составила 59%, что близко к оригинальным статьям. Тестировали на задаче сравнения чисел («больше, чем»), идеальном полигоне, где уже известны ключевые механизмы.

Задача "Больше, чем" (ориг. "greater-than") взята из статьи Michael Hanna, она заставляет предсказывать большие числа для второго года в диапазоне дат.

▶️ Главный эксперимент:

Промпт «The war lasted from the year 1711 to 17». CLT построил граф, где признаки с токена «11» (последняя цифра года) активнее всего влияли на предсказание.

Дальше, выделили топ-160 признаков, для каждого построили логит-атрибуции — теплокарты, показывающие, как признак влияет на выходные годы (ZZ) при разных входных (YY).

▶️ Что нашли:

🟢Признаки «больше, чем»: Feature 425104 (слой 8) активируется на больших числах в хронологии (даты, войны). Но его теплокарта продвигает выходы >60, независимо от входа, а вот Feature 461858 работает только для YY=6–14 и продвигает ZZ=10–30.

Похоже, CLT подсветил кучу узкоспециализированных «сравнивателей», а не универсальные нейроны, как в ручных исследованиях.

🟢Сюрпризы: Feature 399423 — вообще не про числа. Он кодирует четность и контраст: активируется на «and» в «pros and cons», а в задаче продвигает четные ZZ при нечетных YY. Абстракция уровня «противоположность» — такого в прошлых работах не видели.

🟢Странности: Feature 402486 вообще саботирует задачу: продвигает малые числа. Или Feature 349410 — работает только для YY=11, хотя ее max-активации показывают числа до 30.

▶️ Выводы:

CLT автоматически находит интерпретируемые признаки, даже такие неочевидные, как абстрактная четность. Но их «разреженный» мир выглядит иначе, чем ручная трассировка цепей: тут больше узких признаков-«спецов» (Feature 461858 для диапазона 10–30) и меньше универсальных механизмов.

Возможно, дело в методе: CLT смотрит изолированные вклады фич, а в полной модели они взаимодействуют.

В общем, эксперименты с CLT показал, что под капотом языковых моделей не только четкие «сравниватели чисел», но и куча скрытых паттернов вроде детекторов контраста или любителей чисел, кратных 5. И да, полуавтономный анализ иногда видит то, что люди упускают.

🔜 Читать полную статью


@ai_machinelearning_big_data

#AI #ML #LLM #Research #CLT

Читать полностью…

🔥 Успех в IT = скорость + знания + окружение

Здесь ты найдёшь всё это — коротко, по делу и без воды.
Пока другие ищут, где “подглядеть решение”, ты уже используешь самые свежие инструменты!

AI: t.me/ai_machinelearning_big_data
Python: t.me/python_job_interview
Linux: t.me/linuxacademiya
Собеседования DS: t.me/machinelearning_interview
C++ t.me/cpluspluc
Docker: t.me/DevopsDocker
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/machinelearning_ru
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg
Физика: t.me/fizmat

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Подпишись, если хочешь быть в числе тех, кого зовут в топовые проекты!

Читать полностью…

🧠 Text-to-LoRA — адаптеры LoRA по описанию задачи на естественном языке

Text-to-LoRA (T2L) — это гиперсеть, которая генерирует адаптер LoRA для LLM,
исходя только из текстового описания задачи. Без данных. Без обучения. Просто промпт → LoRA.

💡 Как работает:
▪️ Метаобученная гиперсеть принимает описание задачи
▪️ Генерирует task-specific LoRA в один шаг
▪️ Поддерживает сотни известных LoRA
▪️ Может обобщать на новые задачи

🚀 Почему это важно:
Традиционно адаптация LLM требует:
- большого датасета
- тонкой настройки
- вычислительных затрат

Text-to-LoRA делает то же самое в один шаг, просто по тексту. Это снижает технический порог и делает настройку доступной даже без ML-экспертизы.

🧬 Вдохновлено биологией:
Как зрение человека адаптируется к свету без обучения,
так и LLM может адаптироваться к задаче по описанию — через T2L.

📌 Новый шаг к адаптивным и доступным языковым системам.

📍 Представлено на #ICML2025

📄 Paper: https://arxiv.org/abs/2506.06105
💻 Code: https://github.com/SakanaAI/Text-to-Lora

@data_analysis_ml

Читать полностью…

🔥 Manus Chat Mode — бесплатно и без ограничений для всех.

💬 Работает супер быстро прямо в чате.

🚀 Так же доступен Agent Mode с расширенными возможностями.

От простых вопросов до сложных задач — всё в одном окне : https://manus.im/

@ai_machinelearning_big_data

#news #ai #ml #manus

Читать полностью…

🚀 NVIDIA представила гигантский синтетический датасет для беспилотных автомобилей!

🔥 Что внутри?
▪ 81,802 синтетических видео с разнообразными сценариями:
— Городские/шоссейные дороги
— Экстремальные погодные условия (дождь, снег, туман)
— Редкие ситуации (аварии, нестандартные ПДД)

Мультисенсорные данные:
— Камеры, лидары, радары
— Разметка объектов (пешеходы, машины, знаки)

▪Dataset: https://huggingface.co/datasets/nvidia/PhysicalAI-Autonomous-Vehicle-Cosmos-Drive-Dreams
▪ Project Page: https://research.nvidia.com/labs/toronto-ai/cosmos_drive_dreams/

@data_analysis_ml

Читать полностью…

🧠 Cartridges: как ускорить LLM в 26 раз без потери качества

Что, если вместо того, чтобы каждый раз загонять в контекст LLM весь репозиторий, мы предварительно обучим мини-контекст — и будем просто вставлять его при генерации?

🔍 Это и есть идея Cartridges — небольшой KV-кэш, обученный заранее с помощью метода self-study (обучение во время инференса).

📦 Репозиторий: содержит код для тренировки "картриджа" — легкого представления большого текстового дампа (например, всей кодовой базы), которое вставляется в LLM как контекст.

📉 Проблема:
• Если вставлять много текста в LLM, KV-кэш раздувается, скорость падает, стоимость растёт

🚀 Решение:
• Обучаем маленький KV-кэш для документации или репо
• Используем его как "сжатый контекст" при генерации

📈 Результаты:
• До 26× ускорения
• Качество ответов сохраняется
• Простая реализация и универсальный подход

📖 Подробнее в статье: *Cartridges: Lightweight and general-purpose long context representations via self-study*

git clone https://github.com/HazyResearch/cartridges && cd cartridges
pip install uv
uv pip install -e .

📎 Идея простая, но мощная: пусть LLM "запоминает" ваш проект заранее — и работает с ним быстро, как с привычным знанием.

▪ Github

Читать полностью…

🎉 Apple на WWDC 2025: обновления для разработчиков и новый дизайн

📦 Что нового:

• On-device AI для всех
Apple открывает доступ к своим LLM-моделям прямо на устройствах. Теперь разработчики могут использовать Apple Intelligence в своих приложениях — без интернета и с полной защитой приватности.

• Xcode 26 + ChatGPT
Новая версия Xcode умеет генерировать код, помогать с тестами и исправлять баги с помощью встроенной интеграции ChatGPT и других LLM.

• Liquid Glass — новый дизайн Apple
Полупрозрачные и живые элементы интерфейса приходят во все системы: iOS 26, macOS Tahoe, iPadOS, watchOS, visionOS. Всё выглядит как будущее.

• Icon Composer для дизайнеров
Создавайте адаптивные иконки с эффектами бликов, размытием и прозрачностью. Никаких ручных svg больше не нужно.

• 250 000+ API и новые фреймворки
Улучшения в SwiftUI, Metal, RealityKit и множестве других SDK. Новые API для AI, AR, visionOS и работы с пространственными интерфейсами.

🧪 Бета уже доступна для участников Apple Developer Program.
Публичная бета — в июле. Финальный релиз — осенью.

💡 Это шаг в сторону мощных оффлайн-приложений с AI, нового визуального языка и реального удобства разработки.

https://www.apple.com/newsroom/2025/06/apple-supercharges-its-tools-and-technologies-for-developers/

@data_analysis_ml

Читать полностью…