✔️ Новое исследование Anthropic: Отслеживание размышлений большой языковой модели.

Исследователи практически под «микроскопом», исследуют, что происходит внутри ИИ моделей, и используют его для понимания внутренних механизмов Клода (часто сложных и удивительных).

Модели ИИ обучаются, а не программируются напрямую, поэтому мы не понимаем, как они делают большинство вещей, которые они делают.

Новые методы интерпретации позволяют Anthropic проследить этапы «мышления» LLM.

Авторы описывают десять тематических исследований, каждое из которых иллюстрирует один из аспектов «биологии ИИ».

https://transformer-circuits.pub/2025/attribution-graphs/biology.html

Читать полностью…

✔️ СuML от NVIDIA: Scikit-learn на скорости GPU – без единой строчки нового кода!

Все мы любим scikit-learn за его простоту и мощь. Но что если ваши модели обучаются слишком долго на больших данных? 🤔 NVIDIA предлагает решение!

Вы берете свой обычный скрипт cо scikit-learn, добавляете всего две строки в начало, и он начинает работать в 10, 50, а то и 100+ раз быстрее на NVIDIA GPU! 🔥

✨ Как это работает?

Библиотека cuml от NVIDIA содержит супероптимизированные для GPU версии многих алгоритмов машинного обучения. С помощью простого вызова cuml.patch.apply() вы "патчите" установленный у вас scikit-learn прямо в памяти.

Теперь, когда вы вызываете, например, KNeighborsClassifier или PCA из sklearn:

▶️Патч проверяет, есть ли у вас GPU NVIDIA.
▶️Проверяет, есть ли в cuml быстрая GPU-версия этого алгоритма.
▶️Если да – запускает ускоренную версию на GPU! 🏎️
▶️Если нет (нет GPU или алгоритм не поддерживается) – спокойно запускает обычную CPU-версию scikit-learn.

Ключевые преимущества:

✔️ Нулевые изменения кода: Ваш scikit-learn код остается прежним. Добавляете только 2 строчки:
import cuml.patch и cuml.patch.apply().
✔️ Колоссальное ускорение: Получите прирост производительности на порядки для поддерживаемых алгоритмов (KNN, PCA, линейные модели, Random Forest (инференс), UMAP, DBSCAN, KMeans и др.) за счет мощи GPU.
✔️Автоматическое переключение между GPU и CPU. Ваш скрипт будет работать в любом случае.

Топ инструмент для всех, кто работает с scikit-learn на задачах, требующих значительных вычислений, и у кого есть GPU от NVIDIA.

👇 Как использовать:

Установите RAPIDS cuml (лучше через conda, см. сайт RAPIDS):

python 
conda install -c rapidsai -c conda-forge -c nvidia cuml rapids-build-backend

Добавьте в начало скрипта:

import cuml.patch
cuml.patch.apply()

Используйте scikit-learn как обычно!

Попробуйте и почувствуйте разницу! 😉

▪Блог-пост
▪Colab
▪Github
▪Ускоряем Pandas

#python #datascience #machinelearning #scikitlearn #rapids #cuml #gpu #nvidia #ускорение #машинноеобучение #анализданных

Читать полностью…

Яндекс открывает новый сезон Тренировок по ML

Смотрите лекции, решайте задачи, поднимайтесь в рейтинге. В третьем сезоне Тренировки по ML сосредоточатся на теме Computer Vision. Вас ждут 4 темы с контестами по 10 задач. Вы изучите не только классические методы компьютерного зрения, но и генеративные модели, локальные дескрипторы изображений, детекцию, сегментацию, контрастное предобучение и многое другое.

Лучшие участники получат сертификат о прохождении Тренировок (нужно решить 20 из 40 задач), возможность пройти пробное техническое собеседование в Яндекс, проходку на топовый гик-фест о старте карьеры в IT Young Con и не только.

Участники, которые хорошо себя проявят, получат возможность пройти ускоренный отбор на стажировку или сразу в штат компании.

Подать заявку на Тренировки можно здесь.

Читать полностью…

🔥 LayerAnimate — метод, позволяющий управлять отдельными слоями видео, меняя элементы переднего и заднего плана.

В отличие от существующих методов, которые рассматривают анимацию как единое целое, LayerAnimate предоставляет точечный контроль над каждым слоем, что делает процесс генераций более гибким и управляемым.

❓ Как это работает?
LayerAnimate решает проблему ограниченности данных, с помощью конвейера обработки данных, включающего:

🟢Автоматизированную сегментацию элементов для разделения анимации на слои.

🟢Иерархическое слияние состояний движения для упрощения управления кадрами сцены.

🟢Улучшение согласованности движения для создания плавных и реалистичных анимаций.

Модель позволяет переключаться между различными статическими изображениями или динамическими видео без влияния на анимацию переднего плана.

Особенно интересно выглядит image-video с использованием скетча, вместо текстового описания с данными о движении, можно использовать набросок с траекторией движения сцены и получить готовую сцену.

Мастхэв для тех, кто работает с анимацией. Больше примеров можно посмотреть здесь.

🟡Github
🟡Статья
🟡Проект

@ai_machinelearning_big_data

#videogenerator #video #ai #ml #opensource

Читать полностью…

💬 OPEN AI добавили API 3 новых SOTA аудио-модели.

🗣️ Две модели преобразования речи в текст, которые, как заявляют разработчики, превосходят Whisper.

💬 1 Новая модель TTS - которой можно указать *как* ей говорить.
Поддерживает функцию задания интонации, тона, тембра голоса и еще множества других параметров с помощью промпта.

🤖 Еще OpenAi выпустили Agents SDK, который для создания голосовых агентов.

Через час состоится стрим, где покажут примера создания голосовых агентов с новыми аудиомоделями.

📌 Потестить можно здесь: https://www.openai.fm/

@data_analysis_ml

Читать полностью…

🌟 MM-EUREKA: Мультимодальный ризонинг.

MM-Eureka — разработка Шанхайской лаборатории ИИ, которая совершила шаг вперед в решении задач, требующих анализа изображений и текста. В отличие от рядовых VLM, эта модель сочетает RL с мультимодальным мышлением, имитируя человеческую способность, схожую с «моментами озарения». Авторы заявляют, что MM-Eureka не только обладает повышенной точностью ответов, но и учится перепроверять визуальные данные с помошью рассуждений.

MM-Eureka суперэффективна: даже при обучении на 0,05% данных от аналогов, модель превзошла их в тестах на математическую логику и анализ графиков. Например, в задачах уровня школьной программы она показала рост точности на 8,2%. При этом тестовая модель, не имея явных инструкций, научилась «переосмысливать» изображения — заново оценивать геометрические схемы для поиска ошибок.

В основе MM-Eureka - модели InternVL2.5 с параметрами 8 и 38 млрд. Архитектура объединяет механизмы внимания для анализа визуальных паттернов и языковые слои для генерации ответов.

Обучение строилось на алгоритме RLOO (REINFORCE Leave-One-Out), который снижает шум в оценках преимуществ, и PPO-clip, предотвращающем резкие изменения политики. Авторы отказались от ограничений KL-дивергенции, чтобы не сдерживать «творческий» поиск решений. Функция вознаграждения включала проверку точности ответов через Math-Verify и соблюдение структуры вывода, чтобы усилить логическую строгость.

▶️В релиз вошли 2 модели, датасет и код для самостоятельных изысканий в обучении:

🟢MM-Eureka-8B
🟢MM-Eureka-Zero-38B
🟠MM-Eureka-Dataset


📌Лицензирование: Apache 2.0 License.


🟡Набор моделей
🟡Техотчет
🟡Датасет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Reasoning #MMEUREKA

Читать полностью…

📌Опенсорс-модели T-Lite и T-Pro: процесс обучения моделей от подготовки данных до финальных экспериментов.

В открытом доступе представлено ограниченное количество LLM. Как правило, крупные игроки публикуют модели с ограничивающими лицензиями или выкладывают легкие версии своих флагманских разработок. В этих условиях русскоязычные модели T-Lite и T-Pro (на 7 млрд. и 32 млрд. параметров соответственно) от Т-Банка поддерживают все опенсорс-сообщество. Компания выложила эти LLM с открытой лицензией в конце 2024 года.

При обучении этих моделей использовался гибридный подход Continual Pretraining, который сочетает элементы Pre-Training и Post-Training. При этом вместо обучения с нуля за основу была взята сильная открытая модель — Qwen2.5. Это позволило значительно снизить затраты и ускорить сам процесс обучения, сохранив преимущества глубокой адаптации.

Процесс обучения LLM можно условно разделить на шесть стадий:
выбор оптимальной базовой модели, опциональный этап по расширению токенизатора, continual pretraining stage 1, continual pretraining stage 2 с добавлением инструктивных данных, SFT и DPO.

Основной идеей остается дообучение сильных открытых моделей, что приводит к меньшим затратам ресурсов на обучение по сравнению с созданием моделей лидерами индустрии.

Какую именно открытую модель необходимо выбрать, как происходит дообучение, почему важны кодовые датасеты и связь с навыками рассуждения подробно рассказывается в статье от MLE по разработке фундаментальных моделей.

🟡Статья

@ai_machinelearning_big_data

#AI #ML #LLM

Читать полностью…

📌Awesome CursorRules: репозиторий с рецептами Cursor AI.

Awesome CursorRules — коллекция файлов-рецептов .cursorrules для тонкой настройки поведения Cursor AI. Автор репозитория собрал десятки шаблонов, адаптирующих генерацию кода под конкретные проекты: от мобильных приложений до блокчейн-решений.

Главная «фишка» .cursorrules — гибкость. Разработчики могут прописать правила, которые сделают подсказки ИИ более релевантными: например, учесть стиль кода команды или архитектурные особенности проекта. Это не только ускоряет работу, но и снижает риск ошибок.

Коллекция включает практически все сферы разработки: фронтенд (Angular, NextJS, Qwik, React, Solid, Svelte, Vue), бэкенд (Deno, Elixir, ES, Go, Java, Lavarel, NodeJS, Python, TypeScript, WordPress), мобильную разработку (React Native, SwiftUI, TypeScript, Android, Flutter) и специфические задачи — интеграцию с Kubernetes или оптимизацию под SOLID-принципы.

Для новичков есть пошаговые инструкции: достаточно скопировать файл в проект или установить расширение для VS Code.

Судя по отзывам, Awesome CursorRules уже стал мастхэв для тех, кто хочет выжать максимум из Cursor AI.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Github #Awesome #CursorAI

Читать полностью…

✔️ Gemma 3 — свежий релиз, который значительно расширяет возможности открытых моделей и упрощает их развёртывание:

🟢 27B модель: Достигла рейтинга ELO 1338 и при этом умещается на одном H100.
🟢 Поддержка vision: Теперь модель способна обрабатывать смешанный контент, включая изображения, видео и текст.
🟢Доступны версии на 1В, 4В, 12В, 27В в базовых и instruct версиях
🟢 Расширенное окно контекста: Модель может работать с контекстом до 128k токенов
🟢 Широкая языковая поддержка: Поддерживается 140 языков
🟢 Встроенные возможности для реализации агентных сценариев и интеграции с внешними инструментами.

Попробуйте модель по ссылке: Gemma 3 27B.

🟡Пост: https://blog.google/technology/developers/gemma-3/

🟡Попробовать: aistudio.google.com/prompts/new_chat?model=gemma3-27b

🟡Tech report: https://storage.googleapis.com/deepmind-media/gemma/Gemma3Report.pdf

🟡Видео https://youtube.com/watch?v=UU13FN2Xpyw

🟡HF: https://huggingface.co/blog/gemma3

@ai_machinelearning_big_data

#gemma #ai #ml #release #google #

Читать полностью…

🧠 Тест на знание MLOps: https://otus.pw/ycCf/?erid=2W5zFGMG5Lk  
❓ Под силу ли вам ответить правильно на все 15 вопросов?
🎯 Проверьте себя — пройдите тест и оцените свой уровень навыков, а также свою готовность к обучению на курсе — «MLOps» от OTUS.
🎥 После прохождения теста вы получите доступ к лучшим вебинарам курса!
⏳ Время прохождения теста ограничено.

#реклама
О рекламодателе

Читать полностью…

✔️ В сеть утекли спецификации RTX 5060 Ti и 5050.

NVIDIA RTX 5060 Ti будет использовать чип GB206-300, иметь 4608 ядер CUDA, две конфигурации GDDR7 объемом 8 ГБ и 16 ГБ, использовать 128 бит и энергопотребление в 180 Вт.

RTX 5050 построена на чипе GB207-300 с 2560 ядрами CUDA, 8 ГБ видеопамяти GDDR6, 128-битную разрядность и энергопотреблением 130 Вт. Обе видеокарты используют конструкцию печатной платы PG152.

По слухам, RTX 5060 Ti и RTX 5050 выйдут в апреле-мае, а RTX 5050 должна составить конкуренцию Intel Battlemage Arc B580.
videocardz.com

✔️ Квантовый интернет стал немного ближе к реальности.

Ученые при момощи ИИ обнаружили более простой способ формирования квантовой запутанности между субатомными частицами. Это открытие потенциально облегчит разработку квантовых коммуникационных технологий.
Исследование, опубликованное в Physical Review Letters, описывает, как разработанный ИИ-инструмент PyTheus предложил принципиально новый метод, основанный на неразличимости путей фотонов.

Это открытие упрощает процесс формирования квантовой запутанности, что в перспективе может сделать квантовые сети для безопасной передачи сообщений более осуществимыми. Хотя практическое масштабирование технологии еще предстоит оценить, исследование убедительно демонстрирует потенциал AI как инструмента для научных открытий в физике.
space.com

✔️ Similarweb: ChatGPT посещают почти 4 миллиарда человек в месяц, но рост замедляется.

Февраль 2025 года стал для ChatGPT рекордным по числу посетителей – 3,905 миллиарда, но несмотря на это, месячный прирост составил скромные 1,44%, что указывает на существенное замедление динамики.

В годовом исчислении рост остается впечатляющим - 137% по сравнению с февралем 2024 года. Эти показатели позволили ChatGPT занять 5 место среди самых посещаемых десктопных веб-сайтов в мире и 7 место с учетом мобильного трафика. Даже с таким внушительным количество пользователей, ChatGPT пока не может сравниться по объемам трафика с Google.
Similarweb в X (Twitter)

✔️ Китайские университеты расширяют прием студентов по ИИ направлениям.

Несколько ведущих университетов Китая заявили о планах по увеличению набора студентов. Данная инициатива направлена на приоритетное развитие кадров в сферах, имеющих "национальное стратегическое значение", одна из них - искусственный интеллект.

Решение последовало за запуском университетских курсов по ИИ, основанных на разработках стартапа DeepSeek, чьи успехи сравнивают со "спутником" в технологическом прорыве. Peking University добавит 150 мест в 2025 году, Renmin University - более 100, Shanghai Jiao Tong University также увеличит прием на 150 мест в специализациях по ИИ и новых технологиях. Эти меры тесно связаны со стремлением КНР стать "мощной образовательной державой".
reuters.com

✔️ Sony Music ведет масштабную борьбу с дипфейками.

Компания Sony Music отчиталась о удалении более 75 тысяч сгенерированных искусственным интеллектом материалов, в основном это подделки записей известных исполнителей. Этот объем выявленных фейков, по мнению музыкальных руководителей, является лишь вершиной айсберга.

Sony опасается, что планируемое ослабление законодательства об авторском праве в Великобритании усугубит проблему и нанесет прямой коммерческий ущерб артистам. В своем обращении к правительству Великобритании компания подчеркнула, что существующая система лицензирования интеллектуальной собственности для обучения ИИ является предпочтительной и ведет с рядом компаний переговоры.
ft.com

✔️ У китайцев вышел новый DeepSeek — супернейросеть Kimi k1.5, которая теперь доступна для всех (если у вас есть аккаунт Google).
• По бенчмаркам AIME и MATH 500 она с лёгкостью обходит OpenAI o1, предлагая сразу возможности поиска и «глубокого размышления».
•Можно загрузить до 50 файлов, а контекстное окно на 200 тысяч токенов способно обработать огромный объём данных, выдавая подробный ответ или краткий вывод.
kimi.ai

✔️ANUS (Autonomous Networked Utility System) — опенсорсную версию популярного Manus, который клонировал самого себя

GItHub

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

🌟 Distill-Any-Depth: метод оценки глубины сцены по одному изображению.

Distill-Any-Depth - метод обучения моделей монокулярной оценки глубины, который сочетает кросс-контекстную дистилляцию и мульти-учительский подход для точного определения расстояния до объектов на RGB-изображении. Он предназначен для обучения моделей (например, DPT, MiDaS или DepthAnythingv2), которые учатся на псевдо-метках, сгенерированных учительскими моделями (Genpercept, DepthAnythingv2).

Метод не просто улучшает существующие алгоритмы, но и задает новый стандарт в области определения глубины. Методика может применяться в сфере автономного транспорта и AR-решений. Она может ускорить создание точных 3D-карт для навигации и улучшить реалистичность виртуальных миров за счет детализированного анализа пространства. При этом, обучение CV-моделей с Distill-Any-Depth довольно энергоэффективно — достаточно одной NVIDIA V100.

Основа Distill-Any-Depth - кросс-контекстная дистилляция, объединяющая 2 сценария:

🟠Shared-Context Distillation — модель-учитель и модель-ученик обучаются на одинаковых фрагментах изображения.

🟠Local-Global Distillation — модель-учитель анализирует локальные фрагменты, а модель-ученик предсказывает глубину для всего изображения, отвечая за глобальную согласованность сцены.

Экспериментальная модель обучалась на 50 тыс. изображений из SA-1B с разрешением 560×560. Использовались псевдо-метки от Genpercept (диффузионная модель) и DepthAnythingv2 (DINOv2). В рамках мульти-учительского подхода на каждой итерации случайно выбирался один учитель.

На тестах DIODE и ETH3D метод сократил значение AbsRel на 9.6–20% по сравнению с базовой дистилляцией. Например, при обучении модели-ученика DPT с учителями Genpercept и DepthAnythingv2 AbsRel на ETH3D составил 0.065 против 0.096 у Genpercept.

На бенчмарках NYUv2, KITTI, ScanNet модель достигла SOTA: AbsRel 0.043 (NYUv2), 0.070 (KITTI), 0.042 (ScanNet). В сравнении с DepthAnything v2 (AbsRel: 0.045 на NYUv2) и Marigold (0.055) Distill-Any-Depth показал более высокую детализацию и точность относительной глубины.

▶️В открытом доступе 3 модели, обученные с Distill-Any-Depth:

🟢Distill-Any-Depth-Multi-Teacher-Small - 24.8М параметров

🟢Distill-Any-Depth-Multi-Teacher-Base - 95.5М параметров

🟢Distill-Any-Depth-Multi-Teacher-Large - 335.3М параметров


▶️Локальная установка и инференс в Gradio:

# Create Conda env 
conda create -n distill-any-depth -y python=3.10
conda activate distill-any-depth

# Clone Repo
git clone https://github.com/rmurai0610/MASt3R-SLAM.git --recursive
cd MASt3R-SLAM/

# Install dependencies
pip install -r requirements.txt
pip install -e .

# If use hf_hub_download, you can use the following code
checkpoint_path = hf_hub_download(repo_id=f"xingyang1/Distill-Any-Depth", filename=f"large/model.safetensors", repo_type="model")

# Launch Gradio demo 
python app.py

📌Лицензирование: MIT License.


🟡Страница проекта
🟡Arxiv
🟡Набор моделей
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Depth #DIstillAnyDepth

Читать полностью…

📌LADDER: как научить LLM решать сложные задачи без учителя.

Tufa Labs опубликовала пейпер фреймворка LADDER, который дает возможность языковым моделям самостоятельно улучшать навыки решения сложных задач.

Технология имитирует человеческое обучение: ИИ разбивает проблемы на простые шаги, создаёт «учебный план» из упрощённых вариантов и постепенно наращивает мастерство решения. Например, модель Llama 3.2 с 3 млрд. параметров, изначально решавшая лишь 1% интегралов студенческого уровня, после обучения по методу LADDER достигла 82% точности.

Самые интересные результаты LADDER показал на тесте MIT Integration Bee — ежегодном соревновании по интегральному исчислению. На нем модель Qwen2.5 (7B), доработанная с помощью LADDER, набрала 73%, обойдя GPT-4o (42%) и большинство студентов, а с применением TTRL — результат вырос до 90%. Это превзошло даже показатели OpenAI o1, хотя последний не использовал числовую проверку решений.

TTRL (Test-Time Reinforcement Learning) — это метод «микрообучения», который позволяет языковым моделям адаптироваться к сложным задачам прямо во время их решения.

В основе LADDER - принцип рекурсивной декомпозиции: модель разбивает непосильную задачу на цепочку постепенно усложняющихся шагов, создавая собственную «учебную программу». Столкнувшись со сложным интегралом, ИИ генерирует его упрощённые версии — снижает степень полинома, убирает дробные коэффициенты или заменяет составные функции базовыми. Каждый такой вариант становится ступенью, ведущей к решению целевой задачи.

Работа фреймворка делится на три этапа:

Первый — генерация «дерева вариантов»: модель создаёт десятки модификаций задачи, ранжируя их по сложности.

Второй — верификация: каждое решение проверяется численными методами (например, сравнение значений интеграла в ключевых точках).

Третий — обучение с подкреплением: система поощряет успешные стратегии, используя баллы за правильные ответы и штрафуя за ошибки.

Дополняющее применение TTRL позволяет проводить «экспресс-тренировки» прямо во время теста: ИИ генерирует варианты конкретной задачи и адаптируется к ней за секунды, не требуя вмешательства человека.


🟡Arxiv

@ai_machinelearning_big_data

#AI #ML #RL #LADDER #Paper

Читать полностью…

✅ Подборка полезных ИИ- каналов для обучения

🎓 1) Andrej Karpathy
Глубокие, но доступные лекции по глубокому обучению, языковым моделям и введению в нейронные сети.
Ссылка: https://www.youtube.com/c/AndrejKarpathy

📊 2) 3Blue1Brown
Потрясающие визуализации, которые делают абстрактные математические концепции понятными и интуитивными.
Ссылка: https://www.youtube.com/c/3blue1brown

🎙️ 3) Lex Fridman
Глубокие беседы с лидерами индустрии ИИ, позволяющие получить широкий взгляд на современные тенденции.
Ссылка: https://www.youtube.com/c/LexFridman

🤖 4) Machine Learning Street Talk
Технические погружения и обсуждения с ведущими исследователями в области ИИ и машинного обучения.
Ссылка: https://www.youtube.com/c/MachineLearningStreetTalk

💼 5) Uproger
Множество полных кусрсов, уроков с уклоном на практику
uproger" rel="nofollow">https://www.youtube.com/@uproger

🍉 6) Serrano Academy (Luis Serrano)
Ясный и доступный контент о машинном обучении, глубоких нейронных сетях и последних достижениях в ИИ.
Ссылка: https://www.youtube.com/c/LuisSerrano

💻 7) Jeremy Howard
Практические курсы по глубокому обучению и обучающие видео по созданию AI-приложений, основанные на опыте Fast.ai.
Ссылка: https://www.youtube.com/c/Fastai

🛠️ 8) Hamel Husain
Практические уроки по работе с языковыми моделями (LLMs), RAG, тонкой настройке моделей и оценке ИИ.
Ссылка: https://www.youtube.com/c/HamelHusain

🚀 9) Jason Liu
Экспертные лекции по RAG и советы по фрилансу в области ИИ для специалистов по машинному обучению.
Ссылка: https://www.youtube.com/c/JasonLiu

⚙️ 10) Dave Ebbelaar
Практические руководства по созданию ИИ-систем и применению технологий в реальных проектах.
Ссылка: https://www.youtube.com/c/DaveEbbelaar

📚 11) StatQuest with Joshua Starmer PhD
Доступные и понятные объяснения основ машинного обучения и статистики для начинающих.
Ссылка: https://www.youtube.com/c/statquest

Эти каналы предлагают разнообразный и качественный контент для всех, кто хочет углубиться в изучение искусственного интеллекта. Независимо от вашего уровня подготовки, здесь каждый найдёт что-то полезное для себя!

@data_analysis_ml

Читать полностью…

🎁 РАЗЫГРЫВАЕМ MacBook Air!

Авторский канал о ИИ и машинном обучении Machine Learning, а также канал о будущем и технологиях Droider, объединились для крутого конкурса!

На кону – 13-дюймовый MacBook Air на чипе M3!

Условия участия максимально простые:

🔸Подписаться на телеграм-канал Machine Learning
🔸Подписаться на телеграм-канал Droider
🔸Нажать кнопку "Участвовать" ниже.

ВСЁ! Вы участник!

Итоги подведём 29 марта. Доставка приза осуществляется только на территории РФ.

Всем удачи!

Читать полностью…

🖥 OpenAI открывает бесплатное обучение по работе с нейросетями

OpenAI запустила "Академию OpenAI", которая претендует на роль главного учебника по работе с ИИ.

Платформа поможет освоить нейросети на практике, понять их возможности и научиться эффективно использовать ChatGPT и Sora в повседневной жизни и работе.

▪ Обширная база обучающих материалов доступна на отдельном сайте.
▪Live-трансляции и офлайн-мероприятия помогут глубже разобраться в технологиях.
▪ Бесплатный доступ — OpenAI стремится расширить аудиторию, а не ограничивать её ценником.

Программа рассчитана на широкий круг слушателей — от технических специалистов до политиков, представителей бизнеса и академического сообщества.

🪦 RIP платные курсы по нейросетям.

@ai_machinelearning_big_data


📌 Записаться

#ai #freecourses #openai #ml

Читать полностью…

✔️А что там OPENAI?

На стриме показали редактор изображений для ChatGPT.

Основные особенности:
🟢ChatGPT поддерживает генерацию видео через Sora.

🟢Улучшенная генерация текста. Разработчики значительно повысили качество генераций текстовых элементов, теперь они получаются читаемыми и почти без ошибок.​

🟢Модель показывает высокий уровень реализма, генератор может создавать изображения с точной передачей деталей, которые вы задаете в промпте.

🟢ИИ хорошо следует инструкциям. Вы можете попросить его изменить небольшие части изображения и Chatgpt пришлет картинку с запрошенными вами изменениям

🟢Поддержка прозрачного фона. Пользователи могут создавать изображения с прозрачным фоном, что особенно полезно для создания стикеров, логотипов и других графических элементов.​

Внутри генератор мемов, комиксов и других графических материалов.


Генератор доступен даже пользователям без платной подписки.

📌 Стрим

@ai_machinelearning_big_data


#openai #imagegenerator #chatgpt

Читать полностью…

🌟 NVIDIA выкатили MambaVision на Hugging Face — мощную гибридную модель, объединяющую Mamba и Transformers для задач компьютерного зрения.

🔹 Главные особенности:
▪ SOTA-производительность: превосходит существующие модели по точности (Top-1) и скорости обработки на ImageNet-1K.
▪ Гибридная архитектура: сочетает Mamba (State Space Models, SSMs) и архитектуру трансформеров, улучшая эффективность обработки изображений.
▪ Подходит для задач классификации изображений, извлечения признаков и других задач CV.

MambaVision подойдет вам для автоматического анализа изображений, фильтрации данных и интеграции в AI-системы для компьютерного зрения.

✔️ MambaVision-L3-256-21K: https://huggingface.co/nvidia/MambaVision-L3-512-21K

#nvidia #mamba #computervision

Читать полностью…

✔️ Apple реорганизовывает подразделение ИИ.

Создатель Vision Pro, Майк Роквелл возглавит разработку Siri, перейдя под управление Крэга Федериги, главы софтверного подразделения. Джон Джаннандреа, ранее курировавший Siri, сохранит контроль над исследованиями в области ИИ, но потеряет влияние на ключевой потребительский продукт.

CEO APPLE Тим Кук очень недоволен динамикой выполнения планов ИИ. Некоторые функции, изначально запланированные на июнь 2024 года, еще не реализованы - полное обновление Siri станет возможным с выходом iOS 20 в 2027 году.
bloomberg.com

✔️ Solidigm выпускает eSSD с жидкостным охлаждением.

Solidigm представила первое в мире решение eSSD с жидкостным охлаждением для серверов — D7-PS1010 E1.S, которое открывает перспективу для будущих серверов с полностью жидкостным охлаждением. Традиционные решения прямого жидкостного охлаждения eSSD не могут адекватно охлаждать обе стороны накопителя и не поддерживают горячую замену.

Разработка Solidigm преодолевает эти ограничения, устраняя необходимость в конструкциях стоек высотой 1U и сокращая расходы на кондиционирование и охлаждение воздуха в ЦОДах. Продукт будет выпущен во второй половине этого года.
tomshardware.com

✔️ Cloudflare создала ИИ-лабиринт для борьбы с краулерами.

Cloudflare представила новый инструмент «AI Labyrinth», нацеленный усложнить жизнь автоматизированным системам, сканирующим веб-ресурсы. Вместо традиционной блокировки нежелательных запросов "Лабиринт" генерирует с помощью ИИ правдоподобные, но бессмысленные для обучения модели страницы. В результате - краулеры тратят ресурсы на сбор «мусорных» данных, не нарушая при этом репутацию сайтов или их SEO-показатели.

Новый функционал уже доступен клиентам платформы в панели управления. Эксперты отмечают, что подобные технологии могут спровоцировать «гонку вооружений» между защитниками и злоумышленниками, но Cloudflare намерена продолжать совершенствовать систему, делая её элементы незаметнее для алгоритмов.
theregister.com

✔️ Oracle запускает AI Agent Studio для автоматизации бизнес-процессов.

Oracle анонсировала AI Agent Studio — платформу для разработки, внедрения и управления ИИ-агентами в рамках облачного пакета Fusion Applications. Решение позволяет клиентам и партнерам создавать кастомных агентов, оптимизирующих бизнес-задачи: от обработки заказов до планирования ресурсов.

Студия предлагает выбор языковых моделей (включая Llama и Cohere), инструменты тестирования и встроенную безопасность, для соответствие корпоративным стандартам. Агенты могут работать как автономно, так и в командах, с контролем этапов через утверждения. Подробности — на oracle.com/applications
oracle.com

✔️ HART от MIT и NVIDIA: ускорение генерации изображений в 9 раз.

Исследователи из MIT и NVIDIA представили HART - метод, объединяющий преимущества авторегрессионных и диффузионных моделей для генерации изображений. В отличие от медленных диффузионных систем (например, DALL-E), требующих 30+ итераций для денойза, и быстрых, но неточных авторегрессионных алгоритмов, HART использует гибридную архитектуру. Авторегрессионная модель формирует общую структуру изображения, а компактная диффузионная — дорабатывает детали за 8 шагов, компенсируя потери данных через остаточные токены.

Благодаря этой гибридности, HART генерирует изображения, сопоставимые по качеству с моделями на 2 млрд. параметров, но в 9 раз быстрее и с экономией 31% ресурсов.. В будущем HART планируют адаптировать для видео, аудио и мультимодальных задач, усилив совместимость с LLM. Проект поддержаkb MIT-IBM Watson AI Lab, Amazon Science Hub и NSF.
news.mit.edu

✔️ Исходный код AlexNet опубликован в открытом доступе

AlexNet — это ии для распознавания изображений, перевернувшая мир в 2012 году.

Ее разработали Илья Суцкевер, Алекс Крижевский и лауреат Нобелевской премии Джеффри Хинтон.
По данным Google Scholar, статья об архитектуре AlexNet была процитирована свыше 170 тысяч раз, что делает её одной из самых часто цитируемых работ в истории информатики.
GitHub

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

Ранее мы обсуждали с вами RoPE, а теперь поговорим о его модификациях. Собрали много интересного, поэтому будет целых три поста по этой теме. Enjoy!

Для начала напомним, что Positional Encoding (кодирование позиций слов/токенов) нужен, чтобы передать модели или трансформеру информацию о позициях слов — относительную или же абсолютную.

Как развивалось позиционное кодирование:

📆 2017 год
С появлением ванильного трансформера позиции токенов кодировались тригонометрической функцией, значение которой зависело от позиции и просто прибавлялось к эмбеддингу соответсутвующего слова.

Плюсы — мы умеем кодировать любую позицию, в том числе превосходящую максимальную длину, на которой тренировались.

Минусы — не очень работает на длинных последовательностях, да и вообще не очень хорошо работает.

📆 2018 год
Потом появился гугловский BERT, а вместе с ним новый подход позиционного кодирования: авторы предложиди выкинуть тригонометрию и вместо этого добавить в модель ещё один обучаемый слой nn.Embedding — такой же, как для получения эмбеддингов слов. Он должен кодировать — то есть, превращать в вектор — позицию токена.

Итоговый вектор токена, который будет передан следующим слоям модели — это сумма векторов токена и его позиции. Работает лучше, чем тригонометрия, но при этом никак не экстраполируется: так как векторы выучиваемые, то для позиций, превосходящих максимальную тренировочную длину, мы кодировать не умеем — она вне ключей нашего словаря эмбеддингов, так же, как мы не можем закодировать и незнакомый модели токен.

В это же время впервые появилась идея о том, что нам важны не столько абсолютные позиции слов, сколько относительные. Авторы статьи решили кодировать не абсолютную позицию, а только относительную (Relative Position Encoding, или RPE), то есть близость каждой пары токенов. Здесь же появилась идея, что позицонное кодирование стоит добавлять не в момент создания эмбеддингов слов, а на этапе Attention, добавляя знание о позициии в queries и keys.

Читать полностью…

Дайджест событий из мира диффузионок за 2 года от экспертов ШАДа

✔️ Simple Diffusion улучшила качество генерации изображений
Модель Simple Diffusion от Google Brain позволила генерировать изображения высокого разрешения без дополнительных моделей Super Resolution.

✔️ SDXL подняла планку для opensource-моделей
SDXL стала первой крупной opensource-моделью с 2,8 миллиардами параметров. Это повысило четкость изображений и улучшило контроль генерации с помощью механизма Micro-Conditioning.

✔️ EMU фокусировалась на качестве обучающих данных
Разработчики модели EMU разделили обучение на стадии pre-training и supervised fine-tuning, акцентируя внимание на качестве дообучающего датасета. При таком подходе получается высокий результат при минимальном сборе данных.

✔️ PixArt-α и эффективность трансформеров
Модель PixArt-α от Huawei показала высокую эффективность при обучении на малом количестве данных с использованием трансформерной архитектуры. Это открыло новые возможности для создания мощных генеративных моделей с меньшими затратами.

✔️ SANA от Nvidia обеспечила качество в 4K
Модель SANA генерировала изображения в разрешении 4K без дополнительных Super Resolution решений. Использование глубокого автокодировщика с масштабом 32 ускорило процесс генерации и улучшило качество изображений.

🟡 Статья

#news #ai #ml

Читать полностью…

✔️ TSMC предлагает ИТ-гигантам объединиться вокруг производственных мощностей Intel.

TSMC обратилась к Nvidia, AMD и Broadcom с предложением войти в совместное предприятие, целью которого станет управление производственными мощностями Intel. Как сообщают источники, TSMC планирует сохранить за собой менее 50% акций в данном предприятии. Аналогичное предложение, по некоторым данным, было направлено и компании Qualcomm. Эти переговоры разворачиваются на фоне обращения администрации президента США к TSMC с просьбой оказать содействие испытывающей трудности Intel. Известно, что переговоры по Intel находятся на ранней стадии, и TSMC заинтересована в привлечении нескольких компаний к участию в этом проекте.
zaobao.com.sg

✔️ ИИ от Sakana AI успешно прошел научное рецензирование.

Проект Scientist-v2, разработка Sakana AI, смогла создать научную работу, которая успешно прошла процесс рецензирования на одном из воркшопов Международной конференции ICLR. Это стало первым случаем, когда полностью сгенерированное исследование прошло стандартную процедуру оценки. Представленная работа была посвящена методам регуляризации нейронных сетей и, как ни странно, сообщала об отрицательных результатах.

Несмотря на то, что средняя оценка работы составила 6.33, что превысило порог принятия воркшопа, согласно предварительной договоренности, работа была отозвана, поскольку в научном сообществе пока отсутствуют устоявшиеся нормы для сгенерированных работ.
sakana.ai

✔️ Google DeepMind выводит ИИ в физический мир с Gemini Robotics.

Google DeepMind представила новейшую разработку – Gemini Robotics, модель на базе Gemini 2.0, способную наделить роботов способностью к "телесному" мышлению. Эта VLA (Vision-Language-Action) модель способна самостоятельно управлять роботами, открывая новые возможности в их применении.

Наряду с ней представлена Gemini Robotics-ER, модель с углубленным пространственным пониманием, позволяющая робототехникам использовать возможности Gemini в своих проектах. Обе модели демонстрируют интерактивность и ловкость, позволяя роботам адаптироваться к различным ситуациям, взаимодействовать с людьми и выполнять сложные задачи. Google DeepMind тестирует Gemini Robotics-ER с несколькими доверенными партнерами.
deepmind.google

✔️ Doubao (ByteDance) опубликовала технические детали модели генерации изображений Seedream 2.0.

Команда Doubao официально представила технический отчет о своей модели генерации изображений Seedream 2.0, впервые раскрыв детали процесса разработки, начиная со сбора данных и заканчивая постобработкой с использованием RLHF.

В отчете отмечаются улучшения в понимании китайского и английского языков, отрисовке текста, достижении высокого уровня эстетики и разрешения генераций. Seedream 2.0 была запущена еще в начале декабря 2024 года в приложениях Doubao и Jimeng, ей воспользовались сотни миллионов пользователей и она стала любимым инструментом для многих профессиональных дизайнеров в Китае. По сравнению с Ideogram 2.0, Midjourney V6.1 и Flux 1.1 Pro, Seedream 2.0 лучше справляется с текстом и лучше понимает китайскую культуру. Модель поддерживает запросы на китайском и английском языках.
team.doubao.com

✔️ Испания вводит крупные штрафы за отсутствие маркировки контента, созданного ИИ.

Испанское правительство одобрило законопроект, предусматривающий введение внушительных штрафов для компаний, которые используют сгенерированный контент без соответствующей маркировки. Мера направлена на борьбу с распространением "дипфейков".

Несоблюдение требований по маркировке будет классифицироваться как "серьезное правонарушение", что может повлечь за собой штрафы до 35 млн. евро или 7% от годового оборота компании-гарушителя. Новый регулирующий орган AESIA будет отвечать за обеспечение соблюдения новых правил.
reuters.com

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

Как изменились диффузионные модели за 2 года?

Материал подготовили эксперты ШАДа и исследователи Yandex Research по итогам открытого интенсива по компьютерному зрению.
Год: 2025

Читать статью

#ai #report

Читать полностью…

✔️ OpenAI презентовала новые инструменты для разработчиков.

OpenAI анонсировала 3 новых инструмента для разработчиков, поддерживаемых в API и доступных через новый SDK. Среди новинок – WebSearch Tool, основанный на дообученной модели GPT-4o/GPT-4o-mini, для поиска информации в интернете. FileSearch Tool - инструмент поиска по документам с возможностью фильтрации по тегам, аналогично функциональности в Ассистентах. Третий - Computer Use (Operator), использующий ту же GPT-4o, предоставляющий доступ к локальному компьютеру пользователя.

Опубликованы и тарифы: Computer Use несколько дороже обычной GPT-4o, а поиск по файлам тарифицируется за запросы ( 2.5 долл. за 1000) и объем загруженных данных
(10 центов за гигабайт)
OpenAI на Youtube

✔️ TypeScript 7.0 будет в 10 раз быстрее.

Microsoft анонсировала радикальное улучшение производительности TypeScript за счет новой нативной реализации компилятора, написанной на Go. Он сократит время сборки проектов, ускорит загрузку редакторов и снизит потребление памяти. Уже сейчас тесты показывают: проверка кода VS Code занимает не 77,8 секунд, а всего 7,5.

Выпуск TypeScript 7.0 запланирован на конец 2025 года, но тестовую версию уже можно опробовать в GitHub-репозитории. Пока команда сохранит поддержку TypeScript 6.x для проектов, зависящих от старых API.

Подробности — в AMA-сессии Discord 13 марта, где авторы ответят на вопросы о будущем экосистемы.
devblogs.microsoft.com

✔️ Agora выпустила набор Conversational AI для IoT-устройств.

Agora, мировой лидер в области решений для взаимодействия в реальном времени, анонсировала запуск ConvoAI Device Kit — инструментария для разработки голосового ИИ в IoT-устройствах. Совместно с производителем чипов Beken и создателем роботов Robopoet Agora предлагает технологию, которая превращает игрушки, гаджеты и «умные» устройства в эмоционально отзывчивых собеседников.

ConvoAI Device Kit объединяет чипы Beken с платформой Agora и обеспечивает распознавание речи с минимальной задержкой, адаптивные диалоги и обработку эмоций.
Решение подходит для образовательных игрушек, «умных» домов и носимых гаджетов.
agora.io

✔️ Supermicro запускает edge-серверы для AI с процессорами Intel Xeon 6.

Supermicro анонсировала линейку компактных серверов, оптимизированных для ИИ. Новые системы оснащены процессорами Intel Xeon 6 с P-ядрами (до 144 вычислительных ядер, увеличенная на 40% пропускная способность памяти и улучшенная энергоэффективность). Новая линейка позволит обрабатывать данные в реальном времени непосредственно на месте их генерации, что критично для телекома, медицины и промышленности.

Серверы поддерживают до 512 ГБ DDR5, имеют порты 100 GbE и слот PCIe 5.0 для GPU, что делает их идеальными для медиа-задач и Edge AI. Отдельного представлены системы с процессорами Intel Core Ultra 15-го поколения — они предназначены для IoT и AI-инференса на edge-периферии (до 24 ядер и NPU).
supermicro.com

✔️ Cerebras развернёт 6 дата-центров в США и Европе.

Cerebras Systems, лидер в области инференса генеративного ИИ, объявила о запуске 6 новых дата-центров. Объекты в США, Канаде и Европе, оснащённые тысячами систем CS-3 на базе Wafer-Scale Engines, обеспечат обработку свыше 40 млн токенов Llama 70B в секунду, что сделает Cerebras крупнейшим поставщиком облачных решений для ИИ.

Проект увеличит совокупную мощность компании в 20 раз, удовлетворив растущий спрос клиентов — от Mistral до гигантов вроде HuggingFace. Особое внимание уделено надёжности: дата-центр в Оклахома-Сити, защищённый от торнадо и сейсмической активности, начнёт работу в июне 2025 года.
cerebras.ai

✔️ GPUStack — менеджер кластеров GPU с открытым исходным кодом для запуска и масштабирования AI моделей.Позволяет организовать эффективное распределение ресурсов для инференса AI моделей, упрощает развертывание масштабируемых решений и обеспечивает гибкую интеграцию с существующими сервисами и приложениями.
Github

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

🌟 EuroBERT: энкодеры нового поколения.

Исследовательская группа под патронажем Centrale Supélec (Университет Париж-Сакле) выпустила в открытый доступ EuroBERT — семейство мультиязычных энкодеров, обученных на 5 трлн. токенов из 15 языков, включая русский.

EuroBERT сочетает инновационную архитектуру с поддержкой контекста до 8192 токенов, что делает это семейство идеальным для анализа документов, поиска информации, классификации, регрессии последовательности, оценки качества, оценки резюме и задач, связанных с программированием, решением математических задачи.

В отличие от предшественников (XLM-RoBERTa и mGTE), EuroBERT объединил GQA, RoPE и среднеквадратичную нормализацию, чтобы достичь беспрецедентной эффективности производительности даже в сложных задачах. Второе немаловажное преимущество EuroBERT - в обучение помимо текстовых данных были включены примеры кода и решения математических задач.

Самая младшая модель EuroBERT с 210 млн. параметров показала рекордные результаты: в тесте MIRACL по многоязычному поиску её точность достигла 95%, а в классификации отзывов (AmazonReviews) — 64,5%. Особенно выделяется умение работать с кодом и математикой — в бенчмарках CodeSearchNet и MathShepherd EuroBERT опережает аналоги на 10–15%.

▶️Состав релиза:

🟢EuroBERT-210М
🟢EuroBERT-610М
🟢EuroBERT-2.1В

⚠️ EuroBERT можно использовать непосредственно с transformers, начиная с версии 4.48.0

⚠️ Для достижения максимальной эффективности, разработчики рекомендуют запускать EuroBERT с Flash Attention 2

▶️ Пример инференса:

from transformers import AutoTokenizer, AutoModelForMaskedLM

model_id = "EuroBERT/EuroBERT-210m"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id, trust_remote_code=True)

text = "The capital of France is <|mask|>."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)

# To get predictions for the mask:
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# Predicted token:  Paris

📌Лицензирование: Apache 2.0 License.


🟡Статья
🟡Коллекция на HF
🟡Arxiv
🖥GitHub (Скоро)


@ai_machinelearning_big_data

#AI #ML #Encoder #EuroBERT

Читать полностью…

Приглашаем на открытый урок «Применение искусственного интеллекта в диагностике и визуализации медицинских изображений»

Познакомимся с современными методами использования ИИ для анализа медицинских изображений, включая рентгеновские снимки, МРТ и КТ на открытом уроке, посвященному курсу «Искусственный интеллект в медицине»

✅ Рассмотрим примеры успешных внедрений и разберем алгоритмы, которые помогают врачам быстрее и точнее ставить диагнозы. 

👉 Регистрация и подробности: 
https://otus.pw/Ulm2/?erid=2W5zFGAcNja

#реклама
О рекламодателе

Читать полностью…

Курс «Практическая ML-инженерия: MLOps и разработка проектов» от магистратуры по искусственному интеллекту в ИТМО

Узнайте, как развиваться в MLOps и ML-разработке, и вывести свой AI-сервис в продакшен.

✔️ Обучение для тех, кто уже знает базу ML: можно освоить те навыки, которых не хватает.
✔️ Онлайн-занятия по вечерам: удобно совмещать с учебой, работой и личной жизнью.

Основные преимущества:
▪️ Возможность довести ML-модель до MVP. Изучайте инструменты MLOps — DVC, Airflow, MLflow, ClearML, W&B, FastAPI, PyTest, Docker, GitLab CI, чтобы выкатить свой сервис в продакшен.
▪️ Упор на практику. Работайте с реальными проектами, которые при желании можно монетизировать.
▪️ Опыт тимлидов в сфере ML. Узнавайте, что ждут от ML-инженеров нанимающие менеджеры.
▪️ Советы от старших коллег. Обсуждайте задачи и решения со специалистами ведущих компаний.
▪️ Понимание ML-продукта как единого целого. Учитесь проверять гипотезы и решать бизнес-задачи системно.
Регистрация на курс заканчивается 13 марта.
📌 Успейте подать заявку
Реклама. Университет ИТМО ИНН:7813045547 erid=2VtzqxBMfUr

Читать полностью…

🔥 «The State of LLM Reasoning Models» свежая статья от Себастьяна Рашка, которая посвящена современному состоянию исследований в области рассуждений (reasoning) и масштабирования выводов (inference scaling) для больших языковых моделей (LLM).

Основные моменты:
- Эволюция возможностей рассуждения:
В статье показано, как с увеличением размеров моделей и вычислительных ресурсов появляются «внезапные» способности, позволяющие моделям выполнять сложное логическое и пошаговое рассуждение. Это включает методы вроде chain-of-thought, которые помогают моделям структурировать ответ.

- Масштабирование и его эффекты:
Анализируются закономерности масштабирования — как увеличение числа параметров и использование более мощных аппаратных средств влияет на точность и способность моделей к рассуждению. Выявляются пределы, где дополнительные вычисления начинают давать менее заметное улучшение.

- Инновации в инференсе:
Статья рассматривает новые подходы к оптимизации процесса инференса, что особенно важно для применения LLM в реальном времени и на устройствах с ограниченными ресурсами. Поднимается вопрос балансировки между качеством ответов и затратами на вычисления.

- Практические выводы для исследований:
Сатья служит ориентиром, показывающим, какие направления развития (например, улучшение алгоритмов рассуждения, оптимизация инференс-методов) могут принести наибольший эффект при дальнейшем увеличении масштабов моделей. Это позволяет понять, куда двигаться в будущих исследованиях и как лучше интегрировать существующие технологии в практические приложения.

Отличное воскресенье чтиво 📕

📌 Читать

#ai #ml #reasoning #llm

Читать полностью…

🌟 AMD Instella: открытая языковая модель, обученная на ROCm и оборудовании AMD.

Instella - полностью опенсорсная модель с 3 млрд. параметров, обученная с нуля на GPU AMD Instinct MI300X. Instella не только превосходит существующие LLM сопоставимого размера, но и показывает конкурентоспособную производительность по сравнению с Llama-3.2-3B, Gemma-2-2B и Qwen-2.5-3B.

Разработка Instella основана на опыте AMD с OLMo, на которой была доказана возможность обучения LLM на стеке AMD. В процессе создания Instella прошлые наработки были масштабированы для создания модели с 3 млрд. параметров. Она обучалась на 128 GPU MI300X с использованием 4,15 трлн. токенов. В процессе применялись методы FlashAttention-2, Torch Compile и FSDP с гибридным шардированием.

Процесс обучения Instella состоял из 4-х этапов, постепенно наращивая возможности модели от базового понимания естественного языка до следования инструкциям и соответствия предпочтениям человека.

Первый этап претрейна задействовал 4 трлн. токенов из набора данных OLMoE-mix-0924 (код, академические тексты, математика и общие знания). Второй этап - 57 млрд. токенов из датасетов Dolmino-Mix-1124 и SmolLM-Corpus (python-edu).

На третьем этапе проводилась SFT модели с использованием 8,9 млрд. токенов текстовых пар "инструкция-ответ". Наконец, для приведения модели в соответствие с предпочтениями человека был выполнен четвертый этап - DPO модели Instella-3B-SFT с использованием 0,76 млрд токенов.

Instella получила 36 слоев, каждый из которых имеет 32 attention heads и поддерживает длину последовательности до 4096 токенов.

Финальный вариант Instella-3B превосходит существующие открытые модели в среднем на 8,08%.

▶️ Состав релиза:

🟢Instella-3B-Stage1 - претрейн-чекпоинт после первого этапа обучения;
🟢Instella-3B - чекпоинт после второго этапа;
🟢Instella-3B-SFT - версия модели после SFT;
🟢Instella-3B-Instruct - финальная версия после DPO;
🟠Instella-GSM8K-synthetic - датасет, использованный на 2 этапе обучения;
🟠Код для трейна и инференса


📌 Лицензирование: ReasearchRAIL License.


🟡Статья
🟡Коллекция на HF
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #RoCM #AMD #Instella

Читать полностью…

✔️ Стартап Manus представил универсального ИИ-агента, выглядит очень впечатляюще. Он объединяет возможности OpenAI Operator и глубокую аналитику, но работает ещё эффективнее. Этот агент не только умеет управлять компьютером, но и собирает информацию для проведения серьёзных научных исследований.

— В этом видео Manus одновременно регистрирует и активно управляет 50 аккаунтами в Твиттере.
— Агент провел всесторонний анализ акций Tesla и предложила свой прогноз на будущее.
— Manus вычислил оптимальную орбиту для космического корабля, направляющегося к Марсу, с учётом текущего расположения планет.

Подать заявку на доступ можно здесь. А здесь вы найдете сравнение ManusAI и OpenAI DeepResearch.
Manus


✔️ Очень годный сборник учебных материалов, обучающих созданию нейросетей и обучению нейросетей её с нуля.

• Всё работает в облаке.
• 20 детально проработанных глав: от архитектуры нейросетей и NLP до основ глубокого обучения.
• Теория подкреплена практическими задачами
• Большое количество понятных примеров
Colab


✔️ Nomic Embed v2 — это новая SOTA для создания текстовых эмбеддингов, использующая архитектуру Mixture-of-Experts (MoE). Поддерживает около 100 языков и была обучена на более чем 1,6 миллиарда пар данных. Модель полностью открыта.
HF


✔️ Smart-turn — это открытая модель для определения смены речевых реплик (turn detection) в системах голосового взаимодействия. Она предназначена для более точного определения момента, когда голосовой агент должен начать свою реакцию на речь пользователя. Очень полезный инструмент для разработчиков голосовых агентов, стремящихся улучшить естественность и эффективность взаимодействия с пользователями.
Github

@ai_machinelearning_big_data


#news #ai #ml #aiagents

Читать полностью…