6357
Машинное обучение, искусственный интеллект, искусство, мемасы, всякое личное и странноэ
Всем привет!
Мы выпустили новую статью — HandReader: набор архитектур для распознавания дактиля (англ. fingerspelling) 🚀 Это последовательный показа дактилем (букв из жестовой азбуки), который применяется в основном для слов, являющихся именами собственными.
В работе мы предлагаем универсальные решения для трёх модальностей:
- на основе RGB-кадров,
- на основе ключевых точек,
- и на их сочетании (multi-modal).
Все три варианта архитектур достигают SOTA-результатов на датасетах ChicagoFSWild и ChicagoFSWild+.
А ещё, поскольку до сих пор не существовало открытых данных по русскому дактилю, мы собрали и выкладываем первый в мире датасет — Znaki, содержаший более 1593 размеченных фраз и более 37 тыс. HD+ видео, который был собран глухими и слабослышащими людьми.
Почитать здесь:
📝 HandReader и Znaki — лучшая архитектура и самый большой набор данных для распознавания русского дактиля
📖 HandReader: Advanced Techniques for Efficient Fingerspelling Recognition
Глубокое исследование с GigaChat 🔎
Новая функция GigaChat поможет с делами, требующими основательного погружения. Нейросеть научилась проводить многоступенчатые исследования по запросу и создавать подробные отчёты в форматах PDF и Word
Идеально подойдёт, если вы хотите сократить время на поиск, быстро разобраться в теме, получить информацию из надёжных источников и упростить работу с большими объёмами данных
Как воспользоваться?
⚫️ Нажмите на кнопку «Провести исследование» в веб-версии GigaChat
⚫️ Введите запрос, например: «Как меняется рынок онлайн-образования в 2025? Проанализируй научные статьи и выдели ключевые тенденции»
⚫️ Получите подробный отчёт со ссылками на источники, аналитикой и прогнозами
Dear colleagues, we are glad to present you recording of panel discussion with invited speakers Sergey Markov and Natalia Loukashevitch, a researcher from Siberian Neuronets Ivan Bondarenko and AINL Chair Valentin Malykh. The discussion is devoted to AI development in recent years, its place in educational system and the future of AI conferences. The discussion is in Russian.
VK Video
YouTube
⚡️⚡️⚡️На прошлой неделе мы в AIRI зарелизили очень крутую работу в рамках трека «Генеративное проектирование» — cadrille: Multi-modal CAD Reconstruction with Online Reinforcement Learning
Архитектура представляет собой мультимодальную LLM, которая на вход может принимать облака точек, изображения и текст, а на выходе генерировать код операций, восстанавливающих некоторый CAD объект (например, какую-то инженерную деталь). То есть мы одновременно решаем задачу понимания сложных модальностей и задачу синтеза последовательности операций, необходимых для её восстановления по фото и облаку точек.
В дополнение добавили несколько вариантов онлайн RL (DPO и Dr. CPPO), что позволило значительно улучшить метрики и выбить SoTA на самых известных бенчмарках по восстановлению CAD моделей: DeepCAD, Fusion360 и CC3D💪
📍Статья — https://arxiv.org/abs/2505.22914
📍GitHub
📍Hugging Face
📍На Papers With Code уверенная SoTA на DeepCAD бенчмарке
Буду очень рад обратной связи и предложениям по развитию, тестированию и будущему внедрению!
P.S. На прошедшем 30 мая DataFest’е в Сбере я рассказал подробно про наши исследования в области генеративного проектирования и кратко о модели, что вызвало большой интерес у представителей промышленности. Поэтому если вы ещё не слышали про cadrille, то обязательно расскажите своему другу - инженеру, ему особенно понравится😉
@complete_ai
В итоге выступаю завтра. Приходите)
Читать полностью…
https://www.kommersant.ru/doc/7777879
Читать полностью…
Накидайте в комменты годноты, сделанной при помощи MALVINA :)
Читать полностью…
Победа, товарищи!
Я знаю, это потому что вы все дружно держали за меня кулачки)
Драма в двух частях:
1. Забыл зарядку от ноута на даче.
2. Поверил, что Яндекс.Маркет с опцией "доставка 1-2 часа" с заказом, сделанным утром, привезет ее хотя бы сегодня.
Финита ля комедия. Утром лечу в командировку с неработающим ноутом :(
Один из примеров того, что Malvina смогла из того, что нас самих удивило. Инструкция: «Удали белую ладью»
Читать полностью…
«Удали человека с фото», «Добавь весёлого крокодила на фото»
Читать полностью…
Как редактировать изображения в GigaChat 🔥
Теперь можно примерить бороду или очки, поменять цвет волос и даже представить, как вы будете выглядеть через десятки лет
⚫️ Нажмите на кнопку «Редактирование картинок» в чате 🪄
⚫️ Пришлите изображение и напишите, что хотите изменить: «Убери провода», «Восстанови старую фотографию», «Сделай меня блондином»
⚫️ Продолжайте или сохраните результат, а ещё можно начать заново, нажав кнопку «Перезапустить диалог»
Примеры самых эффективных запросов:Удали всех людей на заднем планеВосстанови ржавые части автомобиляСделай меня рыжимРаскрась чёрно-белое фотоЗамени фон на космосДобавь солнцезащитные очкиУдали текст с изображения
Так вот откуда Пелевин черпал своё вдохновение для "Чапаева и пустоты")
Читать полностью…
Служба подавления восстания роботов
Читать полностью…
29 мая в 19:00 выступаю на лектории «Сарёнок» — приходите послушать
Тема: Искусственный интеллект в эпоху больших языковых моделей: вызовы, направления развития и области применения
Адрес: г.Москва, Малая Никитская 20с1
Билеты можно приобрести тут: https://sarenok.ru/63-ii-v-epoxu-bolshix-yazykovyx-modelej
https://habr.com/ru/companies/sberbank/articles/919884/
Читать полностью…
https://giga.chat/link/gcsQxLNmlm
Читать полностью…
Всем привет! 👋🏻
Недавно на конференции WSCG '25, прошедшей в Чехии, были представлены сразу две наших статьи.
Антон Нуждин рассказал про датасет HaGRIDv2 — новую версию самого большого в мире датасета статических жестов HaGRID. Новая версия содержит в 2 раза больше размеченных сэмплов (более 1 миллиона), 15 новых классов, а также динамические жесты для управления девайсами. Скачать датасет и предобученные модели можно в репозитории GitHub, собравшем уже более 700 звезд! ⭐️
Роман Крайнов представил статью, посвященную стратегиям обучения модели распознавания изолированного жестового языка. Предложенный пайплайн обучения был разработан с учетом проблем низкого качества данных и вариативной скорости показа жестов, и позволил добиться state-of-the-art на популярных бенчмарках жестовых языков 🏆
Прикладываем к посту представленные статьи и презентации докладов!
📖 HaGRIDv2: 1M Images for Static and Dynamic Hand Gesture Recognition
📖 Training Strategies for Isolated Sign Language Recognition
https://sarenok.ru/63-ii-v-epoxu-bolshix-yazykovyx-modelej
Читать полностью…
AI в театре: гармония алгоритмов и нот 🤖
19 июня на Новой сцене Мариинского театра состоится премьера «Мандрагоры» — незаконченной оперы Чайковского. Спустя 150 лет композитор Пётр Дранга восстановил структуру, музыку и либретто при участии нейросетей Сбера — GigaChat для либретто и развития сюжета, SymFormer — для создания музыки, Kandinsky — для декораций 🎶
В постановке будут задействованы 170+ артистов, оркестр, мужские и женские хоры. Центральный образ — гигантская голова, внутри которой разворачиваются фантастические миры
Будем платить зарплату ИИ-ассистенту?
Представьте мир, где ИИ помогает:
0️⃣Найти вторую половинку
0️⃣Решать семейные споры
0️⃣Учить детей
0️⃣Писать тексты вместо пресс-служб
0️⃣Продлить жить
Часть из этого существует уже сегодня! С директорами по развитию технологий ИИ — Александром Крайновым (Яндекс) и Сергеем Марковым (Сбер) — обсудили, как развивается искусственный интеллект, и что нас ждет к 2030 году.
Ответы, как всегда, здесь 👇🏻
VK
YOUTUBE
RUTUBE
🌸Стрим на Рабкоре, 20.00 мск🌸
Давно не было стримов! Возвращаемся, да ещё как — сегодня стрим с Алексеем Сафроновым (Простые числа), будем обсуждать
– Как человечеству эффективно делать долгосрочные инвестиции?
– Новые возможности для аккумуляции информации и расчета плана;
– Можно ли цифровой плановой экономике почерпнуть что-то полезное из американского корпоративного управления – и наоборот?
– Роль государства в аккумуляции информации и управление планом.
🟣 YouTube, начнем в 20.00 по мск: https://youtube.com/live/YviV4TLqghI?feature=share
Приходите!
Как обычно, можно будет задать вопросы
Моя мама варит классно, может быть
Подождем мою маму,
Подождем твою мать,
Подождем мою маму,
Подождем твою мать.
Подождем,
Подождем,
Подождем,
Подождем
И вот ещё товарищ прислал — моделька смогла выполнить инструкцию, которая написана на самой картинке, хотя специально такому модель мы не учили
Читать полностью…
Обсуждение возможностей новых нейросетевых технологий в рунете
Читать полностью…
Привет!
Сегодня для нас очень важный день, поскольку мы подходим к большой и важной вехе на нашем рабочем и жизненном пути. Жизненном потому, что это давно вышло за рамки исполнения обязанностей и стало личным.
Сегодня мы представляем вам проект с рабочим названием Malvina. Технологию, с чьей помощью GigaChat теперь умеет редактировать любые изображения просто по обычному текстовому промпту на любом языке.
Не хочется распинаться о том, какая Malvina крутая модель. Она способна говорить сама за себя.
Но, всё-таки, будет одно громкое заявление:
На основании наших технических метрик, а так же нескольких SBS-сравнений независимыми разметчиками, Malvina обходит на основных задачах по качеству Gemini и Grok.
Мы не говорим здесь о новом ChatGPT-4о (в этом контексте имеется ввиду новая возможность для AR-генерации изображений) потому, что модели невозможно напрямую адекватно сравнить. Мы много рассказали об этом в статье на Хабре, поэтому тут просто кратко повторим: ChatGPT-4о — совершенно потрясающая, стоящая на переднем крае науки, модель. Но на данный момент она не выполняет попиксельное редактирование. И пусть результат часто близок к этому (хотя ещё чаще — нет), всё-таки это сильно разные задачи с разным потолком качества.
Gemini же, на удивление, вполне хорошо справляется с именно нашей задачей, поэтому мы больше ориентируемся на неё.
На всякий случай, мы оставили SBS вот тут.
Но вернёмся к к теме. Поскольку у Malvina под капотом одновременно и сильная VLM модель и качественная диффузионка, она умеет очень много всего классного.
В том числе, делает такие штуки, за которые люди часто хотят денег: удаляет объекты по любому текстовому описанию, восстанавливает и раскрашивает старые фотографии, меняет внешность, удаляет и добавляет бороды, меняет цвет глаз, причёски, одежду, аксессуары, удаляет фон для фотографии на паспорт, перекрашивает что заблагорассудится пользователю, меняет материалы объектов, она даже может восстановить ржавый автомобиль или прибраться за вас в комнате (ну, пока только на фотографии).
И ещё очень много всего, мы даже не всё сами знаем. Кажется этот случай, когда пользователи могут исследовать возможности глубже, чем сами создатели. Главное — следовать духу экспериментаторства и пробовать несколько раз подряд, проверять разные подходы к промпту.
Есть и то, чего модель честно не умеет, просто потому, что пока мы над этим не работали в достаточной мере: ей плохо даётся смена поз или вращение объектов, она не умеет добавлять текст, не всегда справляется с сильными структурными изменениями. Мы не заканчиваем разработку этим релизом, скорее только начинаем, так что в конечном счёте мы решим и эти проблемы.
А сейчас, мы хотим показать, чего уже достигли, и приглашаем вас в GigaChat попробовать самостоятельно!
Data Fest в Сбере 🏦 🦜
30 мая Data Fest 2025 придёт в гости в штаб-квартиру на Кутузовском проспекте.
🧠 Открывает главную сцену Иван Оселедец @Ivan_Oseledets с докладом "Большие языковые модели в эпоху ризонинга"
🎨 Следом выступит Александр Капитанов @rndcv_team с релизом state-of-the-art модели инструктивного редактирования изображений MALVINA, над которой активно трудилась команда @layercv
😎 Также будет представлен доклад Федора Минькина @gigadev_channel о разработке больших языковых моделей в Сбере
🛠 Андрей Кузнецов @complete_ai выступит с интересной темой про генеративное проектирование в строительстве и промышленности
🧑💻 Дмитрий Бабаев @dl_l_lb представит подробный доклад о том, как команда обучает GigaCode
🤖 Сергей Марков @oulenspiegel_channel открывает сцену с визионерским докладом про ИИ в эпоху больших языковых моделей
🧠 Александр Абрамов @dealerAI расскажет про глобальную память в LLM на примере GigaChat
📝 Никита Мартынов и Даниил Астафуров, инженеры MERA покажут, как оценивать генеративные способности LLM для русского языка
🖥 Виктория Вольф @rndcv_team поделится лайфхаками обработки и фильтрации больших объемов мультимодальных данных.
И это еще не все, в программе представлено более 20 крутых докладов!
🖥 Зарегистрироваться и узнать подробности можно на сайте
Изменения в бытовой речи людей, которые наблюдаю за последние 30-35 лет.
Вместо "грейпфрут" стали говорить "грейпфрукт"
Вместо "кремы" стали говорить "крема"
Вместо "поскользнуться" стали говорить "подскользнуться"
Слово "нелицеприятный" стало значить "неприятный" вместо "беспристрастный"
Вместо "транскрипция" стали говорить "транскрибация"
Вместо "тОрты" стали говорить "тортЫ"
Вместо "свёкла" даже городские жители теперь говорят "свеклА"
Вместо "приятного аппетита" стали говорить "приятного"
Интересно, что не все изменения привели к упрощению, некоторые как раз наоборот
Накидайте своих примеров в комменты
Выложили «Охоту на электроовец» в виде wiki с возможностью комментировать — читайте, комментируйте, отправляйте всем, кому это может быть интересно
Читать полностью…
Знакомьтесь, FRIDA. Или про то, как мы лучший ru embedder делали.
Секрет успеха кратко:
1. Языковой трансфер знаний и расширение ru-en пары, как в rosberta.
2. Contrastive pretrain, по стопам bge/e5 и др. Сетик, кстати, выложили.
3. Contrastive fune-tuning. Ну тут по классике.
4. Больше префиксов: 6 против 3 у ru-en-rosberta.
Читаем, образовываемся, качаем и радуемся.
https://habr.com/ru/companies/sberdevices/articles/909924/