8025
Канал Института AIRI ⚡️ Рассказываем про технологии ИИ и то, как исследователи развивают их в России и мире: https://airi.net/ru/ ВКонтакте: https://vk.com/airi_institute По всем вопросам: @saalaatik
Как стартовать в науке? Делимся лайфхаками и рекомендациями ⤵
Кандидат физико-математических наук, руководитель научной группы «Пространственный интеллект» Антон Конушин рассказал, какие ошибки допускают начинающие исследователи, как в научном сообществе относятся к смене специализации, и когда важно начать публиковаться.
🔖 Читайте колонку по ссылке.
Рассказали про новое исследование про линейность больших языковых моделей, которое сделали ученые AIRI вместе с коллегами из SberAI и Сколтеха.
🔖Читайте материал по ссылке.
Научная статья "Your Transformer is Secretly Linear" собрала уже 130 upvote на Hugging Face Daily Papers, все подробности — в недавнем посте 🔥
В середине мая в Йокогаме, Япония, прошла ведущая конференция по робототехнике — IEEE International Conference on Robotics and Automation 🔖
В конференции ICRA2024 от AIRI приняли участие исследователи из группы «Нейросимвольная интеграция». Её руководитель, Александр Панов, подробно фиксировал каждый день мероприятия и собрал большой репортаж в посте на Хабре.
Читайте по ссылке📎
Исследователи AIRI выяснили, что большие языковые модели гораздо линейнее, чем все думали 🔔
В новом исследовании ученые лаборатории FusionBrain AIRI вместе с коллегами из Сколтеха и Sber AI обнаружили, что преобразование эмбеддингов в большей части слоёв в трансформерах-декодерах на 99% имеет линейный характер, причём такое наблюдается во всех популярных моделях. Фактически, это значит, что множество нелинейных операций в таких слоях можно заменить на линейное преобразование без потери качества.
Исследование позволяет проанализировать внутренние представления языковых моделей, а также без потери качества избавиться от 10-15% слоёв. Научная статья уже принята на конференцию ACL (A*), а код выложен на GitHub.
🔖Подробнее о деталях исследования научный сотрудник AIRI Антон Разжигаев рассказал в новой статье на нашем Хабре.
Статья попала на первое место в Daily Papers на Hugging Face, проголосовать за нее можно по ссылке 🔥
Исследователи AIRI зарегистрировали метод выявления кражи ИИ-моделей 🔐
Команда «Доверенные и безопасные интеллектуальные системы» Института AIRI вместе с коллегами из Сколтеха и ИСП РАН разработала метод выявления краж моделей искусственного интеллекта, доступ к которым предоставляется через API.
Протокол основан на создании триггерного набора данных, системы «водяных знаков», которые позволяют доказать, что модель была скомпрометирована.
📎Получить доступ к алгоритму маркирования можно на GitHub.
📎Научная статья с описанием подхода принята на одну из наиболее престижных научных конференций в сфере искусственного интеллекта IJCAI (A*).
Подробнее про разработку можно прочитать в материале ТАСС.
Сегодня делимся рекомендациями магистратур от наших исследователей 👨🎓
🔳Сколтех
«Науки о данных», «Передовые производственные технологии» и «Современные Вычислительные Методы»
🔳 МФТИ
Магистратура и аспирантуруа со специализацией в области искусственного интеллекта, англоязычная магистерская онлайн-программа "Modern State of Artificial Intelligence"
🔳ВШЭ
«Искусственный интеллект», «Математика машинного обучения» и «Науки о данных»
🔳Иннополис
«Искусственный интеллект и инженерия данных»
🔳 ИТМО
"AI Talent Hub"
Отправляйте пост друзьям, которые хотят поступить в магистратуру 📚
Прямо сейчас в Йокогаме, Япония, проходит ведущая конференция по робототехнике IEEE International Conference on Robotics and Automation 😁
Институт AIRI на ICRA 2024 представляют Алексей Староверов, Константин Миронов и Александр Панов.
📎Наши исследователи приехали со статьей "Field for Obstacle-Aware Local Motion Planning", которая посвящена нейросетевым представлениям карты и препятствий для эффективного избегания столкновений. Авторы статьи не только описали новый подход, который превосходит все известные SOTA-решения, но и продемонстрировали его работу на реальном роботе.
📍Руководитель группы «Нейросимвольная интеграция» AIRI Александр Панов рассказывает про ICRA 2024 в личном канале, делится обзорами на воркшопы, фотографиями с места событий, а также в канале уже опубликован рассказ про конференцию ICLR 2024, которая прошла на прошлой неделе.
Сегодня в #AIRI_в_лицах старший научный сотрудник AIRI, заведующий сектором Геномных механизмов онтогенеза ИЦиГ СО РАН Вениамин Фишман⤵
🔵Почему наука?
«У меня в семье много врачей, поэтому в пять лет твердо решил, что буду заниматься медициной. Во время учебы я пробовал много всего, но был уверен, что стану врачом. Параллельно с медициной в школе я стал программировать и ездить на олимпиады.
В 9 классе я попал на 3 недели в «Летнюю школу юных программистов». Школа была очень мультидисциплинарная, поэтому на отрытые лекции часто приезжали преподаватели различных профилей. Одним таким лектором стал преподаватель факультета естественных наук Новосибирского Государственного Университета Григорий Моисеевич Дымшиц. Он прочитал фантастическую лекцию по молекулярной биологии для программистов, в которой рассказывал, что генетический код — это тоже код и его можно программировать. На меня это произвело невероятное впечатление — я сразу понял, чем хочу заниматься на работе».
🔵В свободное время
«Кроме двух работ у меня есть еще двое детей, поэтому свободного времени очень мало, но когда оно есть — занимаюсь волейболом, катаюсь на лыжах, путешествую».
🔵Вдохновение
«Больше всего меня вдохновляют сумасшедшие, масштабные и чаще всего нереализуемые проекты. К сожалению, над такими проектами всегда работать невозможно, поэтому параллельно мы создаем что-то менее амбициозное».
🔵На работе
«Мы объединяем биологию и машинное обучение, пытаемся с его помощью решить много задач, связанных с ДНК. Например, мы работаем над глобальной задачей из области медицинской генетики — анализом индивидуальных вариантов геномов. Хотим понять, какие различия в ДНК приводят к болезням и другим значимым для людей признакам. А ещё решаем биотехнологические задачи».
🔵Интересные факты
«Очень много путешествую по работе, мне нравится узнавать, как живет наука в других странах. С 2010 по 2015 каждые полгода я жил в Германии, работал и учился там».
🔵Наука — это
«Возможность сделать что-то важное и реализовать свое хобби в работе».
✔️В Казахстане состоялся второй воркшоп по доверенному искусственному интеллекту WAIT, организованный Исследовательским центром доверенного ИИ ИСП РАН и Институтом AIRI.
Он прошёл в Международном университете информационных технологий в рамках ежегодной конференции AINL: Artificial Intelligence and Natural Language Conference. Выступили представители ИСП РАН, AIRI, МГУ им. М.В. Ломоносова, МФТИ и других организаций.
➡️Научную часть продолжила насыщенная туристическая программа, в рамках которой участники побывали на горнолыжных склонах и в городских музеях.
Запускаем Большой Семинар AIRI — пространство для знакомства исследователей из разных областей и всех, кто интересуется наукой 💡
21 мая в 17:30 российский химик, академик РАН, заведующий лабораторией Института органической химии им. Н. Д. Зелинского РАН Валентин Анаников выступит с докладом «Искусственный интеллект в химии».
Руководитель Большого Семинара AIRI — доктор физико-математических наук, профессор РАН, CEO Института AIRI, профессор Сколтеха Иван Оселедец.
Приглашаем вас разделить с нами запуск проекта, послушать лекцию и поучаствовать в дискуссии.
📌Регистрируйтесь по ссылке и делитесь постом с друзьями и коллегами!
В эти выходные исследователи AIRI примут участие в ROS Meetup ⤵
27 апреля
◼️Кандидат физико-математических наук, руководитель группы «Нейросимвольная интеграция» AIRI Александр Панов примет участие в панельной дискуссии «Reinforcement learning в робототехнике».
◼️Стажер-исследователь AIRI Егор Черепанов и кандидат компьютерных наук, научный сотрудник AIRI Алексей Ковалёв представят доклад «Трансформеры с памятью в обучение с подкреплением для робототехнических задач».
◼️Кандидат физико-математических наук, научный сотрудник AIRI Алексей Староверов выступит с докладом «Онлайн и оффлайн обучение с подкреплением для генерации и оценки робототехнических действий на основе GPT моделей».
28 апреля
◼️Кандидат технических наук, cтарший научный сотрудник AIRI Дмитрий Юдин представит доклад «OpenPlaceRecognition: открытая библиотека мультимодального распознавания места для роботов и беспилотных автомобилей».
Все подробности и регистрация по ссылке📌
Научный консультант Института AIRI и управляющий директор по исследованию данных в «Сбере» Денис Димитров — в лонг-листе шестого рейтинга Forbes «30 до 30» 🚀
Денис — один из главных создателей нейросетей Kandinsky, Kandinsky Video и чат-бота с генеративным искусственным интеллектом GigaChat. Под его руководством команда также создала модель «Digital Петр», которая распознает рукописи Петра I.
📌Из списка номинантов жюри, экспертный совет и редакция выберут топ-30. Проголосовать за Дениса можно на сайте Forbes в рубрике «Наука и технологии» до 30 апреля включительно.
Желаем Денису победы и поздравляем с номинацией!
Датасет Skoltech3D назван одним из лучших для трехмерной реконструкции изображений — Stanford HAI
Специалисты Стэнфордского центра Institute for Human-Centered AI (Stanford HAI) в своем отчете AI Index Report 2024 подвели итоги развития трендов искусственного интеллекта в 2023 году. Рассматривая возможности ИИ в области компьютерного зрения и создания изображений, аналитики упомянули датасет Skoltech3D, предназначенный для многоракурсной 3D-реконструкции. Его в мае 2023 года представили ученые «Сколтеха», Института AIRI, МИФИ, Технического университета Мюнхена (Германия) и Нью-Йоркского университета (США).
Также среди некоторых выводов отчета:
● LLM открыли новые возможности в робототехнике. Мировым лидером по внедрению сервисных роботов является Китай, а Россия входит в топ-10 стран по производству таких устройств;
● более четверти всех частных инвестиций в ИИ в 2023 году пришлось на генеративный ИИ. Основными игроками в этом сегменте являются OpenAI, Anthropic, Hugging Face и Inflection;
● число ИИ-разработок на базе Open Source активно увеличивается. В 2023 году их количество на GitHub выросло более чем на 59%;
● закрытые LLM (Closed Source LLM) работают в среднем на 24,2% эффективнее открытых моделей;
● передовые ИИ-модели (Frontier AI) становятся все более дорогими. Так, в OpenAI потратили $78 млн на обучение GPT-4, а компания Google на Gemini Ultra — $191 млн.
👉🏻 Другие выводы отчета (502 стр.)
Сегодня начался ПМЭФ-2024, рассказываем про выступления наших ученых ⤵️
5 июня
➡️ Сегодняшняя конференция «Диалог лидеров», которая прошла в рамках форума в 12:45, с участием доктора физико-математических наук, профессора РАН, генерального директора Института AIRI, профессора Сколтеха Ивана Оселедца уже доступна в записи на сайте.
6 июня
➡️ В 9 утра руководитель научной группы «Нейроинтерфейсы» AIRI, директор Центра биоэлектрических интерфейсов Института когнитивных нейронаук ВШЭ Алексей Осадчий примет участие в сессии «Биомедицинские технологии — основа технологического суверенитета».
➡️ В 11:00 Иван Оселедец выступит на сессии «Российская газохимия: вызовы и перспективы», которая пройдет при поддержке ОАО «ГИАП».
➡️ Также Иван Оселедец примет участие в сессии «Искусственный интеллект: новые возможности или упущенная выгода» в 17:00.
7 июня
➡️ В 10:30 Иван Оселедец примет участие в сессии «Технологическое предпринимательство — основа развития экономики России»
8 июня
➡️ В 14:00 пройдет сессия «AI Journey — Путешествие в мир искусственного интеллекта» выступят руководитель научной группы «Нейроинтерфейсы» AIRI, директор Центра биоэлектрических интерфейсов Института когнитивных нейронаук Высшей школы экономики Алексей Осадчий и руководитель группы «Доверенные и безопасные интеллектуальные системы» AIRI Олег Рогов. Модератором сессии будет начальник Управления развития перспективных технологий AI Сбербанка, научный консультант AIRI Семён Будённый.
Онлайн-трансляции всех сессий смотрите на сайте форума.
На прошлой неделе исследователи AIRI были на конференции LREC-COLING 2024 в Турине📌
PhD, руководитель группы «Вычислительная семантика» Александр Панченко, доктор компьютерных наук, руководитель группы «Прикладное NLP» Елена Тутубалина и научный сотрудник Михаил Сальников совместно с коллегами из других университетов представили три статьи:
🔷Are Large Language Models Good at Lexical Semantics? A Case of Taxonomy Learning
В статье исследуется применение больших языковых моделей для автоматического построения таксономий. Авторы предложили новый алгоритм для сбора данных такого типа и продемонстрировали решение задач с помощью обученных на них моделях.
🔷CAM 2.0: End-to-End Open Domain Comparative Question Answering System
В статье представляется система для ответа на сравнительные вопросы, например, «Что лучше Python или Matlab?» с использованием методов информационного поиска и LLM и датасет для оценки подобных генеративных систем.
🔷Biomedical Concept Normalization over Nested Entities with Partial UMLS Terminology in Russian
Авторы собрали датасет из вручную размеченных аннотаций к научным статьям биомедицинской тематики для нормализации понятий на русском языке.
Делимся фотографиями с конференции 😁
Второй сезон AIRI Seminars близится к концу. Рассказываем, как можно попасть на заключительные семинары ⤵️
⚫Тема: ИИ в исследовании долголетия
⚫Дата и время: 5 июня в 17:00
⚫Докладчик: Дмитрий Крюков, AIRI, Сколтех, ComputAge
⚫Оппонент: Александр Фединцев, RLE Group
⚫Описание доклада и регистрация на офлайн-формат уже на сайте
Трансляция и запись семинара будет по ссылке.
Про заключительный семинар второго сезона расскажем позже 🔔
Сегодня в рубрике #хакатоны «Лидеры цифровой трансформации» ⤵️
В хакатоне представлено 25 задач с общим призовым фондом — 50 000 000 ₽. Организаторы ждут команды от 2 до 5 человек от 18 лет из РФ и других стран мира.
Регистрация открыта до 5 июня по ссылке 💡
Большой Семинар AIRI начнется через несколько минут, подключайтесь 🍿
Читать полностью…
Возобновляем AIRI Seminars после небольшого перерыва и рассказываем подробности про следующий доклад ⤵
⚫Тема: Глубинная глубокая стимуляция мозга
⚫Дата и время: 22 мая в 17:00
⚫Докладчик: Дмитрий Дылов, AIRI, Сколтех
⚫Оппонент: Михаил Киселев, Чувашский государственный университет имени И. Н. Ульянова
⚫Описание доклада и регистрация на офлайн-формат уже на сайте
Онлайн-формат, как всегда, будет на нашем YouTube-канале, до встречи!
До Большого Семинара AIRI остается всего 5 дней, рассказываем про то, как можно принять участие в запуске проекта и послушать лекцию про искусственный интеллект в химии ⤵️
📌Офлайн-формат: регистрация открыта по ссылке до 23:59 16 мая. Будем рады видеть вас очно в нашем офисе в Сити.
⏯Онлайн-формат: присоединиться к трансляции можно на нашем YouTube-канале или в группе ВКонтакте.
До встречи!
Вчера стартовала конференция ICLR 2024 в Вене, Австрия. Делимся фотографиями и рассказываем, какие статьи исследователей AIRI представлены в этом году ⤵️
🔵Object-Centric Learning with Slot Mixture Module
В статье предложено обобщение подхода Slot Attention, используемого для объектно-центрированных представлений, в котором кластеризация проводится не с помощью k-means, а с помощью Gaussian Mixture Model.
🔵Recurrent memory augmentation of GENA-LM improves performance on long DNA sequence tasks
Статья посвящена созданию нового метода для анализа длинных последовательностей ДНК на основе трансформеров с рекуррентной памятью. Авторы статьи показали, что этот метод можно применять для решения разных биологических задач.
🔵Chemical Language Models Have Problems with Chemistry: A Case Study on Molecule Captioning Task
В данной статье экспериментально показано, что современные языковые модели, адаптированные для работы с биохимическими и биомедицинскими данными, остаются уязвимыми даже для небольших изменений в способе представления молекул.
🔵Light Schrödinger Bridge
Авторы статьи создали легковесный солвер, который решает задачу построения моста Шрёдингера.
🔵Energy-guided Entropic Neural Optimal Transport
Исследование о применении энергетических моделей к решению задачи о построении оптимального транспорта с энтропийной регуляризацией с помощью нейросетей.
🔵Neural Optimal Transport with General Cost Functionals
Статья о преимуществах использования общего функционала потерь вместо классических функций типа l2 при решении задачи оптимального транспорта.
🔵Incomplete Policy Learning Algorithms (статья скоро появится)
Исследование посвящено применению методов оптимального транспорта для решения задачи обучения с подкреплением. Статья сопровождает постер, который учёные представят на воркшопе Generative Models for Decision Making, посвящённом применению генеративных моделей в принятии решений.
И еще одна статья, про которую мы расскажем чуть позже 🪄
На связи рубрика #хакатоны 🔔
В блокчейн-хакатоне DeFi Hack 2024 с призовым фондом 1 000 000 рублей представлено сразу 7 задач:
⚫️Применение блокчейн для управления углеродными активами
⚫️Decentralized Identity
⚫️Применение LLM и ML для анализа блокчейн-данных
⚫️Ассистент по работе с web3
⚫️Применение блокчейн для повышения прозрачности цепочек поставок
⚫️Построение DEX без применения AMM-подходов. DEX, построенная на принципах заявок и/или применения оракулов
⚫️Применение блокчейн для управления медицинскими данными
Сроки подачи заявок: с 25 апреля по 2 июня. Финалисты будут объявлены 12 июня, а победители — 27 июня, все подробности на сайте.
На прошлой неделе в Казахстане мы провели воркшоп WAIT, делимся подробностями ⤵
Читать полностью…
Сегодня в рубрике #AIRI_в_лицах Егор Ершов — кандидат физико-математических наук, руководитель группы «Цветовая вычислительная фотография» AIRI и руководитель сектора репродукции и синтеза цвета ИППИ РАН ⤵
🔵Почему наука?
«Выпустившись из сильного математического класса, я выбрал путь инженера, поступил в Бауманку и проучился там 2 года, понял, что хочу больше математики и модельного мышления, и перешел в МФТИ.
На Физтехе в конечном итоге я попал под научное руководство Гасникова А.В. и Нестерова Ю.Е. Позднее, в ИППИ РАН, я нашел себя как специалист по компьютерному зрению, цвету и колориметрии, а сейчас развиваю методы цветовой вычислительной фотографии в Институте AIRI».
🔵В свободное время
«Занимаюсь бегом, за первую половину апреля я пробежал уже 100 км. Также сейчас занимаюсь мотокроссом и участвую в соревнованиях. В моей жизни всегда было очень много спорта, например, разряды по плаванию и картингу».
🔵Вдохновение
«Меня вдохновляет любопытство и желание навести порядок там, где его нет, особенно когда я понимаю, что я действительно могу помочь с этим. А еще возможность узнать что-то впервые».
🔵На работе
«Работа группы заключается в создании метрик оценки качества изображений, проведении международных соревнований по вычислительной фотографии и разработке методов анализа медицинских изображений. Мы по сути скрещиваем изучение цвета с нейросетями. Исследуем, как человек воспринимает цвета, прогнозируем эстетические предпочтения — по этой теме готовится совместная работа с коллегами из Италии и Хорватии. В медицине фокусируемся на анализе экспресс-тестов, сильно углубились в оценку неопределенности при определении групп крови».
🔵Интересные факты
«За последние пять лет я трижды спал на льду Байкала зимой, ночевал в Хибинских тундрах в -40° и кильнулся в Северно-Ледовитом океане на байдарке».
🔵Наука — это
«Для меня наука — это открытие и создание нового».
Все интервью с исследователями собраны в канале по тегу #AIRIвлицах 💡
Следующий выпуск #AIRISeminars пройдет в среду 24 апреля в 17:00 ⤵
⚫Докладчик: Евгений Винитский, New York University
⚫Оппонент: Константин Яковлев, AIRI
⚫Тема: Real-world reinforcement learning in multi-agent systems
📌В этот раз доклад будет полностью на английском языке, подробное описание и регистрация на офлайн-формат уже на сайте. Онлайн-формат — в трансляции на YouTube.
До встречи!
🔥 Датасет, который мы подготовили вместе с исследователями из Сколтеха, МИФИ, Технического университета Мюнхена и Нью-Йоркского университета, попал в отчет Стэнфордского центра Institute for Human-Centered AI (Stanford HAI) AI Index Report 2024.
Подробности, ссылки и выводы в посте ниже ⤵
Рассказываем про последние публикации в нашем блоге ⤵️
⚫️Статья про то, как информация о ближайших соседях помогла точнее дополнять графы знаний
Графы знаний применяют в самых разных областях: интеллектуальный анализ данных, поиск информации, вопросно-ответные системы и системы рекомендаций. Но иногда в них встречаются пропуски, для борьбы с которыми существуют методы дополнения графов знаний.
Исследователи из МФТИ, AIRI и Лондонского института Математических Наук предложили метод, который учитывает при этом ближайшие окрестности вершин графа. Статья с результатами научного исследования опубликована в сборнике конференции EMNLP 2023. Кстати, эта научная работа началась как проект Аллы Чепуровой, когда она была студентом на нашей летней школе в 2022 году.
⚫️Рассказ про два новых подхода, которые улучшили многоагентное планирование пути в децентрализованных условиях
При разработке видеоигр, планировании работы курьеров и автоматизации складов нужны алгоритмы, которые позволяют всем участникам движения достигать целей, не мешая друг другу. Такая задача получила название многоагентного планирования пути. На недавно прошедшей конференции AAAI-24 команда исследователей из группы «Нейросимвольная интеграция» AIRI представила сразу два новых подхода (первый и второй), которые решают децентрализованный вариант этой задачи в условиях частичной наблюдаемости.
⚫️Блог про блочный поиск и то, как он существенно ускорил анонимное многоагентное планирование пути
Завершаем подборку рассказом про еще один доклад с конференции AAAI-24 от группы «Нейросимвольная интеграция», который посвящен проблеме многоагентного планирования пути в централизованной постановке. На этот раз исследователи показали, что блочный поиск маршрутов способен сильно ускорить достижение агентами целей.
Еще больше статей — в нашем блоге по ссылке 📎