55444
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
Неочевидные тренды в ИИ ресерче: подборка литературы от исследователей
Только что прошла ключевая сессия Data Fusion с обзором главных актуальных исследований в ИИ (запись). Четверо ученых и руководителей научных лабораторий рассказали, в каких областях сейчас самый живой и многообещающий рисерч. Пересказываем:
1. Parameter-Free Optimization. Подбор гиперпараметров – боль любого процесса обучения. Здесь же мы пытаемся подбирать гиперпараметры не наобум, а как-то автоматизированно. Например, рассчитывая растояние до теоретического оптимума. Лучшие статьи: раз, два, три.
2. Федеративное обучение. Aka защищенное обучение aka персонализированное обучение. То есть модель обучается на данных так, что они не попадают в руки разработчиков. Это могут быть данные кучи разных компаний/людей, которые лежат на разных серверах и остаются защищенными. Лучшие статьи: раз, два, три.
3. Текстовые диффузионные модели. Идея состоит в том, чтобы вместо генерации токенов один за одним генерировать их в произвольном порядке, как бы постепенно расшумляя замаскированную последовательность. Это больше похоже на то, как текст пишут люди. Почитать: раз, два.
4. Нейросетевой стандарт сжатия изображений JPEG AI. Он был принят на международном уровне недавно, и это первый полностью ИИшный стандарт. Возможно, это действительно будущее изображений. Во-первых, оказывается, что с таким сжатием очень легко классифицировать сгенерированные картинки. Во-вторых, это быстро и можно "бесплатно" прикручивать декодеры, которые будут и сжимать, и обрабатывать каринку под запрос. Почитать: раз, два.
5. Генеративные потоковые сети. Свежий подход для генерации дискретных структур. Ну, например, графов. Так можно генерировать молекулы с заданными свойствами, CoT логических рассуждений для LLM или переформулировать задачу RL. Почитать.
И, конечно, все упоминали RL и ризонинг. Тут без комментариев, вы и так все знаете. Список, что почитать.
Что бы добавили?
В LinkedIn найдено еще одно подтверждение того, что все пути в IT ведут на ферму
Классический роадмап ML-щика
На Kaggle обновление: они продолжают усиливать интеграцию Google Colab
1. Теперь можно синхронизировать апдейты между платформами. Если вы загружали блокнот из Colab, а потом еще раз меняли его в Colab, то на Kaggle эти изменения появятся по одному щелчку мыши.
2. Кроме того, появилась кнопка «Изменить в Colab». Она редиректнет вас из ноутбука Kaggle в Colab, и все внесеннные после этого изменения появятся на Kaggle автоматически.
3. Ну и приятная мелочь: теперь можно импортировать из Colab тетрадки пачками, а не по одной за раз.
www.kaggle.com/product-announcements/570265
Теперь официально: OpenAI делает соцсеть
Она будет похожа на X. Сейчас уже даже есть внутренний прототип: галерея изображений, сгенерированных пользователями. Ее ночью раскатили на всех юзеров, уже можно посмотреть (бесплатным тоже доступно, да). Пока что стартап собирает фидбэк.
Зачем им это? Первая причина – это данные. Вторая – тоже данные. Много открытых онлайн данных для обучения, как у Meta и XAI. Ну и бесплатная реклама через интеграцию моделей, как для Grok в X.
А теперь вспомним, как пару месяцев назад в ответ на запрос Маска купить OpenAI Альтман ответил «Мы бы лучше купили X». Масштабы пасхалки представили?
Оп, Google начали нанимать на позицию Post-AGI Research
Ключевые вопросы включают изучение траектории от AGI к ASI, сознание в машинах, влияние ASI на основы человеческого общества. Вы также будете сотрудничать с кросс-функциональными командами разработки и проводить эксперименты для нашей миссии.
Яндекс запускает бета-версию ризонинга
На претрейн-модели делают SFT на ответах YandexGPT 5 Pro. После этого проводят еще один SFT с оптимизированным датасетом, а потом большой этап обучения с подкреплением + RLHF. Для ускорения обучения гоняют все на решении от самого Яндекса – YaFSDP (есть в опенсорсе).
Экспериментируют и с онлайн RL, и с оффлайн: проводят обучение на парах вопрос-ответ со стадии SFT YandexGPT 5 Pro.. Занятно посмотреть, что в итоге будет на релизе.
Попробовать уже можно в чате с Алисой, нужно просто активировать модель в настройках.
Плюсом Яндекс дает возможность тут же потестить DeepSeek R1. Похоже на Perplexity, который предлагает сразу несколько SOTA-моделей на выбор. Это нужно для того чтобы собрать максимальное количество обратной связи. Ризонинг все-таки более нишевый, чем обычные LLM, поэтому важно понять, насколько такой продукт полезен российскому пользователю и собрать датасет реальных запросов и задач.
Хабр
Еще одна специализированная версия Gemma от Google: теперь для общения с дельфинами
Моделька так и называется – DolphinGemma. Цель – анализировать и генерировать звуковые последовательности, имитирующие естественную коммуникацию дельфинов. Это буквально ключ к межвидовому общению.
Над проектом Google работали с Wild Dolphin Project. Это организация, которая дольше всех в мире (с 1985 года, на секундочку) собирает данные о дельфинах и записывает их разговоры в естественной среде. У них хранятся десятилетия видеозаписей и аудиозаписей, которые дополнены информацией об индивидуальных характеристиках дельфинов (характер, жизненный путь, поведение).
Сама модель DolphinGemma небольшая, около 400M, можно запустить на смартфоне. Ключевой момент – это обучение токенизатора SoundStream. В остальном обычная LM, которая пытается предсказать следующий токен. Только вместо человеческого языка – 🐬
Тесты показали, что DolphinGemma реально способна извлекать паттерны и структуры из звуков животных. Следующим шагом исследователи хотят создать систему CHAT (Cetacean Hearing Augmentation Telemetry), то есть установить какой-то общий "словарь", используя привычные дельфинам вещи – рыбу, водоросли, яркие предметы.
Обещают даже скоро опенсорснуть -> blog.google/technology/ai/dolphingemma/
Тем временем новенькую GPT-4.1 уже можно попробовать ✨ бесплатно ✨ в Cursor, GitHub Copilot и на AlphaXiv
Вайбового рабочего дня 💻
Тем временем HuggingFace купили робо-стартап Pollen Robotics
Это тот самый стартап, вместе с которым HF в прошлом году сделали свой знаменитый открытый фреймворк Le Robot для создания домашних роботов практически из коробки (все датасеты, скрипты для обучения и даже поставщиков деталей уже собрали в одно целое за вас).
Основной продукт Pollen Robotics – опенсорсный робот Reachy 2 (наверху). Его HF планируют опенсорсить и дальше и улучшать вместе с сообществом. Также готового Reachy 2 можно купить за 70 000 долларов.
Наше видение: будущее, в котором каждый может создавать и контролировать своих собственных роботов вместо того, чтобы полагаться на закрытые, дорогие черные ящики.Читать полностью…
Бывшие инженеры Meta в резюме специально акцентируют внимание на том, что они никак не участвовали в разработке Llama 4
Кажется, это все, что нужно знать об этом релизе
Ян Лекун: "Я больше не заинтересован в LLM, они в прошлом"
На своем свежем интервью на конференции Nvidia GTC ученый сказал, что сейчас LLMs уже принадлежат не академии, а индустрии, где из них пытаются выжать все соки. С точки зрения науки они в прошлом, и сейчас наиболее интересны другие направления:
1. Системы которые понимают физический мир
2. Системы у которых есть постоянная память
3. Системы, которые умеют рассуждать и планировать (в LLM, по мнению Лекуна, есть только отдаленное подобие настоящего ризонинга)
Полная запись
Кажется, нас ждет целая неделя релизов от OpenAI, и первый будет уже сегодня
Хорошее начало понедельника
Финансовый директор OpenAI Сара Фриар дала новое интервью и сказала, что AGI, возможно, уже здесь, просто мы пока не научились использовать его в полную силу
Также Сара раскрыла, что OpenAI работает над собственным агентом для программирования, но, в отличие от Cursor, это будет не просто бустер возможностей программистов, а полноценный программист сам по себе.
Ссылка на полное интервью
P.S. А Альтман, кстати, вчера выступал на TED
До окончания приема заявок на конкурс Мэра «Новатор Москвы» остался месяц! Ваша разработка может изменить столицу
Создали технологию для комфорта, безопасности или цифровизации города? Время подавать заявку! «Новатор Москвы» ищет разработчиков, учёных и стартапы с идеями для улучшения городской среды. Эксперты оценят вашу технологию, поделятся связями и помогут внедрить проект в столице.
✔️ Три номинации:
• «Проект будущего» — для идей на старте (приз: 500 тысяч рублей)
• «Меняющие реальность» — для MVP-проектов (приз: 1 млн рублей)
• «Лидеры инноваций» — для готовых решений (приз: 1.5 млн рублей)
📌 Выберите своё направление:
• медицина и фармацевтика
• промышленность
• транспорт и логистика
• благоустройство и строительство
• экология и охрана среды
• общественные проекты
⏰ Важно: до конца приёма заявок меньше месяца. Как подать заявку — смотрите в видео.
Не теряйте время — дедлайн 5 мая! Отправляйте заявку прямо сейчас на сайте. Остались вопросы? Персональный менеджер @novator_moscow поможет с оформлением заявки и расскажет всё о конкурсе.
Может ли LLM расследовать преступления?
Однажды Илья Суцкевер в своем интервью объяснял, почему задача next token prediction может привести к реальному интеллекту, и приводил вот такой пример:
Представьте, что вам нужно прочитать огромный детектив и в конце предсказать последнее слово в предложении "Оказалось, убийцей был ...". Если модель может это сделать, значит, она действительно понимает историю.
Радослав Нейчев: «То, что в науке нет денег – это и миф, и нет» 😭
На Data Fusion сейчас прошла дискуссия про разоблачение мифов в ИИ и ML. Обсудили зарплату теоретиков, то, что бизнес не умеет внедрять ИИ, и даже гуманитариев в ML (да, так тоже можно). Понравилась цитата Радослава Нейчева, руководителя из Яндекса и зам.завкафедры МОиЦГ МФТИ:
«Хорошие деньги в науке получать можно, просто они висят не так низко, как в других сферах. Тут ничего не заработаешь, если филонить.
В науке нужно постоянно бежать, чтобы просто оставаться на месте. Ты должен быть умен, начитан, трудолюбив и иметь чутье. Это сложно, но это единственный вариант заработать, и то не сразу. Сначала ты работаешь на имя, потом оно на тебя»
⚫ А мы тут нашей командой приехали на конференцию Data Fusion
Сегодня и завтра здесь будет очень много технических ML-докладов и занятных открытых дискуссий. Всем самым интересным будем делиться здесь.
Трансляцию, кстати, уже запустили, так что можете взглянуть на программу и посмотреть доклады в онлайне. Вот на что пойдем сегодня сами и советуем вам:
➖ Доклад про футурологию ИИ и цифровое послесмертие от Константина Воронцова (9:30)
➖ Дискуссия про мифы ИИ с Юрием Дорном и Радославом Нейчевым (13:00)
➖ Дебаты о науке и жизни с Андреем Райгородским (14:10)
➖ Большой разговор про ключевые вызовы в развитии LLM (15:50)
➖ Обзор актуальных многообещающих исследований и трендов в ML-ресерче (17:00)
➖ Кейс сессии про агентов, ИИ в медицине, MLOps, бигдату и ML в бизнесе (весь день)
OpenAI выкатили новый гайд для промпт-инженеринга GPT-4.1 и раскрыли главную загадку длинного контекста
Если у вас длинный контекст + инструкции, то лучше помещать инструкции И в начало, И в конец. Но если вы очень экономите токены, то – в начало. Теперь вы знаете.
Наверное, так специально предобрабатывали трейн, потому что по умолчанию у LLM обычно все наоборот (инструкции перед контекстом воспринимаются хуже).
P.S. В сам гайд тоже советуем заглянуть. Там много примеров и готовых удобных заготовок.
В Nvidia скрестили трансформеры с Mamba-2 и выпустили Nemotron-H
Исследователи взяли обычный трансформер, но большинство слоев внимания заменили на слои Mamba-2. Mamba – это модель из семейства State space models, это такой умный вариант LSTM (вот тут наш понятный разбор того, как SSM работают).
Для модели 56B осталось только 10 слоев селф-аттеншена, а для модели 8B – 4 слоя. С точки зрения экономии ресурсов и ускорения это очень круто, потому что в слоях mamba память константная. То есть вычисления вообще не зависят от длины контекста (в отличие от внимания, которое масштабируется квадратично).
Интуитивно кажется, что тогда должно страдать качество. Но нет: результаты сопоставимы с чистыми трансформерами схожих размеров. Например, Nemotron-H-56B примерно на уровне с Llama-3.1-70B и Qwen-2.5-72B. При этом летает все в 2-3 раза быстрее.
Интересно, появится ли моделька на арене (веса здесь)
arxiv.org/pdf/2504.03624
OpenAI преодолел отметку в 800 000 000 пользователей. Это 10% населения Земли.
Если судить по количеству еженедельных активных пользователей, за 2024 они выросли в 4 раза. Сообщается, что к концу 2025 стартап планирует достичь 1 миллиарда юзеров (и это уже не звучит как что-то нереальное).
Спасибо Ghibli генерациям
Мы слишком много знаем!
И просто обязаны этим поделиться. За 5 лет существования школы karpovꓸcourses мы обучили более 95 000 человек, и 80% наших выпускников уже работают в VK, Яндексе, Авито и других известных компаниях. И мы решили сделать для вас Karpov.Conf — чтобы поделиться знаниями не только с нашими студентами, но и с каждым, кто интересуется аналитикой данных и другими направлениями Data Science.
Будем обсуждать особенности работы с Power BI и практическое применение ML-моделей в крупных компаниях, разберем пользовательский опыт и реализацию аналитики на базе Yagpt, узнаем, как дерево метрик помогает принимать решения, и какие ошибки совершают крупные компании в контексте аналитики.
Мы собрали действительно звездный состав спикеров, мы очень старались сделать это мероприятие максимально полезным — вам осталось только не пропустить его!
Регистрируйтесь на KARPOV.CONF 2025 — включите Data-driven на полную!
⚡️ OpenAI показали свои новые модели GPT-4.1, GPT-4.1 mini и GPT-4.1 nano
В чате их не будет: они только для разработчиков в API. У всех трех моделей контекст 1 миллион токенов, для OpenAI это впервые.
Для программирования модель действительно хороша: на SWE-bench обгоняет даже o1 high. При этом стоит намного дешевле ($2.00 / 1M инпут и $8.00 / 1M аутпут). Плюсом неплохие способноси на мультимодальных задачах и математике.
Последний график – масштабирование на росте контекста. Видно, что 4.1 на голову лучше остальных моделей OpenAI на длинных последовательностях, то есть даже на огромных документах или кодовых базах не будет терять детали.
Цены и детали – здесь, вот тут можно попробовать в песочнице, а вот блогпост со всеми метриками
⚡️ Стрим OpenAI через полтора часа
P.S. Ссылку прикрепим к этому сообщению, как только она появится
Открыт приём статей в научный журнал Международной конференции по ИИ — AI Journey.
Главный приз за лучшую статью — 1 миллион рублей. Ключевые работы опубликуют в спецвыпуске «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics.
Что даёт участие:
• Шанс выиграть 1 000 000₽
• Публикация в авторитетном журнале с индексацией Scopus/WoS
• Возможность представить исследование на площадке конференции AI Journey 2025
Условия:
— Статья должна быть оригинальной (не опубликована ранее)
— Принимаются работы на русском и английском
— Дедлайн — 20 августа 2025
Как подать заявку: https://aij.ru/science
Google представили специальную версию Gemma для разработки лекарств
Семейство моделей TxGemma специально обучили понимать и предсказывать свойства препарата на всем пути разработки. Обычно как раз в этом основной затык в разработке лекарств: ученым надо перепробовать кучу вариантов. Это долго и дорого, а TxGemma призвана процесс упростить.
Интересно, что это универсальная платформа: модели умеют обрабатывать не только белки, но и малые молекулы, нуклеиновые кислоты, заболевания и вирусы + статьи, клиническую информацию и другие доп.материалы.
В семействе есть модели на 2B, 9B и 27B. Это TxGemma-Predict. Из них еще сделали TxGemma-Chat, с которым ученые могут общаться, и Agentic-Tx – агента, который самостоятельно выстраивает процесс ресерча и вызывает внешние медицинские инструменты типа PubMed.
Базовая модель – Gemma-2. Дообучали на 67 млрд токенов из 66 разных датасетов Therapeutic Data Commons. По бенчмаркам – SOTA. Например, по химии и биологии на Humanity’s Last Exam выбивает 81.7% против 64.5% у предшедственников. А на GPQA (Diamond) улучшение более чем на 26%.
✨ И главное: все в опенсорсе
Статья | Блогпост | Репа
AI Index Report 2025
Стенфордский университет опубликовал отчет о влиянии ИИ с 2013 года по 2025. Отчет огромный, поэтому мы постарались выбрать самые интересные моменты:
➡️ Китай стал лидером по количеству публикаций об ИИ, занимая 23,2% от общего числа публикаций, опередив любую другую страну. Однако за последние три года США выпустили больше статей, вошедших в топ-100 самых цитируемых. 1:1.
➡️ США продолжают лидировать по числу самых известных моделей. На конец 2024 года США выпустили 40 известных моделей, в то время как Китай — 15, а Европа — всего 3.
➡️ Вычислительные затраты на обучение моделей удваиваются каждые пять месяцев, объемы наборов данных для LLM увеличиваются каждые восемь месяцев. Мощность моделей растет ежегодно.
➡️ Стоимость запроса к модели ИИ, которая достигает эквивалентного уровня GPT-3.5 (64.8) на MMLU, снизилась с $20 за миллион токенов в ноябре 2022 года до $0.07 в октябре 2024 года (Gemini-1.5-Flash-8B)—снижение более чем в 280 раз за 18 месяцев. В зависимости от задачи, цены на вывод LLM снизились от 9 до 900 раз в год.
➡️ Выбросы углекислого газа при обучении моделей возросли более чем в 100 000 раз: для сравнения, обучение AlexNet привело к выбросам в 0,01 тонны, в то время как обучение LLama 3.1 405B — к выбросам в 8930 тонн.
➡️ В 2023 году исследователи ИИ представили несколько новых сложных бенчмарков, включая MMMU, GPQA и SWE-bench, к 2024 году производительность ИИ на этих бенчмарках значительно улучшилась, с увеличением на 18,8 и 48,9 процентных пунктов на MMMU и GPQA соответственно. На SWE-bench ИИ-системы могли решить всего 4,4% задач по программированию в 2023 году—эта цифра выросла до 71,7% в 2024 году.
➡️ Меньшие модели обеспечивают более высокую производительность. В 2022 году самой маленькой моделью, достигшей более 60% на MMLU, была PaLM с 540 миллиардами параметров. К 2024 году Microsoft’s Phi-3-mini с всего 3,8 миллиардами параметров достигла того же порога, что представляет собой 142-кратное уменьшение за два года.
Новость прислал подписчик в нашем чате ❤️
Стартап Ильи Суцкевера Safe Superintelligence оценили в 32 миллиарда долларов
Об этом сообщило издание Financial Times. То есть стоимость компании без продуктов, без анонсов и даже без нормального лендинга оценили в половину стоимости Anthropic, которая на рынке уже 4 года.
Также сообщается, что Safe Superintelligence привлекает еще один раунд финансирования. В прошлый раз они получили миллиард, и в этот раз планируют привлечь еще столько же.
Стартап Ильи Суцкевера будет сотрудничать с Google и пользоваться TPU
Safe Superintelligence теперь официально в партнерстве с Google Cloud. Напоминаем, что о продукте компании пока все еще ничего неизвестно, но, судя по сделке и привлеченным инвестициям, вычислительный стек там будет мощный.
Получается своего рода возвращение Ильи в Google (начинал свою карьеру он именно в Google Brain)
🚀 Сегодня День космонавтики! По случаю собрали топ-5 интересных кейсов применения ML в космических исследованиях
1. В 2023 ИИ впервые без участия человека нашел и классифицировал сверхновую звезду SN2023tyk (а это большая честь даже для людей-ученых). Система обнаружения называется Bright Transient Survey Bot (BTSbot). Это агент, который автономно просматривает снимки, выделяет кандидатов и запрашивает из баз телескопов доп.информацию, чтобы подтвердить/опровергнуть гипотезу.
2. В том же 2023 Оксфорские ученые впервые обучили ML-модель прямо в космосе, на борту спутника. Пайплайн был загружен на коммерческий спутник и обучен на бортовых данных. Получилась полноценная модель для мониторинга стихийных бедствий.
3. В прошлом году NASA запустили на Марс марсоход с ИИ. Система анализириует породы и участки планеты и сама решает, что стоит изучить подробнее. Это первый случай использования AI на Марсе для принятия решений без участия Земли.
4. В том же NASA уже пару лет используют HLS Geospatial Foundation Model – первую фундаментальную модель для геопространственных данных зондирования. Она отслеживает изменения земного покрова, мониторит стихийные бедствия и даже предсказывает урожайность. И кстати, ее выложили в опенсорс и постоянно обновляют.
5. За то, чтобы спутники не сталкивались на орбите, тоже в основном отвечает ИИ. Например, SpaceX делились статистикой о том, что за пол года спутники Starlink совершили более 10к маневров для избежания столкновений, и все это без участия человека.
С праздником, в общем