55444
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
Яндекс запускает бета-версию ризонинга
На претрейн-модели делают SFT на ответах YandexGPT 5 Pro. После этого проводят еще один SFT с оптимизированным датасетом, а потом большой этап обучения с подкреплением + RLHF. Для ускорения обучения гоняют все на решении от самого Яндекса – YaFSDP (есть в опенсорсе).
Экспериментируют и с онлайн RL, и с оффлайн: проводят обучение на парах вопрос-ответ со стадии SFT YandexGPT 5 Pro.. Занятно посмотреть, что в итоге будет на релизе.
Попробовать уже можно в чате с Алисой, нужно просто активировать модель в настройках.
Плюсом Яндекс дает возможность тут же потестить DeepSeek R1. Похоже на Perplexity, который предлагает сразу несколько SOTA-моделей на выбор. Это нужно для того чтобы собрать максимальное количество обратной связи. Ризонинг все-таки более нишевый, чем обычные LLM, поэтому важно понять, насколько такой продукт полезен российскому пользователю и собрать датасет реальных запросов и задач.
Хабр
Еще одна специализированная версия Gemma от Google: теперь для общения с дельфинами
Моделька так и называется – DolphinGemma. Цель – анализировать и генерировать звуковые последовательности, имитирующие естественную коммуникацию дельфинов. Это буквально ключ к межвидовому общению.
Над проектом Google работали с Wild Dolphin Project. Это организация, которая дольше всех в мире (с 1985 года, на секундочку) собирает данные о дельфинах и записывает их разговоры в естественной среде. У них хранятся десятилетия видеозаписей и аудиозаписей, которые дополнены информацией об индивидуальных характеристиках дельфинов (характер, жизненный путь, поведение).
Сама модель DolphinGemma небольшая, около 400M, можно запустить на смартфоне. Ключевой момент – это обучение токенизатора SoundStream. В остальном обычная LM, которая пытается предсказать следующий токен. Только вместо человеческого языка – 🐬
Тесты показали, что DolphinGemma реально способна извлекать паттерны и структуры из звуков животных. Следующим шагом исследователи хотят создать систему CHAT (Cetacean Hearing Augmentation Telemetry), то есть установить какой-то общий "словарь", используя привычные дельфинам вещи – рыбу, водоросли, яркие предметы.
Обещают даже скоро опенсорснуть -> blog.google/technology/ai/dolphingemma/
Тем временем новенькую GPT-4.1 уже можно попробовать ✨ бесплатно ✨ в Cursor, GitHub Copilot и на AlphaXiv
Вайбового рабочего дня 💻
Тем временем HuggingFace купили робо-стартап Pollen Robotics
Это тот самый стартап, вместе с которым HF в прошлом году сделали свой знаменитый открытый фреймворк Le Robot для создания домашних роботов практически из коробки (все датасеты, скрипты для обучения и даже поставщиков деталей уже собрали в одно целое за вас).
Основной продукт Pollen Robotics – опенсорсный робот Reachy 2 (наверху). Его HF планируют опенсорсить и дальше и улучшать вместе с сообществом. Также готового Reachy 2 можно купить за 70 000 долларов.
Наше видение: будущее, в котором каждый может создавать и контролировать своих собственных роботов вместо того, чтобы полагаться на закрытые, дорогие черные ящики.Читать полностью…
Бывшие инженеры Meta в резюме специально акцентируют внимание на том, что они никак не участвовали в разработке Llama 4
Кажется, это все, что нужно знать об этом релизе
Ян Лекун: "Я больше не заинтересован в LLM, они в прошлом"
На своем свежем интервью на конференции Nvidia GTC ученый сказал, что сейчас LLMs уже принадлежат не академии, а индустрии, где из них пытаются выжать все соки. С точки зрения науки они в прошлом, и сейчас наиболее интересны другие направления:
1. Системы которые понимают физический мир
2. Системы у которых есть постоянная память
3. Системы, которые умеют рассуждать и планировать (в LLM, по мнению Лекуна, есть только отдаленное подобие настоящего ризонинга)
Полная запись
Кажется, нас ждет целая неделя релизов от OpenAI, и первый будет уже сегодня
Хорошее начало понедельника
Финансовый директор OpenAI Сара Фриар дала новое интервью и сказала, что AGI, возможно, уже здесь, просто мы пока не научились использовать его в полную силу
Также Сара раскрыла, что OpenAI работает над собственным агентом для программирования, но, в отличие от Cursor, это будет не просто бустер возможностей программистов, а полноценный программист сам по себе.
Ссылка на полное интервью
P.S. А Альтман, кстати, вчера выступал на TED
До окончания приема заявок на конкурс Мэра «Новатор Москвы» остался месяц! Ваша разработка может изменить столицу
Создали технологию для комфорта, безопасности или цифровизации города? Время подавать заявку! «Новатор Москвы» ищет разработчиков, учёных и стартапы с идеями для улучшения городской среды. Эксперты оценят вашу технологию, поделятся связями и помогут внедрить проект в столице.
✔️ Три номинации:
• «Проект будущего» — для идей на старте (приз: 500 тысяч рублей)
• «Меняющие реальность» — для MVP-проектов (приз: 1 млн рублей)
• «Лидеры инноваций» — для готовых решений (приз: 1.5 млн рублей)
📌 Выберите своё направление:
• медицина и фармацевтика
• промышленность
• транспорт и логистика
• благоустройство и строительство
• экология и охрана среды
• общественные проекты
⏰ Важно: до конца приёма заявок меньше месяца. Как подать заявку — смотрите в видео.
Не теряйте время — дедлайн 5 мая! Отправляйте заявку прямо сейчас на сайте. Остались вопросы? Персональный менеджер @novator_moscow поможет с оформлением заявки и расскажет всё о конкурсе.
Forbes опубликовали топ-50 самых перспективных ИИ-стартапов этого года
По сравнению с прошлым годом в числе новичков Anysphere (это разрабы Cursor), Thinking Machine Lab Миры Мурати, World Labs Фей-Фей Ли и Mercor (у них инструмент для автоматизации процесса найма и интервьюирования сотрудников).
Также появляется все больше стартапов, которые занимаются инфраструктурой для ИИ. TogetherAI, VAST Data, SambaNova, Lambda, Crusoe и прочие. Ну и роботы с агентами, конечно, тоже на волне.
Самая дорогая компания в списке – OpenAI ($64 млрд). Следом за ними Databricks ($19B), Anthropic ($17В) и XAI ($12В).
Полный список тут. Если кого-то не узнаете, можете тыкнуть на название и провалитесь в описание.
В Cloud.ru Evolution появится ИИ-помощник
Об этом рассказали на конференции GoCloud. Ассистент будет работать бесплатно и сможет помочь с автоматизацией рутинных задач, настройкой облака и даже разработкой AI-агентов.
Релиз обещают уже в этом году. В начале завезут базу, а потом постепенно будут добавлять новые фичи, вплоть до автоматизации мониторинга и масштабирования инфраструктуры.
«Мы планируем, что к 2026 году AI-помощники будут выполнять большинство задач в частотных сценариях работы в облаке. Это кардинально изменит опыт пользователей при работе с облачными продуктами. С момента запуска AI-помощники будут доступны в публичных, гибридных и частных облаках Cloud.ru», — добавил Евгений Колбин.
Google раскатили в своем сервисе NotebookLM бесплатный Deep Research для поиска источников
1. Заходим на notebooklm.google
2. Задаем любую тему
3. Модель бодро найдет вам 10 и больше самых релевантных веб-источников и аннотирует каждый в соответствии с запросом
4. Дальше бота можно попросить построить по ним майндмэп, написать конспект, сделать подкаст, ну или просто задать доп.вопросы
Умный гугл от гугл 😎
OpenAI опенсорснули еще один бенчмарк для агентов
BrowseComp проверяет, насколько модели способны находить в интернете труднодоступную или плохо-гуглящуюся информацию.
Подобных тестов есть уже несколько, но тут фишка именно в сложности вопросов. Ну, например:
Найди мне название научной работы, опубликованной на конференции EMNLP в период с 2018 по 2023 год, где первый автор получил степень бакалавра в Дартмутском колледже, а четвертый автор получил степень бакалавра в Пенсильванском университете.
Мира Мурати собирается привлечь в свой страртап 2 миллиарда долларов при оценке в $10 миллиардов
Это в два раза больше чем, как сообщалось, она искала буквально два месяца назад.
Если все получится, то это будет крупнейший seed round в истории. Даже Safe Superintelligence Суцкевера привлекли на стадии идеи в два раза меньше.
Пятьсот на дым, пятьсот на трэп, ещё пятьсот на флекс (остальное на GPU) 😎
OpenAI преодолел отметку в 800 000 000 пользователей. Это 10% населения Земли.
Если судить по количеству еженедельных активных пользователей, за 2024 они выросли в 4 раза. Сообщается, что к концу 2025 стартап планирует достичь 1 миллиарда юзеров (и это уже не звучит как что-то нереальное).
Спасибо Ghibli генерациям
Мы слишком много знаем!
И просто обязаны этим поделиться. За 5 лет существования школы karpovꓸcourses мы обучили более 95 000 человек, и 80% наших выпускников уже работают в VK, Яндексе, Авито и других известных компаниях. И мы решили сделать для вас Karpov.Conf — чтобы поделиться знаниями не только с нашими студентами, но и с каждым, кто интересуется аналитикой данных и другими направлениями Data Science.
Будем обсуждать особенности работы с Power BI и практическое применение ML-моделей в крупных компаниях, разберем пользовательский опыт и реализацию аналитики на базе Yagpt, узнаем, как дерево метрик помогает принимать решения, и какие ошибки совершают крупные компании в контексте аналитики.
Мы собрали действительно звездный состав спикеров, мы очень старались сделать это мероприятие максимально полезным — вам осталось только не пропустить его!
Регистрируйтесь на KARPOV.CONF 2025 — включите Data-driven на полную!
⚡️ OpenAI показали свои новые модели GPT-4.1, GPT-4.1 mini и GPT-4.1 nano
В чате их не будет: они только для разработчиков в API. У всех трех моделей контекст 1 миллион токенов, для OpenAI это впервые.
Для программирования модель действительно хороша: на SWE-bench обгоняет даже o1 high. При этом стоит намного дешевле ($2.00 / 1M инпут и $8.00 / 1M аутпут). Плюсом неплохие способноси на мультимодальных задачах и математике.
Последний график – масштабирование на росте контекста. Видно, что 4.1 на голову лучше остальных моделей OpenAI на длинных последовательностях, то есть даже на огромных документах или кодовых базах не будет терять детали.
Цены и детали – здесь, вот тут можно попробовать в песочнице, а вот блогпост со всеми метриками
⚡️ Стрим OpenAI через полтора часа
P.S. Ссылку прикрепим к этому сообщению, как только она появится
Открыт приём статей в научный журнал Международной конференции по ИИ — AI Journey.
Главный приз за лучшую статью — 1 миллион рублей. Ключевые работы опубликуют в спецвыпуске «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics.
Что даёт участие:
• Шанс выиграть 1 000 000₽
• Публикация в авторитетном журнале с индексацией Scopus/WoS
• Возможность представить исследование на площадке конференции AI Journey 2025
Условия:
— Статья должна быть оригинальной (не опубликована ранее)
— Принимаются работы на русском и английском
— Дедлайн — 20 августа 2025
Как подать заявку: https://aij.ru/science
Google представили специальную версию Gemma для разработки лекарств
Семейство моделей TxGemma специально обучили понимать и предсказывать свойства препарата на всем пути разработки. Обычно как раз в этом основной затык в разработке лекарств: ученым надо перепробовать кучу вариантов. Это долго и дорого, а TxGemma призвана процесс упростить.
Интересно, что это универсальная платформа: модели умеют обрабатывать не только белки, но и малые молекулы, нуклеиновые кислоты, заболевания и вирусы + статьи, клиническую информацию и другие доп.материалы.
В семействе есть модели на 2B, 9B и 27B. Это TxGemma-Predict. Из них еще сделали TxGemma-Chat, с которым ученые могут общаться, и Agentic-Tx – агента, который самостоятельно выстраивает процесс ресерча и вызывает внешние медицинские инструменты типа PubMed.
Базовая модель – Gemma-2. Дообучали на 67 млрд токенов из 66 разных датасетов Therapeutic Data Commons. По бенчмаркам – SOTA. Например, по химии и биологии на Humanity’s Last Exam выбивает 81.7% против 64.5% у предшедственников. А на GPQA (Diamond) улучшение более чем на 26%.
✨ И главное: все в опенсорсе
Статья | Блогпост | Репа
AI Index Report 2025
Стенфордский университет опубликовал отчет о влиянии ИИ с 2013 года по 2025. Отчет огромный, поэтому мы постарались выбрать самые интересные моменты:
➡️ Китай стал лидером по количеству публикаций об ИИ, занимая 23,2% от общего числа публикаций, опередив любую другую страну. Однако за последние три года США выпустили больше статей, вошедших в топ-100 самых цитируемых. 1:1.
➡️ США продолжают лидировать по числу самых известных моделей. На конец 2024 года США выпустили 40 известных моделей, в то время как Китай — 15, а Европа — всего 3.
➡️ Вычислительные затраты на обучение моделей удваиваются каждые пять месяцев, объемы наборов данных для LLM увеличиваются каждые восемь месяцев. Мощность моделей растет ежегодно.
➡️ Стоимость запроса к модели ИИ, которая достигает эквивалентного уровня GPT-3.5 (64.8) на MMLU, снизилась с $20 за миллион токенов в ноябре 2022 года до $0.07 в октябре 2024 года (Gemini-1.5-Flash-8B)—снижение более чем в 280 раз за 18 месяцев. В зависимости от задачи, цены на вывод LLM снизились от 9 до 900 раз в год.
➡️ Выбросы углекислого газа при обучении моделей возросли более чем в 100 000 раз: для сравнения, обучение AlexNet привело к выбросам в 0,01 тонны, в то время как обучение LLama 3.1 405B — к выбросам в 8930 тонн.
➡️ В 2023 году исследователи ИИ представили несколько новых сложных бенчмарков, включая MMMU, GPQA и SWE-bench, к 2024 году производительность ИИ на этих бенчмарках значительно улучшилась, с увеличением на 18,8 и 48,9 процентных пунктов на MMMU и GPQA соответственно. На SWE-bench ИИ-системы могли решить всего 4,4% задач по программированию в 2023 году—эта цифра выросла до 71,7% в 2024 году.
➡️ Меньшие модели обеспечивают более высокую производительность. В 2022 году самой маленькой моделью, достигшей более 60% на MMLU, была PaLM с 540 миллиардами параметров. К 2024 году Microsoft’s Phi-3-mini с всего 3,8 миллиардами параметров достигла того же порога, что представляет собой 142-кратное уменьшение за два года.
Новость прислал подписчик в нашем чате ❤️
Стартап Ильи Суцкевера Safe Superintelligence оценили в 32 миллиарда долларов
Об этом сообщило издание Financial Times. То есть стоимость компании без продуктов, без анонсов и даже без нормального лендинга оценили в половину стоимости Anthropic, которая на рынке уже 4 года.
Также сообщается, что Safe Superintelligence привлекает еще один раунд финансирования. В прошлый раз они получили миллиард, и в этот раз планируют привлечь еще столько же.
Стартап Ильи Суцкевера будет сотрудничать с Google и пользоваться TPU
Safe Superintelligence теперь официально в партнерстве с Google Cloud. Напоминаем, что о продукте компании пока все еще ничего неизвестно, но, судя по сделке и привлеченным инвестициям, вычислительный стек там будет мощный.
Получается своего рода возвращение Ильи в Google (начинал свою карьеру он именно в Google Brain)
🚀 Сегодня День космонавтики! По случаю собрали топ-5 интересных кейсов применения ML в космических исследованиях
1. В 2023 ИИ впервые без участия человека нашел и классифицировал сверхновую звезду SN2023tyk (а это большая честь даже для людей-ученых). Система обнаружения называется Bright Transient Survey Bot (BTSbot). Это агент, который автономно просматривает снимки, выделяет кандидатов и запрашивает из баз телескопов доп.информацию, чтобы подтвердить/опровергнуть гипотезу.
2. В том же 2023 Оксфорские ученые впервые обучили ML-модель прямо в космосе, на борту спутника. Пайплайн был загружен на коммерческий спутник и обучен на бортовых данных. Получилась полноценная модель для мониторинга стихийных бедствий.
3. В прошлом году NASA запустили на Марс марсоход с ИИ. Система анализириует породы и участки планеты и сама решает, что стоит изучить подробнее. Это первый случай использования AI на Марсе для принятия решений без участия Земли.
4. В том же NASA уже пару лет используют HLS Geospatial Foundation Model – первую фундаментальную модель для геопространственных данных зондирования. Она отслеживает изменения земного покрова, мониторит стихийные бедствия и даже предсказывает урожайность. И кстати, ее выложили в опенсорс и постоянно обновляют.
5. За то, чтобы спутники не сталкивались на орбите, тоже в основном отвечает ИИ. Например, SpaceX делились статистикой о том, что за пол года спутники Starlink совершили более 10к маневров для избежания столкновений, и все это без участия человека.
С праздником, в общем
Стали известны победители AIME 2025 на Kaggle. Это крупнейшая "олимпиада" по математике для ИИ. Собрали саммари по опубликованным решениям:
Все победители, которые поделились своими решениями, использовали модель DeepSeek-R1-Distill-Qwen-14B, просто с разной степенью дообучения, квантования и использования inference-движков. Особенно никто с экспериментами для обучения не запаривался, потому что задачка была больше на инженерную оптимизацию.
Почему? Потому что основным вызовом было ограничение на время и железо. Все 50 задач надо было решить за 5 часов, используя 4 GPU L4 (у них не очень большая пропускная способность, так что 5 часов – это реально мало).
То есть участник сдает ноутбук, который запускается на стороне организаторов и решает задачки. В ноутбуке можно контролировать, как модель распределяет задачи: в каком порядке решает, сколько токенов и времени тратит на каждую, как все параллелится между GPU.
И тут практически все как-то играли с перераспределением времени и токенов. Одни пытались предсказывать сложности задач перед решением и распределять относительно этого. Другие начинали с равных "долей" и динамически перераспределяли сэкономленные ресурсы. А кто-то даже пытался кластеризовать задачи по похожести и решать несколько за раз.
Интересно, что единственными, кто реально попотел над обучением стали ребята из японской лаборатории Sakana (9 место). Те самые, кто разработал агента-рисерчера, статью которого приняли на ICLR (пост). Вот у них полный набор: и файн-тюнинг SFT, и RL-дообучение с GRPO. Они как раз и использовали ModernBERT для оценки сложности.
В общем, вот лидерборд и некоторые описания решений, можете взглянуть
CEO Perplexity объявил, что моделью теперь можно пользоваться в Telegram через официального бота @askplexbot
Это бесплатно. Также бота можно добавить в любые чаты, тегать и спрашивать о чем угодно (как Grok в X).
В наш чат канала мы модельку уже добавили, так что можете играться
Оптимизируем работу со Spark и строим рекомендательные системы
Многие рекомендательные системы строятся на Spark, но при обработке больших данных с ним часто возникают проблемы. Кроме этого, это недешевое решение.
На бесплатном вебинаре 15 апреля в 17:00 расскажем, как оптимизировать работу со Spark, и в реальном времени обучим модель, чтобы показать эффективность нашего подхода.
Что еще обсудим
🔹 Как выстроить архитектуру для рекомендательных систем в облаке, On-premise или гибриде.
🔹 Как оптимизировать расходы и работу со Spark.
🔹 Workshop: как в облачном Spark сделать рекомендательную систему для определения степени рисков ишемической болезни сердца.
Кому будет полезен вебинар
⚫️ML-инженерам.
⚫️Архитекторам, Data-инженерам, Data-аналитикам.
⚫️Руководителям ML-направлений и Data-офисов.
Зарегистрироваться
Ого: OpenAI выпустили подкаст про то, как они обучали GPT-4.5
Присутствовали 3 инженера из команды разработки: Амин Тутунчян, Алекс Пейно и Дэниел Селсам. Что интересного рассказали:
➖ Планирование выпуска GPT-4.5 началось еще год назад. Целью было создать модель в 10 раз умнее GPT-4. Сначала была куча тестов, а затем под GPT-4.5 пришлось почти полностью переписывать формы матриц, структуры слоёв и др (чтобы подстроиться под инфру).
➖ Основным вызовом оказалось масштабирование GPU-кластера. С увеличением количества карт (например, с 10k до 100k), начинает возникать все больше отказов и ошибок. Так что в начале обучение не задалось, но потом основные проблемы постепенно разрешились.
➖ Из забавного: прямо во время обучения была найдена критичная ошибка в реализации функции torch.sum в PyTorch. Она приводила к систематическим сбоям с доступом к памяти.
➖ Оказывается, основная метрика стартапа – это лосс на их же внутреннем коде. Работает хорошо, потому что таких данных гарантировано никогда не было в паблике, а значит и в трейне.
➖ Раньше модели были compute-bound, то есть ограниченные мощностями. 4.5 впервые стала моделью, ограниченной данными (data-bound). Сейчас это основная пробелма, потому что рост данных намного медленнее роста доступных вычислений.
➖ В целом скейлинг, конечно, замедляется, но все еще работает за счет того, что в дате всегда присутствуют длинные хвосты редких, но важных концепций. Их можно "латать" новыми данными почти бесконечно.
➖ Сейчас по эффективности обучения на тексте нейросети отстают от человека примерно в 100,000 раз. Так что, чтобы масштабироваться дальше, нам понадобятся новые алгоритмы, которые смогут извлекать больше знаний из меньшего объема даты. Да и методы обучения на масштабах миллионов видеокарт должны быть совсем другими.
Выпуск полностью – здесь
Мы в своих ML-моделях на столько преисполнились…
Что ML-команда Купер.тех собрала новый материал для митапа!
22 апреля в 19:00 зовём на Data Science Meetup, соберёмся в Москве и онлайн!
В программе доклады и QA-сессия:
⚡️Как мы делали матчинг в Купере». Николай Чугунников, Machine Learning Engineer, Купер.тех
⚡️«Uplift Space Oddity, или как запустить ML-космолёт и не упасть». Екатерина Апраксина, Machine Learning Engineer, Купер.тех
⚡️«Как делать рекомендации не с нуля». Александр Лоскутов, Machine Learning Team Lead, Купер.тех
Регистрируйся, чтобы попасть в офлайн или не пропустить ссылку на трансляцию!
Реклама. ООО «ИНСТАМАРТ СЕРВИС», ИНН: 9705118142. Ерид: 2W5zFGDX1Ag