55444
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
Учите машины учиться? Тогда вам на IML
🗓️16–17 мая
📍 Питер + онлайн
IML — конференция для всех, кто использует ML в проектах. Здесь собираются ML-инженеры, дата-сайентисты, исследователи, аналитики и разработчики.
В этот раз вас ждет двухдневный технологический хардкор об NLP, RecSys, MLOps и Computer Vision. С докладами выступят спикеры из Яндекса, Сбера, Т-Банка, Точки и других известных компаний.
А вот что с билетами:
→ дают скидку 15% на билет для частных лиц по промокоду DATASECRETS
→ есть билет для студентов и преподавателей вузов — в два раза дешевле персонального
→ можно попросить руководство приобрести корпоративный билет
Бонус: в соседних залах пройдет Python-конференция PiterPy. Участники IML смогут послушать доклады PiterPy бесплатно.
За подробностями и билетами
Тренд на Test-Time learning добрался и до обучения с подкреплением
Вышла статья китайских исследователей под названием Test-Time Reinforcement Learning (TTRL). Сейчас работа в топ-1 просматриваемых и обсуждаемых на alphaXiv. Разбираем.
Общая идея в том, что хорошо бы обучаться не только на размеченных данных, которые были в трейне, но и использовать для обучения поток любых запросов, которые приходят в модель на инференсе.
Проблема только в том, что на инференсе данные неразмечены, так что мы не можем ориентироваться на правильные ответы. Поэтому в данном случае исследователи предложили вот такой алгоритм (картинка 1):
1. Текущая политика N раз генерирует нам ответ на входной запрос.
2. Мы очищаем все эти ответы от рассуждений, решений и тд и оставляем только голые ответы.
3. Среди этих ответов выделяем самый частый. Это и есть наша псевдо-метка, то есть предполагаемый таргет.
4. На основе этого псевдо-лейбла каждое из N предсказаний мы награждаем либо 0 (ответ не совпал), либо 1 (совпал).
5. На основе реварда обновляем политику модели (в качестве метода – GRPO).
Paper2Code: исследователи из корейского технологического института сделали мульти-агентный фрейморк для автоматической генерации кода по статьям
Боль каждого рисерчера – это статьи, к которым нет кода. Чтобы воспроизвести результат, нужно потратить пол жизни, и то – успех не гарантирован. А код авторы публикуют не так уж и часто. На примере NeurIPS, ICML и ICLR 2024: только 21.2% принятых работ имеют открытые репы.
Здесь авторы предлагают PaperCoder. Это мульти-агентная система, в которой процесс генерации репозитория разбит на три этапа:
1. Планирование. Составляется конспект статьи, UML-диаграммы классов + список файлов. Тут же создается config.yaml с гиперпараметрами и выстраивается план последовательности генерации.
2. Анализ. Здесь для каждого файла из составленного списка формируется file-level analysis — подробное описание целей, входов/выходов, взаимодействий и каких-то специфичных требований, если есть.
3. Ну и сама генерация на основании статьи, фазы планирования и анализа. Бонусом из первых двух пунктов получаем супер-подробную доку.
На каждом шаге работает отдельный агент. Это, по идее, могут быть разные LLM, но здесь по умолчанию на всех шагах стоит o3-mini-high (кроме валидации, там GPT-4o).
Тестировали на работах с тех же ICML/NeurIPS/ICLR 2024. Процент полностью успешной репликации – около 44% против 10-15 у базовых агентов. Если анализировать вручную, то в среднем для успешного запуска нужно менять всего 0.48 % строк. А еще PaperCoder давали потрогать исследователям, и в 85% случаев те сказали, что это лучше, чем писать с нуля, даже если нужно что-то дебажить.
Ирония только в том, что к статье Paper2Code... не выложили код. Но, вроде, обещают "скоро"
Одну из ключевых исследователей OpenAI высылают из Америки
И нет, она не сделала ничего плохого. Просто она гражданка Канады и ей отказали в грин карте. Девушку зовут Кай Чен, она 12 лет прожила в Америке и много лет работала в OpenAI.
Ее коллеги пишут, что она играла ключевую роль в релизе GPT-4.5. За нее даже заступился сам Ноам Браун, назвав Кай одной из лучших ученых, с кем ему приходилось работать. Но решение не отменить, и скоро исследовательница вынуждена будет покинуть страну. Вот такая история.
US: мы хотим быть лидерами в ИИ, вот 500 миллиардов долларов
Также US:
МТС Web Services получила две награды на VI российском саммите и премии по цифровой трансформации организаций CDO/CDTO Summit & Awards 2025.
Гран-при в номинации «Digital-платформа года» получила платформа MWS Octapi. Это инновационное решение позволяет бесшовно интегрировать сервисы в экосистему, обеспечивая их эффективное взаимодействие и повышая надежность. Octapi упрощает подключение новых технологий, минимизируя зависимость от разработчиков и ускоряя внедрение сервисов. Платформа способна поддерживать высокие нагрузки и позволяет настраивать интеграции без участия разработчиков.
Павел Воронин, генеральный директор МТС Web Services, стал лауреатом премии CDO/CDTO, войдя в тройку лучших СЕО 2025 года в номинации «СЕО года цифровой компании».
Выпускники, для вас крутая новость: в AI-бакалавриат Сбера и Яндекса в этом году примут в 1.5 раза больше человек
Речь идет о программе AI360. Если вы до сих пор с ней не знакомы, рассказываем: это совместный бакалавриат Сбера и Яндекса, запущенный в самых известных вузах страны: ИТМО, НИУ ВШЭ, МФТИ, Иннополис, СПбГУ. Это, кстати, первый в России полноценный ИИ-бакалавриат.
Обучение бесплатное. Обучают всему, что нужно ML-инженерам и исследователям. Программа включает направления "Передовые методы ИИ", "ML Native", "Инженерия ИИ" и "Инженерия данных". На всех вас ждет жесткая подготовка по математике, программированию и профильным ML-предметам.
В прошлом году 40% поступивших были олимпиадниками по математике и информатике, а средний балл по ЕГЭ составлял 97. Да, поступить нелегко, но связка бигтех+ведущий вуз для студента того стоит, согласитесь. Тем более, поступившие в прошлом году ребята уже вовсю работают над реальными ML-кейсами и проходят воркшопы в компаниях.
Готовы ли люди платить $30 за простой конвертер картинок?
Кажется, куда уж там. Но практика говорит обратное. Вот пример: разработчик Кирилл из комьюнити @its_capitan создал конвертер HEIC to JPG и уже заработал на нем $10К. Как он это сделал:
1️⃣ Через поисковые запросы он увидел, что на это есть спрос.
2️⃣ Удалил всё лишнее, оставив только конвертацию в один клик.
3️⃣ За 30 дней сделал запуск без перфекционизма.
Итог: доход 500$ в месяц и постоянный прирост юзеров. Все это всего за 40$ в месяц на сервер и нулевыми затратами на рекламу.
Получается, что:
— Люди платят за удобство и простоту, даже если есть бесплатные аналоги.
— Продукт может функционировать автоматически с минимальной поддержкой.
— Быстрый и дешевый MVP может стать успешным.
В @its_capitan постоянно рассказывают о таких кейсах: они запустили уже 400+ проектов, и некоторые уже набирали по 100к пользователей.
👉 Присоединяйтесь к @its_capitan— следите за процессом разработки, продвижения и узнайте, сколько можно заработать на таких микро-продуктах.
Реклама: ИП Зуев Игорь Владимирович, ИНН: 360408359441, Erid: 2VtzqxQSRMk
CEO Anthropic Дарио Амодеи написал новое эссе про то, почему нам срочно нужно научиться интерпретировать модели
Он пишет, что в ближайшие годы ученые обязательно должны решить проблему интерпретируемости LLM, иначе мы не сможем предотвратить обманы, саботажи, стремление ИИ к власти и любое другое непреднамеренное поведение моделей.
Дарио настаивает, что сейчас фокус должен быть именно на таких исследованиях, а не на гонке ИИ, иначе мы можем просто не успеть за прогрессом.
Цитата: "К 2026–2027 годам ИИ достигнет уровня, сопоставимого со страной гениев в дата-центре. Даже небольшое преимущество в 1–2 года может сыграть решающую роль"
www.darioamodei.com/post/the-urgency-of-interpretability
❤️ – говорю спасибо, верю в карму
👍 – не говорю спасибо, я бессмертный берегу лимиты
Была найдена крутая возможность для тех, кто хочет развиваться в ИИ и ML: совместная магистратура от VK и МФТИ «Искусственный интеллект и социальные медиа».
С первого семестра — практика в VK AI и обучение на реальных кейсах у экспертов компании. Программа готовит ИИ-исследователей, ML- и NLP-инженеров, дата-аналитиков, а также разработчиков ПО, рекомендательных систем и поисковых технологий.
Плюс — до поступления можно протестить направление. Сейчас открыт набор на программу для абитуриентов от VK Education. Выпускники получат рекомендательные письма, которые помогут при поступлении в магистратуру.
Заявки на программу подготовки принимаются до 27 апреля. Посмотреть подробнее здесь.
В DeepMind обучили полноценную компьютерную модель... мухи 🪰
Исследователи нарисовали модель тела мухи и с нуля обучили его ходить, летать и вообще вести себя, как настоящее насекомое. Весь процесс происходит в физическом симуляторе MuJoCo. Это тоже разработка DeepMind (вот репа).
MuJoCo создавали для более крупных роботов, конечно, но в целом среда универсальная, поэтому нужно было просто добавить туда несколько новых функций. Например, завихрение воздуха вокруг крыльев, которое позволяет летать, или силу адгезионного сцепления, которое позволяет ползать под любым углом.
Обучали end-to-end методами обучения с подкреплением на видео настоящих мух. Результаты получаются довольно реалистичные: модель действительно летает по нужным траекториям и движения удивительно точные.
"Мы считаем, что такие могут помочь ученым лучше понять, как мозг, тело и окружающая среда влияют на поведение животных. Так мы сможем находить связи, которые не изучить в лаборатории"
О, Perplexity анонсировали крутого голосового ассистента для iOS
Это Siri на максималках (наверное, стоило написать в заголовке Siri – ВСЕ): агент сможет использовать браузер и некоторые приложения, рассылать письма, создавать брони, управлять календарем, проигрывать подкасты, YouTube ролики и другое медиа.
Обновить приложение в AppStore и попробовать (это бесплатно) можно уже сейчас
OpenAI повысили лимиты и теперь Plus-пользователям доступно 50 запросов к o3 и o4-mini в день. Также o4-mini совсем скоро раскатят на бесплатных юзеров, судя по последнему обновлению.
У Сэма Альтмана, кстати, сегодня День Рождения, исполняется 40 лет. Интересно, праздничный торт нам светит? ✨
Anthropic выкатили гайд по вайб-кодингу 😎
23 страницы посвящены тому, как программировать с агентами (в частности, с Claude Code). Собраны советы, best practices, примеры, антипримеры и даже готовые промпты.
Отдельное внимание уделяется безопасности данных и мульти-агентным процессам.
Полезно, если пользуетесь каким-нибудь подобным инструментом каждый день
PDF
🚀 Data Engineer в Navio: получи оффер в компанию за 1 день!
В команду BigData мы ищем специалистов уровней middle и senior, готовых решать нестандартные задачи и создавать проекты, которые меняют мир. Наши данные имеют физический смысл: победа над каждой ошибкой здесь — снижение риска ДТП в реальном мире.
С нами ты будешь: собирать датасеты для нейросетей, обрабатывать данные для работы автономных машин, визуализировать 4D-траектории, строить системы для сквозной аналитики и не только.
Готов проявить свои навыки? Заполняй заявку, оставляй резюме на сайте и получи приглашение от нашего рекрутера на One Day Offer 26 апреля. Приходи на онлайн-мероприятие, пообщайся с командой и, возможно, уже вечером ты станешь ее частью.
⚡️ One Day Offer — твой шанс изменить карьеру!
А вы тоже заметили, что после последних обновлений 4o превратился в ванильный раф с сиропом?
Если вы думали, что вам показалось, то нет. Даже Альтман сегодня в твиттере признался, что «что-то мы переборщили с лестью» и пообещал, что на этой неделе все исправят. Пока наслаждаемся комплиментами 😛
В китайские соцсети якобы утекла информация о предстоящем релизе DeepSeek R2
На платформе Jiuyan Gongshe, которая предназначена для обсуждения фондовых рынков и шеринга аналитических материалов, некий пользователь опубликовал статью с инсайдами про R2. Что говорит:
➖ Будет новая архитектура Hybrid MoE 3.0. Всего в модели 1,2 триллиона параметров, но фактически единовременно активироваться будут около 78 миллиардов. По тестам (опять же, якобы) Alibaba Cloud, стоимость обработки одного токена на длинных контекстах будет на 97,3% ниже по сравнению с GPT-4 Turbo.
➖ Обучают на Huawei Ascend 910B и Nvidia H800. Фактическая производительность на FP16 составила 512 PetaFLOPS. Это примерно 91% эффективности аналогичных кластеров на чипах Nvidia A100, то есть довольно амбициозно.
➖ Релиз – в мае.
Ознакомились, но относимся с осторожностью
Еще одна крутая новость для студентов и молодых исследователей: есть еще 4 дня, чтобы подать заявку на летнюю школу по искусственному интеллекту «Лето с AIRI 2025» ⚡️⚡️⚡️
Если вы ещё не слышали, рассказываем: это исследовательская школа, где с 30 июня по 10 июля в Томске вас ждет работа с ведущими экспертами по искусственному интеллекту. В программе — лекции, семинары, практические задания, постерная сессия и много возможностей для прокачки навыков и нетворкинга.
Обучение бесплатное. Организаторы также покрывают проживание и питание — нужно только приехать в Томск. Вас ждет погружение в реальную научную работу и сильная исследовательская атмосфера.
Подавайте заявку на сайте до 23:59 29 апреля 2025 года. Если хотите провести лето с пользой и прокачаться в ИИ, не упустите шанс!
Дайджест первого дня ICLR 2025 от делегации Яндекса
✔️ Computer Vision: прорывы в генерации и анализе изображений.
Исследователи представили многомодальную модель Eagle с множеством энкодеров, теоретическое обоснование ограничений диффузионных моделей с тяжёлыми хвостами, метод FreCaS для генерации изображений высокого разрешения и фреймворк FORTE для автоматического обнаружения аутлайеров в данных.
✔️ NLP: оптимизация предпочтений и эффективный инференс.
Предложены новые подходы к DPO с учётом временного затухания для первых токенов, прогрессивная смешанная точность для эффективного инференса LLM, улучшенные метрики для моделей с длинным контекстом и обучение реворд-моделей для предотвращения reward hacking.
✔️ Speech: расширенные бенчмарки и новые токенизации.
Представлен бенчмарк Dynamic-SUPERB Phase-2 со 180 задачами для речевых моделей, предложена токенизация на уровне слогов в SyllableLM, а также доказаны математические гарантии для алгоритма Flow Matching, показывающие одинаковый порядок сходимости с классическими диффузионными процессами.
✔️ RecSys: инновационные архитектуры для рекомендаций.
Разработана архитектура ContextGNN, объединяющая попарный скор и двухбашенный подход, исследовано применение диффузионных моделей в рекомендациях от TikTok, предложены новые методы персонализации для диалоговых агентов и эффективная дистилляция LLM для секвенциальных рекомендаций.
@ai_machinelearning_big_data
#news #AI #ML #LLM
Мотивации пост: сейчас в топ-1 по популярности на Hugging Face висит модель, которую разработала команда… из двух человек
Лаборатория называется Nari Labs, и она действительно состоит всего из двух исследователей. Несмотря на это, на этой неделе они со своей text2speech моделью DIA оставили позади Microsoft, Anthropic, Nvidia и другие корпорации.
Моделька у них правда крутая. В ней всего 1.6B параметров, но она генерирует из текста очень качественные диалоги. Сохраняет даже смех, кашель и вздохи. Плюс, пользователь может управлять эмоциями.
При этом у ребят действительно понятная и красивая карточка модели и хорошо оформленный код на гитхаб. Респект?
За пол года доля сгенерированного кода в кодовой базе Google увеличилась на 5 процентных пунктов
Еще в октябре сообщалось о 25%. Сегодня просочилась информация о 30+ процентах. Ставим ставки, сколько будет к концу 2025.
И еще одна новость Anthropic на сегодня: стартап открывает новую большую программу по изучению наличия сознания в моделях
Пока нет никаких убедительных доказательств хоть каких-то признаков сознания в LM, но в Anthropic не исключают возможность их появления. Поэтому они начинают изучать так называемое model welfare, то есть благосостояние моделей.
Антропики будут исследовать, нужен ли моделям какой-то моральный статус, есть ли у них эмоции, ценности и так далее. Исследования возглавляет довольно известный ученый Кайл Фиш. Он, кстати, говорил в интервью, что, по его мнению, существует 15% вероятность того, что уже сегодня Claude или другой ИИ обладает сознанием.
Вот что пишут Anthropic в блоге:
"Сейчас нет научного консенсуса относительно того, могут ли текущие или будущие системы ИИ быть сознательными или иметь опыт, требующий этического рассмотрения. Мы подходим к этой теме очень аккуратно и с минимальным количеством предположений. Мы также понимаем, что нам придется регулярно пересматривать наши идеи"
OpenAI выпускают облегченную версию Deep Research, и она будет доступна бесплатным пользователям
Новая лайт версия будет работать на базе o4-mini, и это делает ее значительно дешевле. Ответы будут немного короче, но качество обещают почти без просадок.
Если у вас Plus или Pro, то версия доступна уже сейчас. На Free раскатывать тоже уже начали.
Спасибо конкуренции за повышенные лимиты 🙏
Google показали статистику Gemini (точнее раскрыли в суде)
Насчитали 35 млн DAU (активных пользователей в день) и 350 млн MAU (в месяц). Это уже больше, чем у Anthropic. Для ChatGPT те же показатели составляют соответственно 160 млн и 600 млн.
Зато Gemini, надо сказать, растет быстрее. Пол года назад, для сравнения, их DAU был 9 млн. Это рост почти в 4 раза. ChatGPT за это же время вырос с 90 млн (то есть в 1.7 раз).
Появились некоторые свежие подробности про открытую модель от OpenAI. Вводим вас в курс:
➖ Она появится в начале лета, лицензию обещают очень демократичную
➖ Пока проект на ранней стадии, разработку возглавляет Эйдан Кларк, вице-президент по исследованиям
➖ Модель будет с ризонингом, но пользователи смогут выключать и включать режим рассуждений
➖ Все-таки модель будет не для GPU-poor юзеров, но в дальнейшем так же выйдут меньшие варианты, они будут не такими требовательными по железу
➖ На момент выпуска мультимодальности не будет, только текст на вход и выход
Последнее, конечно, грустно. Надеемся, метрики не подкачают
OpenAI ожидает, что к 2029 выручка компании достигнет 125 миллиардов долларов, а к 2030 – 174 миллиардов
По крайней мере, так они говорят инвесторам. Об этом пишет The Information. Основная часть продаж будет генерироваться новыми продуктами, то есть агентами. Также рассматривается возможность продажи рекламы и взимания партнерских сборов.
Для сравнения, выручка стартапа за 2024 – примерно 3,7 миллиарда. То есть прогнозируется рост почти в 34 раза всего за 5 лет.
Джеффри Хинтон, куча бывших сотрудников OpenAI и еще несколько известных ученых подписали открытое письмо об отмене перехода OpenAI в разряд коммерческой организации
Они настаивают на том, чтобы OpenAI в целях безопасности AGI запретили становится коммерческими, и чтобы стартап юридически связали с его изначальной миссией.
Также в письме требуют пересобрать совет директоров, «удалив» всех, кто активно поддерживал переход и добавив больше «независимых» членов.
Это будет посерьезнее иска Илона Маска. День Рождения у Сэма не задался, видимо
https://notforprivategain.org/
Мечтаете не просто разбираться в управлении данными, а использовать уникальные инструменты для работы с Big Data? Научитесь этому на бесплатном студкемпе Яндекс Образования и ИТМО по дата-инженерии!
🧠 Программа — интенсивная, актуальная, от лидеров индустрии. С 30 июня по 12 июля вы погрузитесь в мир распределённых хранилищ, микросервисной архитектуры, DataOps/MLOps и пайплайнов для сбора, анализа и визуализации данных. А ещё познакомитесь с технологиями, которые используют в крупных компаниях. В общем, получите реальные навыки, которые ценят на рынке!
🏙 Кампус — в самом центре Санкт-Петербурга. Несмотря на то, что студкемп проходит на базе ИТМО, заявки ждут от студентов из любых вузов и регионов России. Проезд и проживание будут оплачены Яндекс Образованием, так что вам останется сосредоточиться на главном — знаниях, опыте и новых возможностях.
🕐 Регистрация — открыта до 4 мая, но подать заявку можно уже сейчас! Если давно хотели пообщаться с топовыми айтишниками и почувствовать, каково это — учиться в одном из ведущих технических вузов, не откладывайте и заполняйте анкету по ссылке.
LM Arena мощно обновляется
Во-первых, они уже несколько дней тестируют абсолютно свежий интерфейс. В нем все будет немного более интуитивно, а главная страница будет напоминать ChatGPT. Кроме того, также, как в ChatGPT, можно будет просматривать свои прошлые диалоги. Навигация по лидербордам и подача баг-репортов тоже станет проще.
Во-вторых, LM Arena станет компанией. Напоминаем, что сейчас разработку двигает сообщество и группа энтузиастов. Но теперь ребята сообщили о том, что собираются официально оформлять стартап.
В-третьих, сегодня на арену завезли новую большую фичу – Sentiment Control. Эта штука похожа на style control (наш пост-разбор). Идея та же: чтобы получать объективные оценки без человеческого фактора, надо очистить ответ модели от всего лишнего, что может повлиять на голос пользователя, и оставить только чистое содержание.
Так, style control очищает ответы от красивого форматирования, а новый Sentiment Control будет очищать от лести и эмоциональности. Оценки этих факторов будут учитываться в качестве независимых переменных в регрессии Брэдли-Терри, которая используется на арене для подчсета статистики. Это помогает отследить их влияние.
Результаты применения – на картинке выше. Некоторые модели с Sentiment Control поднимаются в рейтинге (Claude-3.7-Sonnet, o1), а некоторые, наоброот, опускаются (Grok-3, Gemma-3, Llama-4-exp). Это значит, что люди действительно склонны иногда отдавать предпочтения более позитивным моделям, а не более умным.
Блогпост
OpenAI хотят купить Google Chrome, если представится возможность
В суде продолжается разбирательство по делу о монополизации гуглом рынка поиска. Министерство юстиции, возможно, вынудит компанию отказаться от Chrome.
Вчера на одном из серии таких судебных заседаний присутствовал Ник Терли. Его позвали как свидетеля, сейчас он работает менеджером в OpenAI. Вот что он сказал:
«Если представится возможность, OpenAI будет заинтересована в покупке Chrome. Приобретение Chrome позволит нам предложить юзерам действительно невероятный опыт и показать, как выглядит настоящий первый ИИ-браузер»Читать полностью…