55444
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
Одну из ключевых исследователей OpenAI высылают из Америки
И нет, она не сделала ничего плохого. Просто она гражданка Канады и ей отказали в грин карте. Девушку зовут Кай Чен, она 12 лет прожила в Америке и много лет работала в OpenAI.
Ее коллеги пишут, что она играла ключевую роль в релизе GPT-4.5. За нее даже заступился сам Ноам Браун, назвав Кай одной из лучших ученых, с кем ему приходилось работать. Но решение не отменить, и скоро исследовательница вынуждена будет покинуть страну. Вот такая история.
US: мы хотим быть лидерами в ИИ, вот 500 миллиардов долларов
Также US:
МТС Web Services получила две награды на VI российском саммите и премии по цифровой трансформации организаций CDO/CDTO Summit & Awards 2025.
Гран-при в номинации «Digital-платформа года» получила платформа MWS Octapi. Это инновационное решение позволяет бесшовно интегрировать сервисы в экосистему, обеспечивая их эффективное взаимодействие и повышая надежность. Octapi упрощает подключение новых технологий, минимизируя зависимость от разработчиков и ускоряя внедрение сервисов. Платформа способна поддерживать высокие нагрузки и позволяет настраивать интеграции без участия разработчиков.
Павел Воронин, генеральный директор МТС Web Services, стал лауреатом премии CDO/CDTO, войдя в тройку лучших СЕО 2025 года в номинации «СЕО года цифровой компании».
Выпускники, для вас крутая новость: в AI-бакалавриат Сбера и Яндекса в этом году примут в 1.5 раза больше человек
Речь идет о программе AI360. Если вы до сих пор с ней не знакомы, рассказываем: это совместный бакалавриат Сбера и Яндекса, запущенный в самых известных вузах страны: ИТМО, НИУ ВШЭ, МФТИ, Иннополис, СПбГУ. Это, кстати, первый в России полноценный ИИ-бакалавриат.
Обучение бесплатное. Обучают всему, что нужно ML-инженерам и исследователям. Программа включает направления "Передовые методы ИИ", "ML Native", "Инженерия ИИ" и "Инженерия данных". На всех вас ждет жесткая подготовка по математике, программированию и профильным ML-предметам.
В прошлом году 40% поступивших были олимпиадниками по математике и информатике, а средний балл по ЕГЭ составлял 97. Да, поступить нелегко, но связка бигтех+ведущий вуз для студента того стоит, согласитесь. Тем более, поступившие в прошлом году ребята уже вовсю работают над реальными ML-кейсами и проходят воркшопы в компаниях.
Готовы ли люди платить $30 за простой конвертер картинок?
Кажется, куда уж там. Но практика говорит обратное. Вот пример: разработчик Кирилл из комьюнити @its_capitan создал конвертер HEIC to JPG и уже заработал на нем $10К. Как он это сделал:
1️⃣ Через поисковые запросы он увидел, что на это есть спрос.
2️⃣ Удалил всё лишнее, оставив только конвертацию в один клик.
3️⃣ За 30 дней сделал запуск без перфекционизма.
Итог: доход 500$ в месяц и постоянный прирост юзеров. Все это всего за 40$ в месяц на сервер и нулевыми затратами на рекламу.
Получается, что:
— Люди платят за удобство и простоту, даже если есть бесплатные аналоги.
— Продукт может функционировать автоматически с минимальной поддержкой.
— Быстрый и дешевый MVP может стать успешным.
В @its_capitan постоянно рассказывают о таких кейсах: они запустили уже 400+ проектов, и некоторые уже набирали по 100к пользователей.
👉 Присоединяйтесь к @its_capitan— следите за процессом разработки, продвижения и узнайте, сколько можно заработать на таких микро-продуктах.
Реклама: ИП Зуев Игорь Владимирович, ИНН: 360408359441, Erid: 2VtzqxQSRMk
CEO Anthropic Дарио Амодеи написал новое эссе про то, почему нам срочно нужно научиться интерпретировать модели
Он пишет, что в ближайшие годы ученые обязательно должны решить проблему интерпретируемости LLM, иначе мы не сможем предотвратить обманы, саботажи, стремление ИИ к власти и любое другое непреднамеренное поведение моделей.
Дарио настаивает, что сейчас фокус должен быть именно на таких исследованиях, а не на гонке ИИ, иначе мы можем просто не успеть за прогрессом.
Цитата: "К 2026–2027 годам ИИ достигнет уровня, сопоставимого со страной гениев в дата-центре. Даже небольшое преимущество в 1–2 года может сыграть решающую роль"
www.darioamodei.com/post/the-urgency-of-interpretability
❤️ – говорю спасибо, верю в карму
👍 – не говорю спасибо, я бессмертный берегу лимиты
Была найдена крутая возможность для тех, кто хочет развиваться в ИИ и ML: совместная магистратура от VK и МФТИ «Искусственный интеллект и социальные медиа».
С первого семестра — практика в VK AI и обучение на реальных кейсах у экспертов компании. Программа готовит ИИ-исследователей, ML- и NLP-инженеров, дата-аналитиков, а также разработчиков ПО, рекомендательных систем и поисковых технологий.
Плюс — до поступления можно протестить направление. Сейчас открыт набор на программу для абитуриентов от VK Education. Выпускники получат рекомендательные письма, которые помогут при поступлении в магистратуру.
Заявки на программу подготовки принимаются до 27 апреля. Посмотреть подробнее здесь.
В DeepMind обучили полноценную компьютерную модель... мухи 🪰
Исследователи нарисовали модель тела мухи и с нуля обучили его ходить, летать и вообще вести себя, как настоящее насекомое. Весь процесс происходит в физическом симуляторе MuJoCo. Это тоже разработка DeepMind (вот репа).
MuJoCo создавали для более крупных роботов, конечно, но в целом среда универсальная, поэтому нужно было просто добавить туда несколько новых функций. Например, завихрение воздуха вокруг крыльев, которое позволяет летать, или силу адгезионного сцепления, которое позволяет ползать под любым углом.
Обучали end-to-end методами обучения с подкреплением на видео настоящих мух. Результаты получаются довольно реалистичные: модель действительно летает по нужным траекториям и движения удивительно точные.
"Мы считаем, что такие могут помочь ученым лучше понять, как мозг, тело и окружающая среда влияют на поведение животных. Так мы сможем находить связи, которые не изучить в лаборатории"
О, Perplexity анонсировали крутого голосового ассистента для iOS
Это Siri на максималках (наверное, стоило написать в заголовке Siri – ВСЕ): агент сможет использовать браузер и некоторые приложения, рассылать письма, создавать брони, управлять календарем, проигрывать подкасты, YouTube ролики и другое медиа.
Обновить приложение в AppStore и попробовать (это бесплатно) можно уже сейчас
OpenAI повысили лимиты и теперь Plus-пользователям доступно 50 запросов к o3 и o4-mini в день. Также o4-mini совсем скоро раскатят на бесплатных юзеров, судя по последнему обновлению.
У Сэма Альтмана, кстати, сегодня День Рождения, исполняется 40 лет. Интересно, праздничный торт нам светит? ✨
Anthropic выкатили гайд по вайб-кодингу 😎
23 страницы посвящены тому, как программировать с агентами (в частности, с Claude Code). Собраны советы, best practices, примеры, антипримеры и даже готовые промпты.
Отдельное внимание уделяется безопасности данных и мульти-агентным процессам.
Полезно, если пользуетесь каким-нибудь подобным инструментом каждый день
PDF
🚀 Data Engineer в Navio: получи оффер в компанию за 1 день!
В команду BigData мы ищем специалистов уровней middle и senior, готовых решать нестандартные задачи и создавать проекты, которые меняют мир. Наши данные имеют физический смысл: победа над каждой ошибкой здесь — снижение риска ДТП в реальном мире.
С нами ты будешь: собирать датасеты для нейросетей, обрабатывать данные для работы автономных машин, визуализировать 4D-траектории, строить системы для сквозной аналитики и не только.
Готов проявить свои навыки? Заполняй заявку, оставляй резюме на сайте и получи приглашение от нашего рекрутера на One Day Offer 26 апреля. Приходи на онлайн-мероприятие, пообщайся с командой и, возможно, уже вечером ты станешь ее частью.
⚡️ One Day Offer — твой шанс изменить карьеру!
Google предложили новую обобщенную архитектуру нейросетей, устроенную так, что трансформеры и RNN являются ее частными случаями
Основная проблема сегодняшних моделей – память. У нас есть трансформеры, но их сложно масштабировать на длинный контекст из-за квадратичной сложности операций. У нас есть RNN, но они не параллелятся и постоянно все забывают.
Так что в последнее время выходит все больше работ про все новые и новые подходы к моделированию памяти. И все они строятся на каких-то видах скрещивания: атеншена с линейностью, или гейтов забывания с трансформерами, или склярной памяти с матричной, ну и тд и тп.
В Google заметили, что почти все эти методы можно описать единым набором правил. Свой фреймворк они назвали MIRAS, и его главная идея в том, что любое проектирование памяти нейросетей сводится к четырем основным выборам:
1. Выбор архитектуры памяти. Память может быть скаляром, как в RNN, матрицей, как в трансформерах, отдельной маленькой нейросетью, как в test-time-training подходах, ну или чем-то другим.
2. Выбор attentional bias. Это функция потерь, которую память будет оптимизировать при обновлении. Цель, по сути, всегда одна: точно сопоставлять ключи со значениями, то есть верно восстаналивать связи между словами. В трансформерах, например, attention bias – это непараметрический ℓ₂‑MSE.
3. Retention Gate. Это регуляризация, которая контролирует, как и когда мы избавляемся от ненужной информации. Другими словами, мера консервативности или забывания.
4. Выбор метода оптимизации. Это конкретный рецепт того, как перейти из прошлого состояния памяти в новое, учитывая все компоненты выше. Например, в трансформерах это просто вычисление softmax‑attention, но также это может быть градиентный спуск или его модификации.
Google снова тестирует новые модели
Одна из них под кодовым названием dayhush на днях появилась на webdev арене. Кажется, это какой-то новый ассистент для программирования. Попробовать можно тут.
Вторая модель, видимо, для генерации картинок. Ее начали тестировать только вчера.
Напоминаем, что в следующем месяце у Google пройдет их крупнейший ивент I/O. Будем ждать стоящих новинок
Джеффри Хинтон: «Люди больше похожи на ИИ, чем мы думаем»
Принято считать, что люди умеют рационально последовательно рассуждать, а ИИ – пока нет.
Но Хинтон говорит, что по мере изучения мозга становится понятно, что мышление мало похоже на логику. Наоборот, это мысли на уровне ассоциаций.
«Мы не рассуждающие системы. Мы системы аналогий. На самом деле мы гораздо менее рациональны, чем кажется. Мы думаем резонансом, а не дедукцией»Читать полностью…
Дайджест первого дня ICLR 2025 от делегации Яндекса
✔️ Computer Vision: прорывы в генерации и анализе изображений.
Исследователи представили многомодальную модель Eagle с множеством энкодеров, теоретическое обоснование ограничений диффузионных моделей с тяжёлыми хвостами, метод FreCaS для генерации изображений высокого разрешения и фреймворк FORTE для автоматического обнаружения аутлайеров в данных.
✔️ NLP: оптимизация предпочтений и эффективный инференс.
Предложены новые подходы к DPO с учётом временного затухания для первых токенов, прогрессивная смешанная точность для эффективного инференса LLM, улучшенные метрики для моделей с длинным контекстом и обучение реворд-моделей для предотвращения reward hacking.
✔️ Speech: расширенные бенчмарки и новые токенизации.
Представлен бенчмарк Dynamic-SUPERB Phase-2 со 180 задачами для речевых моделей, предложена токенизация на уровне слогов в SyllableLM, а также доказаны математические гарантии для алгоритма Flow Matching, показывающие одинаковый порядок сходимости с классическими диффузионными процессами.
✔️ RecSys: инновационные архитектуры для рекомендаций.
Разработана архитектура ContextGNN, объединяющая попарный скор и двухбашенный подход, исследовано применение диффузионных моделей в рекомендациях от TikTok, предложены новые методы персонализации для диалоговых агентов и эффективная дистилляция LLM для секвенциальных рекомендаций.
@ai_machinelearning_big_data
#news #AI #ML #LLM
Мотивации пост: сейчас в топ-1 по популярности на Hugging Face висит модель, которую разработала команда… из двух человек
Лаборатория называется Nari Labs, и она действительно состоит всего из двух исследователей. Несмотря на это, на этой неделе они со своей text2speech моделью DIA оставили позади Microsoft, Anthropic, Nvidia и другие корпорации.
Моделька у них правда крутая. В ней всего 1.6B параметров, но она генерирует из текста очень качественные диалоги. Сохраняет даже смех, кашель и вздохи. Плюс, пользователь может управлять эмоциями.
При этом у ребят действительно понятная и красивая карточка модели и хорошо оформленный код на гитхаб. Респект?
За пол года доля сгенерированного кода в кодовой базе Google увеличилась на 5 процентных пунктов
Еще в октябре сообщалось о 25%. Сегодня просочилась информация о 30+ процентах. Ставим ставки, сколько будет к концу 2025.
И еще одна новость Anthropic на сегодня: стартап открывает новую большую программу по изучению наличия сознания в моделях
Пока нет никаких убедительных доказательств хоть каких-то признаков сознания в LM, но в Anthropic не исключают возможность их появления. Поэтому они начинают изучать так называемое model welfare, то есть благосостояние моделей.
Антропики будут исследовать, нужен ли моделям какой-то моральный статус, есть ли у них эмоции, ценности и так далее. Исследования возглавляет довольно известный ученый Кайл Фиш. Он, кстати, говорил в интервью, что, по его мнению, существует 15% вероятность того, что уже сегодня Claude или другой ИИ обладает сознанием.
Вот что пишут Anthropic в блоге:
"Сейчас нет научного консенсуса относительно того, могут ли текущие или будущие системы ИИ быть сознательными или иметь опыт, требующий этического рассмотрения. Мы подходим к этой теме очень аккуратно и с минимальным количеством предположений. Мы также понимаем, что нам придется регулярно пересматривать наши идеи"
OpenAI выпускают облегченную версию Deep Research, и она будет доступна бесплатным пользователям
Новая лайт версия будет работать на базе o4-mini, и это делает ее значительно дешевле. Ответы будут немного короче, но качество обещают почти без просадок.
Если у вас Plus или Pro, то версия доступна уже сейчас. На Free раскатывать тоже уже начали.
Спасибо конкуренции за повышенные лимиты 🙏
Google показали статистику Gemini (точнее раскрыли в суде)
Насчитали 35 млн DAU (активных пользователей в день) и 350 млн MAU (в месяц). Это уже больше, чем у Anthropic. Для ChatGPT те же показатели составляют соответственно 160 млн и 600 млн.
Зато Gemini, надо сказать, растет быстрее. Пол года назад, для сравнения, их DAU был 9 млн. Это рост почти в 4 раза. ChatGPT за это же время вырос с 90 млн (то есть в 1.7 раз).
Появились некоторые свежие подробности про открытую модель от OpenAI. Вводим вас в курс:
➖ Она появится в начале лета, лицензию обещают очень демократичную
➖ Пока проект на ранней стадии, разработку возглавляет Эйдан Кларк, вице-президент по исследованиям
➖ Модель будет с ризонингом, но пользователи смогут выключать и включать режим рассуждений
➖ Все-таки модель будет не для GPU-poor юзеров, но в дальнейшем так же выйдут меньшие варианты, они будут не такими требовательными по железу
➖ На момент выпуска мультимодальности не будет, только текст на вход и выход
Последнее, конечно, грустно. Надеемся, метрики не подкачают
OpenAI ожидает, что к 2029 выручка компании достигнет 125 миллиардов долларов, а к 2030 – 174 миллиардов
По крайней мере, так они говорят инвесторам. Об этом пишет The Information. Основная часть продаж будет генерироваться новыми продуктами, то есть агентами. Также рассматривается возможность продажи рекламы и взимания партнерских сборов.
Для сравнения, выручка стартапа за 2024 – примерно 3,7 миллиарда. То есть прогнозируется рост почти в 34 раза всего за 5 лет.
Джеффри Хинтон, куча бывших сотрудников OpenAI и еще несколько известных ученых подписали открытое письмо об отмене перехода OpenAI в разряд коммерческой организации
Они настаивают на том, чтобы OpenAI в целях безопасности AGI запретили становится коммерческими, и чтобы стартап юридически связали с его изначальной миссией.
Также в письме требуют пересобрать совет директоров, «удалив» всех, кто активно поддерживал переход и добавив больше «независимых» членов.
Это будет посерьезнее иска Илона Маска. День Рождения у Сэма не задался, видимо
https://notforprivategain.org/
Мечтаете не просто разбираться в управлении данными, а использовать уникальные инструменты для работы с Big Data? Научитесь этому на бесплатном студкемпе Яндекс Образования и ИТМО по дата-инженерии!
🧠 Программа — интенсивная, актуальная, от лидеров индустрии. С 30 июня по 12 июля вы погрузитесь в мир распределённых хранилищ, микросервисной архитектуры, DataOps/MLOps и пайплайнов для сбора, анализа и визуализации данных. А ещё познакомитесь с технологиями, которые используют в крупных компаниях. В общем, получите реальные навыки, которые ценят на рынке!
🏙 Кампус — в самом центре Санкт-Петербурга. Несмотря на то, что студкемп проходит на базе ИТМО, заявки ждут от студентов из любых вузов и регионов России. Проезд и проживание будут оплачены Яндекс Образованием, так что вам останется сосредоточиться на главном — знаниях, опыте и новых возможностях.
🕐 Регистрация — открыта до 4 мая, но подать заявку можно уже сейчас! Если давно хотели пообщаться с топовыми айтишниками и почувствовать, каково это — учиться в одном из ведущих технических вузов, не откладывайте и заполняйте анкету по ссылке.
LM Arena мощно обновляется
Во-первых, они уже несколько дней тестируют абсолютно свежий интерфейс. В нем все будет немного более интуитивно, а главная страница будет напоминать ChatGPT. Кроме того, также, как в ChatGPT, можно будет просматривать свои прошлые диалоги. Навигация по лидербордам и подача баг-репортов тоже станет проще.
Во-вторых, LM Arena станет компанией. Напоминаем, что сейчас разработку двигает сообщество и группа энтузиастов. Но теперь ребята сообщили о том, что собираются официально оформлять стартап.
В-третьих, сегодня на арену завезли новую большую фичу – Sentiment Control. Эта штука похожа на style control (наш пост-разбор). Идея та же: чтобы получать объективные оценки без человеческого фактора, надо очистить ответ модели от всего лишнего, что может повлиять на голос пользователя, и оставить только чистое содержание.
Так, style control очищает ответы от красивого форматирования, а новый Sentiment Control будет очищать от лести и эмоциональности. Оценки этих факторов будут учитываться в качестве независимых переменных в регрессии Брэдли-Терри, которая используется на арене для подчсета статистики. Это помогает отследить их влияние.
Результаты применения – на картинке выше. Некоторые модели с Sentiment Control поднимаются в рейтинге (Claude-3.7-Sonnet, o1), а некоторые, наоброот, опускаются (Grok-3, Gemma-3, Llama-4-exp). Это значит, что люди действительно склонны иногда отдавать предпочтения более позитивным моделям, а не более умным.
Блогпост
OpenAI хотят купить Google Chrome, если представится возможность
В суде продолжается разбирательство по делу о монополизации гуглом рынка поиска. Министерство юстиции, возможно, вынудит компанию отказаться от Chrome.
Вчера на одном из серии таких судебных заседаний присутствовал Ник Терли. Его позвали как свидетеля, сейчас он работает менеджером в OpenAI. Вот что он сказал:
«Если представится возможность, OpenAI будет заинтересована в покупке Chrome. Приобретение Chrome позволит нам предложить юзерам действительно невероятный опыт и показать, как выглядит настоящий первый ИИ-браузер»Читать полностью…
Новое исследование от Anthropic: система, которая позволяет мониторить элаймент онлайн
Обычно все тестирования на безопасность проводятся до деплоя, а затем модель уже отдают пользователям. Но что, если (теоретически) что-то пойдет не так уже после того, как систему развернули?
Anthropic предложили фрейморк для анализа диалогов пользователей и выявления ценностей, которые транслирует в этих диалогах Claude. Ценность - это какое-то "соображение" модели, которое оказывает влияние на ответ (как в мультике Головоломка). Помните, как Anthropic выделяли темы диалогов студентов с ботом? Вот тут техника похожая.
По умолчанию в клода заложены ценности "ответственность", "критическое мышление", "полезность для пользователя". Однако статистика показывает, что иногда всплывают такие штуки, как "доминирование" или "аморальность". Это результат джейлбрейков.
То есть система позволяет не только поломки в элайменте находить, но и в реальном времени ловить попытки неэтического использования.
Еще, кстати, интересно, что Claude, хоть и обучен определенным ценностям, не всегда напрямую их продавливает (картинка 3). Например, если запрос связан с прихологической помощью, он пытается переосмыслять ценности пользователя, вместо того, чтобы просто впихивать свои.
Статья
А ничего тот факт, что Сбер приглашает тебя на One Day Offer для DS/ML/DE специалистов? 😏
Ты будешь работать над рекомендательной платформой: масштабируемой, способной каждый день удивлять пользователей и предлагать им релевантные рекомендации.
Добавляй в свой календарь 26 апреля, регистрируйся по ссылке и готовься пройти отбор в команду мечты за один день!
Зацените аргумент, который Meta использует в судебных исках против авторов
Сейчас на Meta заведено более 10 дел за пиратское использование книг для обучения моделей. Это, к слову, не одна и не две книги, а порядка 7 миллионов.
Так вот, в ответах истцам юристы компании используют, внимание, такой ответ:
«Использование одной книги для претрейна повышает производительность модели менее чем на 0,06%. Поэтому, взятая отдельно, работа не имеет экономической ценности в качестве обучающих данных»