gonzo-обзоры ML статей

10 Mar 2025 00:16

И нельзя не напомнить про китов:
/channel/gonzo_ML/2182

gonzo-обзоры ML статей

09 Mar 2025 23:54

Прогресс в зоопсихологии:

Интересный систематический обзор всех аспектов психики головоногих, включен полный библиографический список всей накопленной к данному моменту литературы по этому вопросу. Линии человека и головоногих разошлись более 600 миллионов лет назад, тем не менее дальнейшие эволюционные процессы (включая механизмы конвергентной эволюции) создали во многом параллельные формы мозга и психики. Изучение психики настолько эволюционно далеких от нас форм жизни важно для дальнейшего расширения круга эмпатии человечества и разработки законодательных мер защиты сложных форм нечеловеческого сознания.

https://thebrooksinstitute.org/sites/default/files/2025-02/Cephalopod%20Cognition%20and%20Sentience.pdf

gonzo-обзоры ML статей

06 Mar 2025 09:43

Что ни день, то сто грамм! А то и двести!

"Mutual Assured AI Malfunction (MAIM)"

https://www.nationalsecurity.ai/

gonzo-обзоры ML статей

05 Mar 2025 16:43

Turning Award у Barto & Sutton за RL! И bitter lesson

https://www.acm.org/media-center/2025/march/turing-award-2024

gonzo-обзоры ML статей

27 Feb 2025 23:37

Пост с выжимкой трансляции:

— модель будет в API вместе с выпуском в Pro-подписку (сегодня)
— Модель будет доступна разработчикам в API ВСЕХ ТИРОВ (не только тем, кто потратил $100+ или $250+). У меня уже появился доступ. В теории завтра-послезавтра появятся независимые бенчмарки... если авторы наскребут денег на тесты ;) новая модель ОЧЕНЬ дорогая
— в остальные тиры (Plus за $20) попадёт уже на следующей неделе
— появился блог: https://openai.com/index/introducing-gpt-4-5/
— модель уже работает с Canvas и поиском (инструменты в ChatGPT), а самое главное поддерживает загрузку файлов
— «GPT-4.5 демонстрирует более сильную эстетическую интуицию и креативность» (прилагаются результаты слепого тестирования на пользователях, как часто они предпочитали ответ одной модели другой). Новая модель побеждает в 57%-63% чатов (более высокий процент достигается на «профессиональных» запросах, что бы это не значило).
— модель тренировалась на нескольких датацентрах одновременно (как Gemini 1.0 год назад)
— как я писал, сделали акцент на том, что новая модель будет очень крутой базой для обучения рассуждающих моделей. Второй акцент — на существенном уменьшении галлюцинаций и улучшении надёжности.

UPD: появились цены!
— $75 долларов за миллион токенов на входе, $150 за миллион на выходе — существенно дороже, чем на релизе была GPT-4. Сейчас GPT-4o стоит $2.5/$10 — в 30 и 15 раз дешевле соответственно (а ведь это ещё и не самая дешёвая модель на рынке DeepSeek стоит значимо дешевле). Страшно представить, сколько будут рассуждалки стоить..
— модель похоже реально ОГРОМНАЯ, скорость генерации ну очень маленькая. Даже простых ответов приходится ждать... как будто вернулся в март '23-го и свежую GPT-4.

Длина контекста остаётся 128k токенов, но почти для всех кейсов этого хватает. Всё равно длинный контекст не так надёжен сам по себе :)

UPD2: модель имеет знания до Октября 2023-го года, согласно документации, то есть как o1/o3/GPT-4o. Это очень не здорово( хотелось хотя бы плюс 8-10 месяцев данных получить...

gonzo-обзоры ML статей

26 Feb 2025 12:20

Сегодня выложили кернелы для матричных операций в FP8

https://github.com/deepseek-ai/DeepGEMM

DeepGEMM is a library designed for clean and efficient FP8 General Matrix Multiplications (GEMMs) with fine-grained scaling, as proposed in DeepSeek-V3. It supports both normal and Mix-of-Experts (MoE) grouped GEMMs. Written in CUDA, the library has no compilation need during installation, by compiling all kernels at runtime using a lightweight Just-In-Time (JIT) module.

Currently, DeepGEMM exclusively supports NVIDIA Hopper tensor cores. To address the imprecise FP8 tensor core accumulation, it employs CUDA-core two-level accumulation (promotion). While it leverages some concepts from CUTLASS and CuTe, it avoids heavy reliance on their templates or algebras. Instead, the library is designed for simplicity, with only one core kernel function comprising around ~300 lines of code. This makes it a clean and accessible resource for learning Hopper FP8 matrix multiplication and optimization techniques.

Despite its lightweight design, DeepGEMM's performance matches or exceeds expert-tuned libraries across various matrix shapes.

Неделя опенсорса продолжается!

gonzo-обзоры ML статей

25 Feb 2025 01:24

https://youtu.be/EtNagNezo8w

gonzo-обзоры ML статей

24 Feb 2025 21:17

Обещают лучше на SWE

gonzo-обзоры ML статей

24 Feb 2025 20:51

Работа на самом деле год отлёживалась

gonzo-обзоры ML статей

24 Feb 2025 20:41

World and Human Action Models towards gameplay ideation
Anssi Kanervisto, Dave Bignell, Linda Yilin Wen, Martin Grayson, Raluca Georgescu, Sergio Valcarcel Macua, Shan Zheng Tan, Tabish Rashid, Tim Pearce, Yuhan Cao, Abdelhak Lemkhenter, Chentian Jiang, Gavin Costello, Gunshi Gupta, Marko Tot, Shu Ishida, Tarun Gupta, Udit Arora, Ryen W. White, Sam Devlin, Cecily Morrison & Katja Hofmann
Статья: https://www.nature.com/articles/s41586-025-08600-3
Модели: https://huggingface.co/microsoft/wham
Пост: https://news.xbox.com/en-us/2025/02/19/muse-ai-xbox-empowering-creators-and-players/
Более подробный пост: https://www.microsoft.com/en-us/research/blog/introducing-muse-our-first-generative-ai-model-designed-for-gameplay-ideation/

Не так давно на новый год я писал свой топ результатов (/channel/gonzo_ML/3175) и одним из них были World Models (/channel/gonzo_ML/3176), а также изменения, назревающие в игровой индустрии.

На прошлой неделе Microsoft (точнее Xbox) сделал сильный ход здесь, выпустив Muse.

Muse -- это World and Human Action Model (WHAM), обученная на игре Bleeding Edge (https://www.bleedingedge.com/en). Это модель, которая моделирует динамику игры, по сути позволяет играть.

Muse обучена на записях игры человека, она предсказывает кадры и действия игрока. Это декодер трансформера, работающий с дискретными токенами, в которых чередуются последовательности кадров и действий на игровом контроллере. За кодирование изображения в токены и декодирование обратно отвечает VQGAN.

Датасет -- это 500,000 анонимизированных игровых сессий, более 7 лет непрерывной игры по семи разным картам игры. Он и называется соответственно, 7 Maps. Есть фильтрованный вариант, где оставили карту Skygarden и 1 год игры.

Трансформеры (вариация nanoGPT) обучены размером от 15M до 894M с VQGAN на 60M параметров, и отдельный самый большой трансформер на 1.6B плюс ViT-VQGAN на 300M. Размер контекста -- 1 секунда игры, для малых трансформеров это 2,720 токенов, для большого 5,560. Размер картинки для малых 128×128 и 256 токенов, для большого 300×180 и 540 токенов.

Ну то есть по архитектуре всё довольно традиционно.

Бюджет на обучение большой модели 10^22 FLOPS. Скромно на фоне фронтира (https://epoch.ai/blog/tracking-large-scale-ai-models). Обучали на 98xH100 GPUs в течение 5 дней. PyTorch Lightning, FSDP, Flash Attention.

На HF опубликованы две модели, на 200M и 1.6B параметров.

Оценивали модель по Consistency (в геймплее не должно быть резких изменений и всё должно быть когерентно), Diversity (для поддержки ‘Divergent thinking’ нужно разнообразие!), Persistency (должна позволять модификации пользователем и давать интерактивность).

Позиционируют как для gameplay ideation. Но мы ждём нейроигр!

gonzo-обзоры ML статей

24 Feb 2025 10:47

https://arxiv.org/abs/2409.10566

gonzo-обзоры ML статей

24 Feb 2025 10:45

Короткий комментарий про длинные контексты.

Сейчас уже многие модели поддерживают контекст размером 128k+, некоторые типа Gemini даже 1-2M. Но есть много подтверждений тому, что эффективный контекст (когда модель держит ещё нормальное качество) сильно ниже. AI21 показывали это для своей Jamba (/channel/gonzo_ML/2914). Много разных бенчмарков с вариациями needle-in-a-haystack демонстрируют что-то такое, например, BABILong (https://github.com/booydar/babilong).

Что интересно в этих бенчмарках, это не только то, насколько хороша (или плоха) модель на пределе своего контекста, а как быстро ухудшается качество даже на казалось бы маленьких длинах типа 4-32k, где предел был несколько лет назад.

Это видно и в таблице BABILong, это было видно в работе “Eureka: Evaluating and Understanding Large Foundation Models“ (https://arxiv.org/abs/2409.10566), это же видно и в свежей работе “NoLiMa: Long-Context Evaluation Beyond Literal Matching“ (https://arxiv.org/abs/2502.05167).

В общем, по-прежнему не работает тема "запихну всё в один большой промпт". Ну как не работает, технически работает, но продуктово... Так что продолжаем пилить на более короткие куски и вообще переходить к специализированным агентам, которые в стиле Unix way делают одну вещь, но хорошо.

In the meantime, я вчера попробовал применить Gemini 2.0 Flash для анализа статей с arxiv, попробовал на статье про DeepSeek-R1, которую уже разбирал. Ну в целом неплохо, и саммари генерит лучше, чем абстракт статьи, и на вопросы вполне неплохо отвечает, действительно суть выделяет.

Что больше всего мне понравилось, это что работа идёт сразу на уровне PDF, не надо ничего парсить. И особенно порадовала скорость — один запрос к 22-страничному PDF отрабатывает за 6-7 секунд, без всякого кеширования. Когда кеширование включат для Gemini 2.0 должно быть ещё быстрее (и дешевле).

Плохо, что у Гугла пока нет единообразия в поддерживаемых фичах. PDF поддерживает Gemini 2.0 Flash, ризонинг поддерживает Gemini 2.0 Flash Thinking, а кеширование работает только для Gemini 1.5. Хотелось бы одновременно всё это заюзать и сразу для набора статей. Ну ладно, переходный момент, вопрос времени.

Пост со ссылками на код тут:
https://gonzoml.substack.com/p/analyze-research-papers-with-gemini

gonzo-обзоры ML статей

21 Feb 2025 12:17

Таня и команда сделали

gonzo-обзоры ML статей

21 Feb 2025 00:22

TWIMC
Русскоязычный курс по AI Safety

gonzo-обзоры ML статей

20 Feb 2025 20:46

Такие заметки потом и подаются в агента вместо полного транскрипта интервью + последние 5000 символов транскрипта.

Агента собрали в виде веб-приложения с голосовым общением, реализованным через комбинацию OpenAI TTS + Whisper. Тут не до конца понятно, упоминают также их Audio модель, а это gpt-4o-audio (но тогда непонятно, зачем whisper).

🤖 Симулякр

Архитектура агента-симулякра тоже наследует предыдущей работе. У агента есть память, "memory stream" в текстовой форме. Есть модуль рефлексии, синтезирующий элементы памяти в рефлексию (аналогично /channel/gonzo_ML/1481).

Промптинг LLM-ки транскриптом интервью для предсказания реакции респондента в режиме одиночного chain-of-thought (CoT) может пропустить латентную информацию не выраженную явно в тексте. Чтобы явно вытащить эту информацию из транскрипта был введён специальный модуль “expert reflection”, которого промптят чтобы он действовал в роли доменного эксперта. Если точнее, то генерятся четыре набора рефлексий от лица четырёх различных экспертов: психолог, поведенческий экономист, политолог и демограф. Используется GPT-4o, которую для каждого респондента и эксперта просят сгенерить до 20 наблюдений или рефлексий. Эти рефлексии генерятся единожды и сохраняются в памяти агента.

Когда симулякр должен предсказать ответ респондента на заданный вопрос, сначала происходит классификация (через промптинг), какой из четырёх экспертов лучше бы на это ответил. Затем подтягиваются рефлексии выбранного эксперта, и вместе с транскриптом интервью используются для промптинга генерации ответа (тоже через GPT-4o). Все вопросы с множественным выбором или численным ответом, модель промптят использовать CoT. Интересно, что бы изменил переход на reasoning модель типа o1/o3/R1?

Если для поведенческого эксперимента важно поддержание контекста, то полученные агентом стимулы и его ответы дописывают текстом к транскрипту и рефлексиям.

🏋️‍♀️ Эксперимент

Далее полученным агентам дают ту же самую батарею тестов и экспериментов (GSS, BFI-44, пять экономических игр, пять поведенческих экспериментов), сравнивают с настоящими ответами респондента.

В качестве бейзлайнов сравнивают с двумя: 1) агент с демографическими атрибутами (вытянули из ответов GSS) и 2) параграф текста, суммаризирующий конкретную персону (респондентов просили написать о себе бриф).

На GSS, BFI-44 и пяти играх считали normalized accuracy как отношение точности предсказания агента к internal consistency, точности репликации человеком своих ответов через две недели. Для категориальных задач использовалась accuracy, для числовых mean absolute error (MAE).

Для GSS средняя normalized accuracy равна 0.85 с std = 0.11, получена как 68.85% точность агента делённая на 81.25% точность репликации ответа самим человеком. Агент на основе интервью заметно лучше бейзлайнов (и сильно выше рандома). На BFI тоже лучше. В экономических играх значимой разницы с бейзлайнами нет.

Провели ещё сколько-то разных экспериментов, включая собирание композитного агента с компиляцией всех ответов респондента на GSS, BFF, игры, но без интервью. С интервью лучше, даже если оттуда вырезать рандомно до 80% транскрипта или сгенерировать короткое саммари из буллет пойнтов.

На пяти поведенческих экспериментах (например, про “allocator’s illusion” https://www.pnas.org/doi/10.1073/pnas.1606574113) и люди, и агенты реплицировали 4 из 5 экспериментов. То есть агенты действуют аналогично и на них можно проверяться.

Ещё проверили, есть ли баесы по полу, расе или идеологии, оценивали разницу между группами, перформящими лучшу и хуже всех. Агенты на основе интервью лучше агентов на основе демографии или персон. Интервью рулят короче.

———

gonzo-обзоры ML статей

10 Mar 2025 00:05

И вот до кучи мой старый пост из 2020-го.

“Чужой разум”, Питер Годфри-Смит (Peter Godfrey-Smith, Other Minds: The Octopus, the Sea, and the Deep Origins of Consciousness)
https://ast.ru/book/chuzhoy-razum-841787/

“Ложная слепота”, Питер Уоттс (Peter Watts, Blindsight)
https://ast.ru/book/lozhnaya-slepota-714648/

Две крайне сильно перекликающиеся между собой книги, одна художественная, другая научно-популярная, обе с впечатляющим набором примечаний со ссылками на научные работы. Книги в общем про одно и то же, только одна написана в парадигме what is, а другая — what if. Одно и то же — это сознание или субъективный опыт, причём рассмотренный со стороны распределённых интеллектов типа осьминога (но этим не ограничивающиеся).

Что характерно, оба автора — морские биологи (ну или около того), только один теперь философ, а другой фантаст. И по странному стечению обстоятельств, оба — Питеры.

У нас на планете по факту есть минимум три различных эволюционных эксперимента по созданию разума: мы, млекопитающие (и затем приматы, а также вероятно, иные развилки, типа дельфинов и китов); птицы (особенно врановые и попугаи); головоногие (осьминоги, каракатицы, кальмары). Последние — самые “инопланетные” для нас, хотя в общем и про птиц в последние годы тоже много интересного публикуется (типа https://www.facebook.com/grigory.sapunov/posts/10215874024103747).

“Чужой разум” Годдфри-Смита, книга с подзаголовком “Осьминоги, море и глубинные истоки сознания”, на первый взгляд кажется книгой про сознание осьминогов (что в общем уже интересно), но на поверку оказывается книгой по философии сознания, включающей в себя также довольно подробный разбор эволюционных корней сознания, и даже, неожиданно, вопросы старения.

Автор прослеживает эволюционные истоки развитых нервных систем фактически от коммуникации одноклеточных, к клеткам внутри многоклеточного организма, появлению нервной системы (возможно, ещё у эдиакарской фауны), и множеству дальнейших эволюционных развилок. Описывает устройство тел и особенности биологии головоногих (не знал, что у них кожа по сути представляет многопиксельный экран и то, что они, вероятно, могут кожей “видеть”). Рассуждает, когда в эволюции появляется субъективный опыт, и в какой момент внутри “загорается свет”, обсуждает некоторые теории сознания. Ну и попутно, конечно, много рассказывает о своих и чужих наблюдениях за осьминогами и каракатицами.

Много классных примеров поведения осьминогов, которые вместо того, чтобы дёргать рычаг и получать пищу, начинают откручивать лампочки, брызгаться водой или отламывать этот рычаг. Мне очень запомнился пример с осьминогом, жившим в каком-то аквариуме то ли в зоопарке, то ли в институте, где их кормили вроде размороженной рыбой, которая для осьминогов скорее второсортна. И вот осьминог в первом аквариуме после получения этой еды терпеливо дождался, пока исследовательница пройдёт все остальные аквариумы и раздаст еду их обитателям, и на её обратном пути встретил её у стекла, держа в щупальцах эту еду, а затем не отрывая взгляда поплыл вглубь аквариума, где находился слив воды, и демонстративно, глядя на исследовательницу, отправил туда в слив эту размороженную рыбу.

На очереди у меня также давно лежит “Душа осьминога” Сай Монтгомери, её теперь ещё больше хочется почитать. А “Чужой разум”, думаю, ещё буду перечитывать, она того стоит.

“Ложная слепота” Питера Уоттса появилась раньше, в 2006-м (“Чужой разум” в 2016-м, и, кстати, у Годдфри-Смита вот только что, месяц назад, вышла новая книга “Metazoa: Animal Life and the Birth of the Mind”). Читать интересно, но спойлерить не буду, там кроме инопланетных разумов и про наши тоже есть неплохие рассуждения. Тоже рекомендую.

#books

gonzo-обзоры ML статей

06 Mar 2025 21:33

Ну и до кучи к предыдущему, если ещё не видели

https://www.anthropic.com/news/anthropic-s-recommendations-ostp-u-s-ai-action-plan

gonzo-обзоры ML статей

06 Mar 2025 08:45

Дожили

https://corticallabs.com/cl1.html

gonzo-обзоры ML статей

02 Mar 2025 11:10

Давно Шмидхубера не видели?

https://www.ted.com/talks/juergen_schmidhuber_why_2042_will_be_a_big_year_for_ai

gonzo-обзоры ML статей

27 Feb 2025 23:37

Всех поздравляю!

https://openai.com/index/introducing-gpt-4-5/

gonzo-обзоры ML статей

25 Feb 2025 08:26

DeepSeek пошёл всё опенсорсить на этой неделе.

Сегодня опубликовали DeepEP, коммуникационную библиотеку для MoE с GPU кернелами
https://github.com/deepseek-ai/DeepEP

Вчера выложили кернелы для MLA
https://github.com/deepseek-ai/FlashMLA

Завтра ещё что-нибудь выложат.

gonzo-обзоры ML статей

25 Feb 2025 01:23

Акустические модемы снова в моде!

https://devpost.com/software/gibber-link

gonzo-обзоры ML статей

24 Feb 2025 21:13

О, Sonnet 3.7 подоспел!

https://anthropic.com/news/claude-3-7-sonnet

gonzo-обзоры ML статей

24 Feb 2025 20:50

6.5 минут рассказа про работу с демонстрациями

gonzo-обзоры ML статей

24 Feb 2025 10:47

https://x.com/maximelabonne/status/1890018729389359307

gonzo-обзоры ML статей

24 Feb 2025 10:46

https://github.com/booydar/babilong

gonzo-обзоры ML статей

21 Feb 2025 12:17

🌸MLGym – открытый фреймворк и бенчмарк для Агентов в автоматизации ML-задач🌸
#nlp #про_nlp #nlp_papers

Сегодня, под конец этой насыщенной недели, мы с коллегами выпускаем новую работу "MLGym: A New Framework and Benchmark for Advancing AI Research Agents".

🟣TL;DR
MLGym – это фреймворк для оценки и развития LLM-агентов.
В нем пока 15 различных ML задач, включая хорошо и не очень определенные: задачи на NLP, CV, RL, теорию игр.
Агенты должны продемонстрировать свою способность понять задачу, запустить бейзлайн, оцени его, и начать итерировать эксперименты и улучшать результат, находясь при этом в заданной среде. В среде есть набор инструментов, которые можно использовать: поиск по файловой системе, поиск по файлам, модуль памяти, просмотр и изменение файлов, и собственно действия запуска скрипта оценки и сабмита решения.
Каждая задача содержит датасет, метрику, бейзлайн, а также свою собственную среду, где есть контролируемые ограничения на вычислительный бюджет и таймауты.

Мы предлагаем иерархическую структуру из 6 уровней для оценки степени автономии и научного вклада агентов:
Уровень 0: воспроизведение – аккуратно повторить чужие эксперименты без ошибок
Уровень 1: Итеративное улучшение бейзлайна – применение лучших практик, перебор гипертапаметров
Уровень 2: Достижение SOTA через итерации от бейзлайна – решение лучше тех, что смогли найти люди
Уровень 3: Новый научный вклад – можно быть принятым на условный NeurIPS
Уровень 4: Научное новаторство, фундаментальный научный вклад – можно получить "лучшую статью" на том же NeurIPS
Уровень 5: Долгосрочная исследовательская программа – test of time awards, научная революция, премия Тьюринга.

🟣Что мы выяснили?
Текущие ИИ системы находятся почти поголовно на уровне 1.

Удобно оценивать все системы относительно дельты, которую они смогли достичь, опираясь на бейзлайн, за заданное количество итераций (за первые 5 шагов у системы Х получили +15% точности, а у системы Y +20%). Если оценивать LLM-агенты так, то увидим, что O1-preview вырывается вперед практически на всех задачах. GPT-4o и LLama 3.1 405B примерно на одном уровне, Claude и Gemini делят обычно 2 и 3 место. Ну а если помимо дельты оценивать еще и стоимость инференса модели, но картина меняется, и лучше по соотношению оказывается Gemini с большим отрывом.  

Достаточно интересно посмотреть распределение действий агентов и их ошибок:
— большинство LLM-агентов делают ошибки и из-за этого не доходят до сабмита, тогда как O1 и Gemini гораздо чаще просто не доделывают сабмит до конца.
— все агенты большую часть действий тратят на изменение файлов: редактирование скриптов обучения, а также чтение файлов, запуск обучения и валидацию — соотношение действий примерно у всех одинаковое, хотя некоторым система действий требуется меньше.
— почти все агенты очень мало используют поиск, хотя могли бы.
— минимальное число итераций до первого сабмита — примерно 5. Все системы начинают с чтения файлов, затем запускают валидацию, и дальше планомерно итерируются, изменяя скрипты и запуская обучение.

🟣Что еще есть полезного?
— Классный Web UI визуализатор агентных логов на streamlit
— Есть набор полезных функций и tools, полностью совместимый с SWE-Agent.
— Есть модуль памяти, модуль поиска научной литературы, и еще много разных ништяков, которые можно использовать отдельно от бенчмарка, просто развивая своего агента (свой агент? Это же неодушевленное...). 
— Есть большой обзор литературы, охватывающий почти все последние работы в области агентов для SWE, ML, науки, который угадайте кто писал.

Линейку задач можно легко расширять — поэтому мы будем рады идеям и контрибьюшенам, а также любой активности в репозитории.

🟣Arxiv: https://arxiv.org/abs/2502.14499
🟣Github: https://github.com/facebookresearch/MLGym
🟣Лицензия: CC-BY-NC 4.0

gonzo-обзоры ML статей

21 Feb 2025 00:22

📣 Open-call: Курс по основам AI Safety

ИИ меняет мир с безумной скоростью, но вместе с этим несет в себе серьезные риски. Задача AI Safety – позаботиться, чтобы эти изменения были положительными

Цель курса – дать базу для начала карьеры в AI Safety. Программа знакомит с основными концепциями, ландшафтом исследований и работами Anthropic, Redwood Research, MIRI

📖 Программа из двух треков:
➕Учебный (4 недели): Знакомство с материалами в фасилитируемых группах
➕Проектный (7 недель): Работа с ментором нацеленная на публикацию

👥 Для кого?
➕Будущие рисечеры: ml'щики, физики, математики, программисты
➕Будущие фаундреры: предприниматели интересующиеся AI Safety

🎓 Сертификат по окончанию курса
👏 Карьерная консультация и менторское сопровождение для лучших студентов

🔫 Экспертиза менторов включает: evals, agent foundations, adversarial attacks, representation engineering, safety field building, mechanistic interpetability

💼 Этим курсом мы готовим людей себе в команды и в команды наших друзей по сейфти. Поэтому курс бесплатный. По этой же причине мы серьезно подходим к отбору кандидатов

🔢 Детали:
➕Очно в Москве или онлайн
➕Регистрация открыта до 21 февраля
➕Даты: 2 марта – 20 апреля
➕Нагрузка: 10-15 часов в неделю

💬 По вопросам пишите @anton_zheltoukhov

➡️➡️ Зарегистрироваться

gonzo-обзоры ML статей

20 Feb 2025 20:46

В общем забавно это всё. Можно делать таких виртуальных агентов и отрабатывать на них различные социальные эксперименты — реакцию на полиси, результаты опросов и голосований. В целом это уже было так или иначе, но будет только больше и лучше. Давно уже хотел собрать цифровую копию какого-нибудь парламента, но времени нет. Не сомневаюсь, что хорошо сработает. Может быть как раз эти же авторы что-то такое и делают как второй шаг после генеративных агентов 23-го года (/channel/gonzo_ML/1481).

Цифровое бессмертие где-то рядом. А буквенное ещё ближе. Кража identity personality тоже.

gonzo-обзоры ML статей

20 Feb 2025 20:46

Generative Agent Simulations of 1,000 People
Joon Sung Park, Carolyn Q. Zou, Aaron Shaw, Benjamin Mako Hill, Carrie Cai, Meredith Ringel Morris, Robb Willer, Percy Liang, Michael S. Bernstein
Статья: https://arxiv.org/abs/2411.10109
Пост: https://hai.stanford.edu/news/ai-agents-simulate-1052-individuals-personalities-impressive-accuracy

Мы в прошлом году не разобрали эту статью, а она интересное практическое продолжение темы из 2023-го про Generative Agents (/channel/gonzo_ML/1481) от Стэнфорда и ко. Теперь авторы взяли и симулировали 1,052 реальных человека, а потом на последующих опросах сумели добиться 85% точности репликации их собственных ответов и действий в экспериментах через две недели. Кроме того собрали полезного агента-помощника для проведения интервью.

Процедура создания агента выглядит так:

🎤 Интервью

Были проведены глубинные интервью, включавшие в себя заранее заданные вопросы и адаптивные последующие, зависящие от ответов респондента.

Через стратифицированную выборку набрали 1052 участника, чтобы получить репрезентативную выборку US популяции по возрасту, полу, расе, региону, образованию и политической идеологии. Все участники прошли голосовое интервью со средней длиной транскрипта 6,491 слов (stddev 2,541). Также собрали ответы на серию опросников (General Social Survey (GSS), Big Five Inventory из 44 пунктов(BFI-44)) и результаты поведенческих экспериментов (пять экономических игр и пять поведенческих экспериментов). Интервью потом будет использоваться для прайминга агентов, а опросы/эксперименты для оценки точности полученных агентов. Также было ещё и self-consistency интервью через две недели после перечисленного.

Изначально через компанию Bovitz рекрутировали 1300 человек (хотели в итоге получить 1000 для достаточной статистической мощности пяти поведенческих экспериментов). Участникам платили: $60 за первый опрос, $30 за self-consistency через две недели, и ещё был бонус в диапазоне 0-10$ по результатам экономических игр. Не все дошли до второй фазы и выполнили self-consistency опрос, так что осталось 1052 (но ожидали ещё больший отсев).

Для этого прям заморочились и собрали свою платформу, где респондент может зарегаться, создать аватара, дать consent, пройти интервью, опросы и эксперименты, в заданном порядке и в нужное время. Для скейлинга интервью использовался ИИ-интервьюер, проводивший его по полуструктурированному протоколу. Хотели именно интервью, а не опрос, потому что надеялись получить более полную информацию с ценными нюансами. За основу взяли протокол, разработанный американскими социологами в рамках American Voices Project. В скрипте были темы от истории жизни до взглядов на текущие социальные темы. Оригинальный протокол был рассчитан на трёхчасовое интервью, здесь его немного урезали, чтобы всё умещалось в два часа.

ИИ-Интервьюер сам динамически генерировал последующие вопросы, соответствующие ответам участников. Архитектура агента была вариацией на тему оригинального Generative Agent (/channel/gonzo_ML/1486). Агент принимал на вход свежие предыдущие ответы респондента и скрипт интервью, и генерил follow-up вопросы или переходил к следующему вопросу в скрипте. Вопросы структурированы в блоки, для каждого вопроса прописано поле с указанием, сколько времени дано на вопрос. Первый вопрос блока агент задаёт не меняя, а затем ориентируясь на оставшийся бюджет времени и ответы респондента принимает решения в динамике, что именно спросить. Модель для этого должна делать некоторый ризонинг и учитывать весь контекст, но при росте контекста текущие (на тот момент, да наверное и на этот) модели обычно деградируют, так что в агента ввели модуль рефлексии, который суммаризирует беседу и записывает выводы, которые можно сделать про респондента.

Так, если до этого агент спрашивал, где респондент родился, а тот упомянул природу этого места, агент мог задать вопрос про походы и записать в итоге после рефлексии что-то вроде:

{
    “place of birth”: “New Hampshire”
    “outdoorsy vs. indoorsy”: “outdoorsy with potentially a lot of time spent outdoors”
}