gonzo-обзоры ML статей

27 Oct 2024 13:12

Горький урок ABBYY: как лингвисты проиграли последнюю битву за NLP 

Недавно СМИ облетела новость об увольнении всех российских программистов из компании ABBYY (тоже в прошлом российской, а теперь уже совсем нет). Теперь, когда страсти вокруг обсуждения дискриминации сотрудников по паспорту улеглись, хочется поговорить о более глубокой истории. Закат ABBYY — это фиксация проигрыша последней битвы лингвистов за автоматическую обработку языка. Мир Data Science победил. Главный редактор «Системного Блока» Даниил Скоринкин, работавший ABBYY в 2013–2017, подводит итоги и пытается сформулировать уроки из этой истории.

Что за ABBYY и при чем тут лингвисты и NLP?

История ABBYY началась в 1989 году, когда студент МФТИ Давид Ян решил сделать электронный словарь для подготовки к экзамену. Так появились Lingvo, а затем — система распознавания символов FineReader. Продукты ABBYY развивались, и компания стала глобальным лидером оптического распознавания в 1990-е и 2000-е. Затем ABBYY двинулась покорять машинный перевод. 

На вооружение они взяли идеи известных лингвистов — в первую очередь Модели «Смысл ⇔ Текст» (прочитать о ней можно в нашем интервью с И. А. Мельчуком). Амбиция была в том, чтобы разобрать человеческие языки как формальные структуры на базе семантической иерархии. Но естественный язык устроен противоречиво и постоянно изменяется, подход оказался негибким и немасштабируемым

Что пошло не так?

В 2006-м появилась первая версия Google Translate. Она была несовершенной, но главное, что в ней был другой — статистический — подход. И масштабируемость. Для её улучшения не нужны были сотни лингвистов, только еще больше примеров перевода. В 2010-х стало ясно, что никаких шансов тягаться с Google Translate у ABBYY не было. С перевода ABBYY переключилась на задачи информационного поиска и извлечения информации из текста, но и там столкнулась с теми же проблемами: описания языка на базе лингвистической теории оказались немасштабируемыми, а решения уступали подходам на основе чистого машинного обучения. 

C новой проблемой компания столкнулась весной 2022 – им пришлось выехать из России, чтобы сохранить зарубежных клиентов. Следующим ударом стали большие языковые модели, который научились выполнять те же задачи, что и классические системы распознавания от ABBYY. Сейчас от компании осталась только вывеска, действующие продукты и небольшое количество менеджеров и специалистов по продажам.

Какие уроки мы извлекаем?

За 70 лет исследований ИИ стало ясно, что самые общие методы, опирающиеся на масштабирование вычислений, намного эффективнее всех остальных. А желание ABBYY сделать универсальную NLP-систему с опорой на лингвистическую теорию оказалось утопией. 

И всё-таки ABBYY успела сделать много важного: открывала кафедры на Физтехе и в РГГУ, оцифровывала наследия Льва Толстого и архива Большого театра. А еще благодаря ей появился «Системный Блокъ», ведь сооснователи издания познакомились именно там. И именно там вы сможете прочитать полную версию поста с мемами, фотографиями и более детальным описанием цифровой «Вавилонской башни», которую пыталась строить ABBYY.

🤖 «Системный Блокъ» @sysblok

gonzo-обзоры ML статей

26 Oct 2024 14:46

Сегодня больше гуманитарного плана, про языки.

Как известно, в мире огромное количество языков, примерно 7100, из них больше 90% имеют меньше 100 тысяч носителей. К 2100 половина языков может вымереть. Около половины языков не имеют письменной формы, а даже многие из тех, что имеют, всё равно практически нигде не присутствуют в цифровом виде, по оценкам таких порядка 6000.

Декада с 2022 по 2032 объявлена Юнеско как Indigenous Languages Decade, и разные инициативы нацелены на то, чтобы помочь сохранить это богатство и перенести в цифровой век. К некоторым проектам даже я успел приложиться, например, к Language Digitization Initiative и гайду “Zero to Digital: Language Data Gathering Guidelines”.

То есть с нижнего конца распределения всё плохо, надо всё спасать. С верхнего конца распределения понятно, что во-первых в вебе доминирует английский с примерно 50%, затем идут испанский, немецкий, японский, французский, русский из тех, кто перевалил 4%, ну португальский ещё рядом. Ну и ещё там есть какой-то хвост на 100-200 языков (обычно меньше, если модель намеренно мультиязычная), которые обычно попадают в датасеты для обучения LLM.

Неудивительно при всём этом, что с английским оно лучше всего работает, дальше начинает ухудшаться (вот один из примеров). Топовые модели типа GPT-4o, Gemini 1.5, Claude 3.5 в целом хорошо работают и на части неанглийских языков, по крайней мере из той группы, что достаточно представлена в интернете. Но дальше всё равно хуже, по-другому быть не может, когда у тебя данных в датасете почти нет.

Создатели Ламы 3 например пишут: “over 5% of the Llama 3 pretraining dataset consists of high-quality non-English data that covers over 30 languages. However, we do not expect the same level of performance in these languages as in English”

Плюс есть ещё влияние токенизации, ибо она тоже обучаемая и собирает словарь наиболее частотных единиц из того, что видела. Есть менее умные (полезные) токенизации, есть более умные. У Gemma и Gemini, кстати, весьма неплохая в сравнении с другими.

Но в любом случае для языков ниже топа 100-200 обычно всё плохо. Они мало где поддерживаются, разве что в специализированных моделях. Хорошо, по крайней мере, не вымирают, но при таком дисбалансе в поддержке, этот bias может и усиливаться.

Ситуация понемногу улучшается, вот, например, этим летом Гугл добавил 110 новых языков в свой переводчик, причём сделал это через LLM. Недавно они и до API перевода наконец доехали. У них есть “1,000 Languages Initiative”, у соседей есть “No Language Left Behind”, что хорошо.

Специализированные модели, конечно, тоже появляются. Развиваются и региональные модели, можно вспомнить про скандинавские языки у Poro от Silo AI (что интересно, куплена AMD недавно). С индийскими LLM тоже пошла движуха с разных сторон (https://arxiv.org/abs/2403.06350, manoranjan.rajguru/state-of-indic-llm-an-overview-db00e290eecd">ещё, щё, ё), ну и так далее.

Но, что интересно с современными LLM. Они знают больше, чем видно на поверхности. В интернете таки и более редкие языки встречаются, в кроулинг они тоже попадают, и модель их очевидно тоже видит в обучении. Иногда это знание можно успешно вытянуть.

Мой свежий пример — шетландский язык/диалект, который ещё можно встретить в Шетландии (не путать с Шотландией, в которую Шетландия формально входит, но культурно от неё очень далека, и большую часть своей истории относилась не к Шотландии, а к Норвегии). На этом языке говорит порядка 3500 человек, он развился из языка скотс с примесью норна, который в свою очередь произошёл от древнескандинавского. У языка даже нет ISO 639-3 кода, и никакими онлайн-переводчиками он не поддерживается. Гугл транслейт поддерживает шотландский гэльский (из кельтской ветви индоевропейской семьи языков), но не шотландский, который скотс (из германской ветви, как и английский), и определяет его как мэнский (ещё один язык из кельтской ветви). Интересно, что Гугл транслейт вообще скотс не поддерживает, хотя у него с полтора миллиона носителей. Ну да ладно, недоработка, думаю, исправят скоро.

gonzo-обзоры ML статей

25 Oct 2024 19:42

Для тех, кто не в теме, напомню, как оно было на самом деле.

gonzo-обзоры ML статей

25 Oct 2024 17:47

Продолжаем авторазбор того, что не успевается вручную. Помните KAN'ы?

KAN or MLP: A Fairer Comparison
Runpeng Yu, Weihao Yu, Xinchao Wang
Paper: https://arxiv.org/abs/2407.16674

/channel/gonzo_ML_podcasts/10

Вроде как получается, что MLP почти везде лучше, а там где хуже, при замене функции активации на learnable B-spline, то и везде лучше.

gonzo-обзоры ML статей

24 Oct 2024 08:48

Раз мы по видео пошли, свежего Лекуна вам в ленту

Lecture Series in AI: “How Could Machines Reach Human-Level Intelligence?”
https://www.youtube.com/watch?v=xL6Y0dpXEwc

Animals and humans understand the physical world, have common sense, possess a persistent memory, can reason, and can plan complex sequences of subgoals and actions. These essential characteristics of intelligent behavior are still beyond the capabilities of today's most powerful AI architectures, such as Auto-Regressive LLMs.

I will present a cognitive architecture that may constitute a path towards human-level AI. The centerpiece of the architecture is a predictive world model that allows the system to predict the consequences of its actions. and to plan sequences of actions that that fulfill a set of objectives. The objectives may include guardrails that guarantee the system's controllability and safety. The world model employs a Joint Embedding Predictive Architecture (JEPA) trained with self-supervised learning, largely by observation.

The JEPA simultaneously learns an encoder, that extracts maximally-informative representations of the percepts, and a predictor that predicts the representation of the next percept from the representation of the current percept and an optional action variable.

We show that JEPAs trained on images and videos produce good representations for image and video understanding. We show that they can detect unphysical events in videos. Finally, we show that planning can be performed by searching for action sequences that produce predicted end state that match a given target state.

Слайды:
https://drive.google.com/file/d/1F0Q8Fq0h2pHq9j6QIbzqhBCfTXJ7Vmf4/view

Надо будет JEPA и её вариации таки разобрать. Давно в очереди уже.

gonzo-обзоры ML статей

23 Oct 2024 10:43

Продолжаю автоматический разбор статей в свежесозданном параллельном канале gonzo_ML_podcasts.

Сегодня свежая работа Тегмарка и ко про разреженные автоэнкодеры:

Decomposing The Dark Matter of Sparse Autoencoders
Joshua Engels, Logan Riggs, Max Tegmark
https://arxiv.org/abs/2410.14670

/channel/gonzo_ML_podcasts/5

Ссылка на подкаст в телеграме и на ютубе там же. Зачётно гонят! :)

gonzo-обзоры ML статей

22 Oct 2024 19:38

NotebookLM

Не все ещё знают про такую прекрасную штуку, как NotebookLM, в прошлом Project Tailwind:

https://notebooklm.google.com/

NotebookLM -- это AI ноутбук для работы со статьями и документами (https://blog.google/technology/ai/notebooklm-google-ai/). В него можно загрузить статьи (например, в pdf или txt), аудио (mp3), документы или слайды с Google Drive, ссылки на страницы, видео на Youtube, просто скопипастить текст. А дальше работать с ним с помощью гугловой LLM Gemini -- задавать вопросы, делать суммаризацию, генерить идеи, в целом на что фантазии хватит.

Я активно использую NotebookLM для разбора статей -- для генерации постов, как я хочу, его пока не хватает (но думаю через годик будет иначе), но чтобы уточнить детали статьи, а особенно если нужно сразу сделать что-то по нескольким статьям, очень хорошо.

Недавно добавились аудио обзоры (https://blog.google/technology/ai/notebooklm-audio-overviews/), когда два диктора обсуждают заданную тему, например, статью, гуглодок или что угодно, хоть ваши логи :) Пока только на английском. С октября эти обзоры ещё и можно кастомизировать (https://blog.google/technology/ai/notebooklm-update-october-2024/), давая инструкции, чего именно вы хотите. Это, правда, ничего не гарантирует, агенты всё равно могут уйти обсуждать другие вещи и пока не прослушаешь результат -- не узнаешь, но всё равно прикольно. Годится как развлекательный жанр.

Я попробовал сделать обзор статьи Gödel Agent, которую только что разобрал (/channel/gonzo_ML/2964). Генерил четыре раза, пытаясь добиться полноценного разбора конкретной статьи с небольшой отсылкой к оригинальной Шмидхуберовской про Машину Гёделя. Каждый раз косячило по-разному, иногда вообще сторонние темы уходило обсуждать (например, так получился обзорчик по RNN, который сам по себе может и ничего, и будет достоин отдельного поста), или обсуждало статью, но фантазировало (так, гёделевским агентам оно приписало вероятностный логический вывод и прочее, чего там не было). Выбрал итоговый вариант, где баланс того и другого :)

Заодно завёл канал для постинга гонзо-мл-подкастов: /channel/gonzo_ML_podcasts 🙂 Буду экспериментировать и ждать, когда оно наконец сможет заменить меня.

В продукт я очень верю. Мне кажется, мы на пути к персональному агенту-помощнику для различного рода исследований. Может оно когда-нибудь и с генерацией кода сольётся, и вызов функций появится, так что можно будет интегрировать с чем-то ещё. У новых моделей (свежий новый Claude 3.5 Sonnet) появляются ручки и ножки, в смысле они могут взаимодействовать с компьютером (https://www.anthropic.com/news/3-5-models-and-computer-use), так что и рисёч-агент со временем может стать очень способным. Ждём.

А пока вот вам 8 советов как начать жить пользоваться NotebookLM: https://blog.google/technology/ai/notebooklm-beginner-tips/.

gonzo-обзоры ML статей

22 Oct 2024 19:05

Agent-as-a-Judge: Evaluate Agents with Agents

Статья со Schmidhuber в соавторах 😀 Для того, чтобы понять текст ниже, нужно ознакомиться с концептом агета — пояснительный пост я делал тут.

Современные методы оценки не очень хорошо подходят для агентных систем. Они либо сосредоточены исключительно на конечных результатах, игнорируя пошаговую природу процесса получения ответа (промежуточные шаги), либо требуют чрезмерного количества ручного труда, что дорого и плохо масштабируется. Кроме этого, для улучшения агентных систем разработчикам приходится лезть в кишки и смотреть, что происходило и почему что-то не сработало — тоже долго и дорого.

Вот на примере SWE-Bench, обновлённую версию которого недавно выпустили OpenAI: системе даётся задача внесения изменений в код, а затем после получения решения прогоняется набор тестов. Прошли все тесты — задача «решена» (но тесты не покрывают всё и не проверяют каждую возможную несостыковку), не прошёл хотя бы один — не решена. А почему не решена? да миллион причин может быть.

У исследователей из META возникла идея: давайте для каждой задачи выпишем критерии решения, и запустим агентную систему для проверки всех промежуточных шагов (и сбора необходимой и достаточной для этого информации). Так родился бенчмарк DevAI: собрали 55 задач на автоматизацию ИИ разработки (обучи модель, запусти то-то, сделай то-то). Для них выписали суммарно 365 требований, в среднем по 6.6 на задачу. Самое описание — это текст длиной от 70 до 150 слов: не полноценное описание огромной задачи, но уже и не однострочник.

Дальше взяли 3 агентные системы (все используют gpt4o), запустили, а результаты работы отсматривались тремя специалистами. У них проверка 55 задач и 365 пунктов заняла суммарно 86.5 часов, и это бы стоило $1300 по минимальной часовой ставке в $15 (реальная стоимость сильно выше — тут же нужны эксперты с навыками ML/AI, а не любой человек с улицы). Кажется, на такой бюджет можно столько проверок через LLM нагородить, что не горюй.

Люди между собой сначала не общались, поэтому естественно возникли разногласия — уровень несогласованности между парами оценщиков колеблется от 10% до 30%. Как тогда определить, кто прав? Для этого людей собрали вместе и дали возможность обсудить каждую задачу, и финализировать ответ — получилось консенсусное решение, которое считается истинным. Вот от него голосование «большинством» от трёх исходных специалистов снижает несогласованность до 5-6% (поэтому часто в разметке ответы и агрегируют, получая «мудрость толпы»).

А после этого исследователи взяли и написали AI-агента (критика), который смотрел на решения, на критерии, и производил проверку — и вердикт сравнивался с консенсусным решением людей (удовлетворены ли требования).
TLDR: агент без доступа к логам размышлений согласуется с правильным ответом в 83-90.5% случаев (в зависимости от фреймворка, которым решались оригинальные задачи), с доступом — 86-92%. Люди с доступом к логам выдавали 89%-92%, а агрегация их ответов дала 94-95% (это как раз та несогласованность в 5-6% выше).

То есть автоматическая оценка примерно совпадает по точности с одиночной оценки людей, но чуть хуже агрегации нескольких ответов. Зато она быстрее на 97.7% (118 минут) и дешевле на 97.6% ($30.5).

gonzo-обзоры ML статей

21 Oct 2024 23:31

На полный эволюционный процесс по четырём бенчмаркам с 30 рекурсивными самоулучшениями ушло $15 (и в основном всё из-за растущей памяти с историей). Конкурирующий Meta Agent Search требовал $300.

Отдельно исследуется кейс с Game of 24. Там гёделевский агент после шести неуспешных попыток оптимизации переключился с метода на основе LLM на метод на основе поиска, переписав эту часть кода, и достиг 100% точности. В других запусках он продолжал использовать LLM, но сделал по ходу множество улучшений типа добавления верификации и прогона задачи на дополнительных данных. А ещё добавил библиотеку для лучшей трассировки ошибок, улучшил логи, убрал лишний код.

Также попробовали разные начальные полиси, не только CoT. Из интересного, более сильная полиси ведёт к лучшей сходимости, а также то, что агент c CoT после всех улучшений не превзошёл ToT. То есть типа инновации он не так хорошо придумывает.

У авторов большие планы на улучшение по различным фронтам (см. Раздел 6.1), включая множественных агентов.

Любопытная тема, наэволюционировать и рекурсивно наулучшать можно всякого…

gonzo-обзоры ML статей

20 Oct 2024 18:03

Julian Togelius (https://scholar.google.com/citations?user=lr4I9BwAAAAJ&hl=en) выпустил обзорную книгу про AGI в серии MIT Press Essential Knowledge

Artificial General Intelligence
https://mitpress.mit.edu/9780262549349/artificial-general-intelligence/

Откровений нет, рецепта построения AGI тоже, да и готового определения даже нет. Но зато есть хороший обзор области для тех, кто далёк от темы AI вообще. Начинается всё с исторического обзора superhuman AI, определения и измерения естественного и искусственного интеллекта, видов AGI и истории практических наработок. Услышите и про AIXI, и про open-ended learning. Но немного. Есть небольшие главы про AGI и consciousness, superintelligence и intelligence explosion, AGI and society. Несомненным достоинством книги является её незацикленность на LLM, про них тут в целом не очень много, процентов 20 от силы.

#books

gonzo-обзоры ML статей

16 Oct 2024 11:31

Пока некоторые грозили ядерной бомбардировкой датацентров, ядерные технологии пришли туда изнутри.

На днях Гугл подписал контракт с Kairos Power на покупку энергии от их ядерных реакторов (SMR), до этого Microsoft договорился с Constellation Energy о покупке энергии в течение 20 лет с восстанавливаемого реактора на Three Mile Island, Amazon тоже не отстаёт.

Акции Constellation Energy, Vistra и прочих неплохо выросли за последний год.

gonzo-обзоры ML статей

10 Oct 2024 14:24

Это прекрасно!

"“I was particularly fortunate to have many very clever students – much cleverer than me – who actually made things work,” said Hinton. “They’ve gone on to do great things. I’m particularly proud of the fact that one of my students fired Sam Altman.”

https://techcrunch.com/2024/10/09/after-winning-nobel-for-foundational-ai-work-geoffrey-hinton-says-hes-proud-ilya-sutskever-fired-sam-altman/

gonzo-обзоры ML статей

09 Oct 2024 16:11

Мои комментарии по выдаче нобелевки по физике 2024 года (хотя я там в тексте и нобелевку по химии поминаю, она тоже по нейросетям, но там обсуждать нечего). Две линии комментариев:
— да, глубокое обучение в его сегодняшней версии исторически появилось из исследований физиков, из математики физиков (и даю несколько ссылок на работы весьма давних лет, впрочем и современные работы тоже)
— интересная культурная ситуация, когда выпускники самых разных вузов, которые заведомо проходили курсы по физике, не понимают, почему физики присудили нобелевку людям из машинного обучения. То есть вообще не понимают ничего про первый пункт. Это вопрос современного образования как такового.

Неожиданно много, 14Кзнаков.

https://ailev.livejournal.com/1737734.html

gonzo-обзоры ML статей

09 Oct 2024 14:11

Комментарий Михаила Кацнельсона

"Меня попросили прокомментировать нобелевскую премию по физике (видимо, не столько нобелевскую премию саму по себе, сколько сопровождающий шум). Однако, почитавши ленту, я впал в полную растерянность. Как комментировать всеобщее убеждение, что воробей не птица, а Марс не планета? Читать полный курс зоологии (в первом случае) или астрономии (во втором)? Мы так не договаривались. Если «все» говорят, что машинное обучение - не физика, возникает вопрос, а что «они» понимают под физикой. Метод Монте-Карло - это физика? А ренормгруппа? Тогда почему машинное обучение не физика? Содержательно это раздел статистической физики, и проблемы машинного обучения могут изучаться теми же методами. Или есть сомнения, что это _используется_ в физике? Ну зайдите в архив, в какой-нибудь безусловно физический раздел (я проверил в cond-mat), и сделайте поиск на machine learning в названии или в абстракте. А, это используется не только в физике? Ну хорошо - а рентгеновские лучи используются в медицине, и ядерный магнитный резонанс тоже. Соответствующие явления перестают поэтому быть физикой?

В общем, не знаю, что сказать.

Важно это или не важно для физики? Ну, слушайте. Работ, за которые _можно_ дать нобелевскую премию, раз в сто больше, чем тех, за которые ее реально дают, и _всегда_ кто-то будет спрашивать, а почему дали за аттосекундную спектроскопию, а не за лазеры на свободных электронах, или почему Бете получил премию, а Пайерлс (физик примерно того же класса) нет. Это нормальные разговоры.

Возможно, и разговоры «это не физика» тоже с какой-то точки зрения нормальные, но я лично их понять не способен."

https://facebook.com/story.php?story_fbid=pfbid0mJAsERnPumJ6KjYxigYawzWms9P8xr34kHs2uRzPFDqXqas7HtzH1pWSuTXqL6K6l&id=100004887810496

gonzo-обзоры ML статей

09 Oct 2024 10:35

Минутка истории. Для тех, кто забыл про связь deep learning и разной интересной физики.

Пост Анатолия Левенчука 2015-го года очень в тему:

https://ailev.livejournal.com/1197148.html

Жаль, Анатолий вышел из нашего чата, он, конечно, многое может сказать по теме и по сути.

Про RBM тоже надо будет что-нибудь хорошее найти. Новое поколение их, наверное, не застало и не знает, да и какого-то прямого выхлопа в области прямо сейчас они не имеют, но в целом energy-based models это отдельная и очень большая тема, которая вполне себе живёт.

gonzo-обзоры ML статей

26 Oct 2024 14:46

Кое-какие материалы на шетландском языке в сети есть, так что в обучающих датасетах они скорее всего должны были появиться. И оказывается, с помощью LLM вполне можно собрать переводчик с шетландского (я это сделал тут: https://gonzoml.substack.com/p/discovering-shetlandic), и результат на глаз весьма неплохой. Совершенно точно лучше, чем у этих попыток Google Translate перевести всё с другого языка.

В общем интересная тема, главное успеть все языки спасти. Сейчас очередной язык умирает каждые 40 дней (символично), или получается 9 языков в год. Большим и средним языкам пока ничего не грозит, но с другой стороны с распространением мультиязычных моделей и появлением всё более хорошего перевода стимулы учить новые языки понемногу уходят. Хофштадтер (который “Гёдель, Эшер, Бах”) недавно написал проникновенный пост Learn a Foreign Language Before It’s Too Late (вероятно за пейволлом) с мыслью “AI translators may seem wondrous but they also erode a major part of what it is to be human”. Ну, что-то в этом есть. Учите языки, пока не поздно. Английский понятно, он сейчас просто must, без него в AI, например, вы отстаёте сразу на несколько лет. Выберите себе ещё что-нибудь, чтобы лучше узнать какую-то другую культуру. Я вот сейчас выбрал себе исландский, 330 тысяч носителей, примерно как один район мегаполиса.

gonzo-обзоры ML статей

25 Oct 2024 19:47

Лучше вот такое смотрите :)

https://youtu.be/Hxn9OBH4hWY?si=LgFlpFHjMlLC0UfI

gonzo-обзоры ML статей

25 Oct 2024 19:39

В свете пошедших слухов про GPT-5/Orion и бразиллион её параметров, вот вам новая картинка и почти такая же старая. Не ведитесь, короче, на эту хрень.

gonzo-обзоры ML статей

24 Oct 2024 15:59

Продолжаем авторазбор темы про SAE (Sparse Autoencoders)

Scaling and evaluating sparse autoencoders
(OpenAI) Leo Gao, Tom Dupré la Tour, Henk Tillman, Gabriel Goh, Rajan Troll, Alec Radford, Ilya Sutskever, Jan Leike, Jeffrey Wu
https://arxiv.org/abs/2406.04093

/channel/gonzo_ML_podcasts/7

Аудио-часть, кажется, получилась совсем вводная и болтологическая, ну да ладно, продолжаем экспериментировать :)

В любом случае лучше так, чем никак, а то есть огромная очередь потенциально интересных статей, которые я всё равно не успеваю разобрать. Буду автоматом разбирать эту очередь + периодически разбирать вручную что-то особо достойное.

gonzo-обзоры ML статей

23 Oct 2024 15:11

Долгим и бесплодным обсуждениям сознания в чате посвящается!

Свежий Анохин

https://youtu.be/9hzvAY2tlWY?si=zt-UcrzLoB0ricf9

gonzo-обзоры ML статей

23 Oct 2024 10:07

https://www.aitrainingstatement.org/

gonzo-обзоры ML статей

22 Oct 2024 19:05

Схематично выглядит так.

В самом низу агент-проверяльщик имеет доступ ко всем файлам, которые требовались агенту-решателю для выполнения задачи. Проверяльщик может их отсмотреть и делать выводы о том, что и как было решено, и совпадает ли это с исходными критериями.

И очень понравилось, как заканчивается статья: логичные дальнейшие шаги. Авторы замечают, что наличие столь качественного критика (как человек, который и участвует в разметке данных и даёт обратную связь) позволяет запустить автоматический процесс дообучения и улучшения моделей. Нечто схожее сделали OpenAI с o1 для математики и программирования, и вот подход для агентов.

И финальное слово про сам бенчмарк: очень ждём замеров результатов моделей грядущего поколения. Сейчас лишь одна задача из 55 решается по всем критериям, однако из 355 подкритериев порознь выполняются 46.44%. Так что видно, что агент может что-то сделать, но упускает из виду несоответствие остальным критериям (забыл отдельный шаг, не туда сохранил/не так назвал файл, или просто ошибся в коде) — как раз тут и пригодился бы критик.

Почитать все 55 задач можно тут.

gonzo-обзоры ML статей

22 Oct 2024 19:05

Больше про агентов и агентные пайплайны! И про важность хорошего критика :)

К слову, рекомендую Сиолошную, там тоже много хороших разборов статей, которые не успеваю делать я.

gonzo-обзоры ML статей

21 Oct 2024 23:31

Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement
Xunjian Yin, Xinyi Wang, Liangming Pan, Xiaojun Wan, William Yang Wang
Статья: https://arxiv.org/abs/2410.04444
Репа: https://github.com/Arvid-pku/Godel_Agent

Why did the Gödel Agent take so long to plan its road trip in its Gödel Machine?

Because its navigation system kept recursively self-improving, proving it could find a better route, but never actually getting to the destination!


Любопытная работа про эволюционирующих агентов, вдохновлённых Шмидхуберовской Машиной Гёделя (https://arxiv.org/abs/cs/0309048) 2003 года. Машина пыталась сначала формально доказать, что изменение ведёт к улучшению (что могло требовать примерно вечность), агент вместо формальных доказательств использует эмпирический фидбек из среды и просит LLM улучшить код на базе этого фидбека. По ощущению похоже на что-то типа AutoGPT, который ещё и код свой переписывает.

Идея в том, что агенты бывают разной породы. Первые, Hand-Designed Agents с самой низкой степенью свободы, следуют одной и той же полиси всё время, вне зависимости от фидбека из среды. Другие, известные как Meta-Learning Optimized Agents, имеют фиксированный алгоритм meta-learning, обновляющий их полиси по фидбеку из среды. И есть self-referential Gödel Agent, который может улучшать себя без ограничений. Технически это значит, что он обновляет и полиси, и алгоритм мета-обучения.

Для такого агента нужно задать начальные полиси и алгоритм мета-обучения. В качестве начальной полиси взята LLM с Chain-of-Thought промптом. А в качестве второго взят алгоритм, который рекурсивно запрашивает LLM для переписывания всей своей кодовой базы с учётом фидбека из среды (успешность решения задачи). При этом он может переписать и код, отвечающий за переписывание кода, поэтому он self-referential.

Агент -- это экземпляр конкретного питоновского класса (Agent), он имеет доступ к содержимому памяти питоновской среды (локальные и глобальные переменные, функции и модули) и может динамически там всё менять, включая свой код (monkey patching). Так он и эволюционирует, насколько я понял.

Для улучшения сходимости оптимизационного процесса агенту даны дополнительные тулы: 1) thinking before acting (кажется, похоже на ReAct), 2) error handling (добавлен механизм восстановления после ошибок, ибо LLM может всякого в код навставлять), 3) code running (Python и bash), 4) LLM calling (через API). Первые два дальше покажут наибольшую пользу.

Где-то в обзорах в сети проскакивало, что агент сначала проверяет, что новые изменения ведут к улучшению, и включает новый код только если они ведут, или что он делает backtrack назад к предыдущему хорошему решению в случае, когда результат оказался хуже. Но по статье этого не видно, более того, там явно есть примеры, когда результат сначала ухудшался, а потом агент таки навёрстывал. Код я посмотрел только поверхностно, и мне кажется, что ничего упомянутого тут нет и агент ориентируется только по истории. Но могу и ошибаться, так что если кто погрузится глубже и найдёт что-то интересное, расскажите. Вообще есть чувство, что всё больше обзоров начинают генериться NotebookLM или просто GPT, и оно не всегда соответствует реальности.

Потестили на бенчмарках DROP, MGSM, MMLU, GPQA. Бейзлайны из группы Hand-Designed Agents (CoT, CoT-SC, Self-Refine, LLM Debate, Step-back-Abs, Quality-Diversity, Role Assignment) и Meta-Learning Optimized Agents (Meta Agent Search).

Дефолтный гёделевский агент ограничен, ему запрещено менять модель (gpt-3.5-turbo) и у него нет доступа к интернету. Как я понял, для самоулучшения используется gpt-4o, а gpt-3.5-turbo -- для оценки уже оптимизированной полиси. Есть неограниченный вариант, которому можно фсё.

Ограниченный гёделевский агент побил всех. Где-то сильно (DROP, MGSM), а где-то лишь слегка (GPQA). В приложении есть код для найденных полиси, можно изучить, насколько далеко он ушёл от начального CoT. Неограниченный агент побил всех ещё больше, но во многих случаях за счёт перехода на более мощную модель 🙂

gonzo-обзоры ML статей

18 Oct 2024 09:16

Не про AI (хотя...), но фото прекрасное.

Flight 5 composite
Credit: Andrew McCarthy

gonzo-обзоры ML статей

12 Oct 2024 11:07

Лонгрид от Дарио

Machines of Loving Grace
How AI Could Transform the World for the Better

https://darioamodei.com/machines-of-loving-grace

gonzo-обзоры ML статей

10 Oct 2024 09:05

Nathan Benaich и Air Street Capital опубликовали новый State of AI Report 2024 (https://www.stateof.ai/)

Сама преза: https://docs.google.com/presentation/d/1GmZmoWOa2O92BPrncRcTKa15xvQGhq7g4I4hJSNlC0M/edit?usp=sharing

Key takeways from the 2024 Report include:

* Frontier lab performance begins to converge and proprietary models lose their edge, as the gap between GPT-4 and the rest closes. OpenAI o1 put the lab back at the top of the charts - but for how long?
* Planning and reasoning take priority in LLM research, as companies explore combining LLMs with reinforcement learning, evolutionary algorithms, and self-improvement to unlock future agentic applications.
* Foundation models demonstrate their ability to break out of language, supporting multimodal research across mathematics, biology, genomics, the physical sciences, and neuroscience.
* US sanctions have limited effects on Chinese labs’ ability to produce capable models, as a combination of stockpiles, approved hardware, smuggling, and cloud access allow them to build highly performant (V)LLMs. Meanwhile, China’s efforts to build a domestic semiconductor industry remain scrambled.
* The enterprise value of AI companies has hit $9T, as public companies experience a bull market for AI exposure. Investment in private AI companies also increased, but by an order of magnitude less, despite GenAI megarounds in the US.
* A handful of AI companies begin to generate serious revenue, including foundation model builders and start-ups working on video and audio generation. However, as models get cheaper as part of the corporate land-grab, questions around long-term sustainability go unanswered.
* The pseudo-acquisition emerges as an off-ramp for AI companies, as some companies struggle to find a viable business model as staying at the frontier proves costly.
* The existential risk discourse has cooled off, especially following the abortive coup at OpenAI. However, researchers have continued to deepen our knowledge of potential model vulnerabilities and misuse, proposing potential fixes and safeguards.

Блог: https://www.stateof.ai/2024-report-launch

gonzo-обзоры ML статей

09 Oct 2024 16:11

А вот и от Анатолия лонгрид

gonzo-обзоры ML статей

09 Oct 2024 12:36

Это всё прекрасно! Второй нейросетевой Нобель! За AlphaFold!

Мои поздравления команде!

https://www.nobelprize.org/prizes/chemistry/2024/press-release/

gonzo-обзоры ML статей

08 Oct 2024 13:00

Потрясающее количество негативных реакций на Нобелевку.

Прокомментируйте, почему?