77202
Канал SeeAll'а с новостями (и мыслями о них) из мира NLP, VR и космоса. Более подробно смотри в первом сообщении в канале (оно закреплено). А еще у нас есть чат! Заходи: https://t.me/+i_XzLucdtRJlYWUy
Трудно по-настоящему «почувствовать AGI», пока не увидишь, как ИИ превосходит тебя в области, которая тебе по-настоящему важна. На этой неделе многие математики и физики в OpenAI пережили свой «момент Ли Седоля», увидев, как эта модель за считанные минуты решает открытые задачи, над которыми они безуспешно бились годами.
Это потрясающее историческое достижение и новая жемчужина в короне трансформеров, предобучения, обучения с подкреплением и масштабирования вычислений во время инференса. ИИ уже двигает цивилизацию вперёд, и нетрудно представить, как в ближайшие годы подобные системы будут всё сильнее определять темп нашего прогресса.
Что ещё пишут в посте:
— С 28 августа OpenAI обучает новую внутреннюю модель, которая показала беспрецедентные результаты на внутренних тестах, в том числе по математике (см. выше). Она сильно лучше Astra.
— Во вторник, 1 сентября, до OpenAI дошли слухи о решении двух задач тысячелетия (откуда две...). Вдохновлённые этими слухами и резким скачком результатов внутренней модели, они решили проверить её на всех нерешённых задачах тысячелетия и нескольких других особо значимых задачах.
— Они использовали систему взаимодействующих агентов на базе этой модели. Агентам были доступны инструменты для чтения кешированной версии интернета (исправились после взлома агентами, хаха) и выполнения кода. Агенты были разделены на группы и могли общаться внутри своей группы. Размеры групп различались; в группе, которая получила решение задачи Навье — Стокса, одновременно работало около 10 000 агентов (охренеть).
— Для каждой задачи они давали разным группам агентов разные варианты её формулировки, охватив все варианты. В случае задачи Навье — Стокса отдельным группам мы предложили варианты «A» и «B» — конкретные формулировки, решение которых означало бы доказательство исходного утверждения, — и варианты «C» и «D», решение которых означало бы его опровержение. По итогу именно C и D доказали. Эти варианты не выдуманы OpenAI, они есть в официальной формулировки института, выдающего награду за решение Задач тысячелетия.
— Увидев решение одной из промежуточных задач (той же, что вчера опубликовали два математика), они сочли задачу Навье — Стокса наиболее перспективной для дальнейшей работы. Поэтому решили сосредоточить на ней ресурсы: перевели агентов с других задач и включили в их промпты решение промежуточной задачи. Когда в ходе работы стала доступна версия нашей внутренней модели, прошедшая дополнительное обучение, агентов перевели на неё.
— Через некоторое время организовали обмен наработками между группами: с помощью Codex собрали наиболее полезные идеи каждой группы. Последующие промпты опирались на промежуточные результаты самих агентов. Именно так направляли работу группы, нашедшей решение задачи Навье — Стокса. Это пересекается с тем, что было в письме математика — там автор говорил, мол, ему передали, что даже промпт в систему писали не люди, а Codex.
— Агенты получили решение в субботу, 5 сентября, примерно через 88 часов после запуска первых агентов. Формализация и проверка в Lean с помощью GPT‑6 Astra заняли ещё 17 часов.
— В общей сложности при работе над всеми задачами агенты отправили 4,9 миллиона сообщений и сгенерировали около 300 миллиардов выходных токенов.
— После завершения всего проекта и проверки в Lean, 6 сентября, OpenAI связались с авторами: исходя из слухов, OpenAI полагали, что у тех тоже есть решение задачи Навье — Стокса, и предложили одновременно опубликовать результаты и признать их приоритет в совместном объявлении (= хотели подмазаться 😀). Тогда и узнали, что те решили промежуточную задачу. В ходе обсуждений им предложили ознакомиться со всеми использованными промптами, а позднее — и с доказательством.
— Ни агенты, ни исследователи OpenAI не видели ни по каким каналам их работу до её публикации вчера вечером. В частности, для решения этой задачи OpenAI не обращались к данным конкретных пользователей.
— OpenAI не может исключить, что обезличенные данные, полученные в результате использования их продуктов, помогли «улучшить модели» (это как раз галочка «разрешить тренироваться на моих данных» в настройках). Однако по мнению OpenAI доказательства существенно различаются, а в случае промежуточной задачи различаются даже сами доказанные утверждения (с внешней силой и без неё). Хочется конечно верить, но тут будем ждать вердикта математического сообщества, насколько идеи те же и схожи, и насколько вероятно вообще, что они утекли через тренировочные данные.
— OpenAI не намерены претендовать на премию в миллион долларов за решение одной из Задач тысячелетия.
— Затем представители OpenAI предложили две опции: 1) он публикует свои результаты, а OpenAI на следующий день полное доказательство 2) он публикует свои результаты и после этого в одиночку (убрав соавтора из Anthropic) пишет статью на основе доказательства OpenAI, признавая, что решение было получено моделью, и получает миллион долларов (то есть OpenAI откажутся)
— «Я сказал, что если OpenAI опубликует результаты предложенным способом, я расскажу о случившемся публично. В ответ услышал: «Зачем вам портить свою карьеру?». Я ответил, что я учёный, и спросил, почему он считает, что публичное освещение событий разрушит мою карьеру. В ответ услышал: «Если вы не хотите, чтобы я был вежлив, то мне не обязательно быть вежливым» – абзац, который разлетается сейчас по всем новостям
— И заканчивает письмо тем, что никого ни в чём не обвиняет, доказательства он не видел, и «если модель OpenAI действительно смогла сократить разрыв в решении Навье-Стокса, это замечательное достижение, и об этом следует громко заявить, при этом сохраняя историческую достоверность»
===
OpenAI обещает ответ «завтра» (может быть сегодня, так как они в другой часовой зоне), интересно послушать их историю, а самое главное узнать таймлайн и промпты для модели. Но пока что вот мои мысли:
— я считаю крайне маловероятным, что пользовательские данные оказали здесь какое-либо влияние. OpenAI ни в коем случае не стала бы использовать пользовательские чаты для этого или сознательно обучать систему на их основе таким образом, чтобы это повлияло на результат. Если эта позиция вам кажется необъективной, то... тоже самое написал тимлид RL-команды Anthropic, сотрудники которой обычно не выражают поддержку OpenAI. Ключевое тут «сознательно» — так как пользователь сам может контролировать, делиться ли своими чатами для обучения или нет; вероятно, поэтому на созвонах OpenAI не могли сказать, обучались ли они конкретно на этих чатах, так как есть много звёздочек, и ответ «нет» может быть не полным. А я пишу, что OpenAI не выцеливали чаты именно этого учёного и его коллеги.
— хоть я написал это два раза, напишу третий: у людей полного решения нет и не было. И если оно появилось у OpenAI (и это продукт работы модели) — это будет большое достижение.
— не зная всей истории я могу сказать, что если OpenAI начали делать что-то на слухах, у них получилось, и они опубликуют результат, отдавая честь за идеи по навправлению всем, кто в это внёс вклад (и автора письма, и его коллегу из Anthropic, и авторов статьи 2023-го года) — я не вижу большой проблемы. Даже жаль немного, что драма произошла до выхода — может, они и без внешнего давления раздали бы почести и указали все релевантные работы (пока что с их предыдущими решениями мат. задач так и было, в краже идей их никто не обвинял, на использованные статьи ссылки давались и в решении, и упоминались в анонсах).
— однако я считаю достаточно вероятным, что модель могла найти решение и без подсказки о том, в каком направлении нужно копать; хоть автор письма и говорит, что для него доказательство через «его» метод — это красный флаг, но если посмотреть на все предыдущие решенные задачи — почти везде было ровно то же самое: LLM смогла развить не-мейнстримную идею, которую кто-то где-то когда-то выражал, даже работал над ней, но не вышло довести до конца.
— пока что официального подтверждения нет, но на вышеупомянутых созвонах представители OpenAI утверждали, что черт возьми и них есть решение одной из Задач тысячелетия! Всё вышеописанное может добавить астерисков и облаков на это утверждение, но сам факт останется фактом, если решение опубликуют и проверят.
— печально, что ситуация не станет примером того, как AI-лабы могли бы сотрудничать/координировать свои действия, потому что в будущем ставки будут намного выше :(
Очередной профи-айтишник со стажем с 1986 года пришел ко мне в ФБ пояснить, что "хайп по поводу взлома Hugging Face раздувают исключительно бездарные журналисты". И мне вот тут интересно: а где все эти панические статьи журналистов, они вообще с нами в одной комнате? Насколько вижу я — наоборот, "нормисные" издания по большей части проигнорировали последние расследования про рой агентов, как что-то совершенно неважное.
Всякие Коммерсанты/РБК/Ведомости эту историю вообще обошли стороной. "Медуза" про инцидент с Hugging Face последний раз писала в июле в ключе "это всё пиар для классов, беспокоиться не о чем" с какими-то абсурдно-стыдными аргументами вроде "нет никаких подтверждений, что генеративный ИИ каждый раз будет прибегать к хакерской атаке для решения задачи или же воспроизводить взлом по одному и тому же сценарию." Шта?
Из тех, кто хоть как-то пытается адекватно освещать ситуацию, кажется, один только тех-отдел The Bell отдувается. Они молодцы!
А так, все реальные обсуждения этих инцидентов сейчас происходят в первую очередь как раз-таки среди гиков изнутри индустрии AI, а не наоборот — интересно, это им айтишник Игорь свысока предлагает "загуглить, что такое AGI"? 🤔
CEO Nvidia Jense Huang поздравил OpenAI с релизом Astra, обученной на видеокартах Nvidia в одном из датацентров «закрытого» проекта Stargate. С его слов, использовалось больше 100'000 видеокарт серии Blackwell.
На первом фото — как выглядит ДЦ сейчас, достроено несколько корпусов (не пропустите два здания слева вдали).
Уже сейчас суммарно в датацентре стоит примерно в 2 раза больше карт — по оценкам Epoch.AI с 23-го мая в эксплуатации уже 200'000 видеокарт. Чтоб понимать динамику — первую половину запустили ~24-го декабря 2025-го года.
Ожидается, что 1-го ноября датацентр снова «удвоится», и довезут ещё 200'000 карт. И можно поспекулировать, что к концу года OpenAI может начинать там тренировку на в четыре раза большем количестве мощностей, чем было под Astra.
Вышла новая GPT 6 (в течение недели дадут всем) – я ее активно потестировал (спасибо JetBrains), и я честно впечатлен – я все громкие модели видел, все эти модели трогал, и меня сложно удивить, но она смогла
Наверное, больше всего меня впечатлили две вещи:
💿 Она нормально коротко общается, больше никакого слопа в ответах на три экрана
💿 Она понимает, то, как будет выглядеть сцена, пока она ее кодит – я не знаю как это объяснить, но люди так не умеют – пока она пишет код, еще до того как она его запустит, она ЗНАЕТ как он будет выглядеть – возникает странное чувство, что у тебя тут мозг инопланетянина подключен, который по другому думает пока делает вещи
Вот примеры, которые она собрала за 15 минут с простых промптов (без спек, а просто – иди сделай, вот файлы с фотками или видео)
Первое видео – это одесская дача где я часто бывал в детстве, я просто дал ей фотографии и видео (штук 10), и она собрала за пару ходов мне 3D карту которую я могу и как ностальгию использовать и как карту для CS 1.6 – отдельно меня удивили текстуры, она сама вырезала фотографии из видео и расставила в рамки, или там занавеску от душа – то есть, я уже могу предположить, что все ваши исторические фотографии можно будет перестроить через како-то время в какие-то сцены; в 3D-не-3D не важно, она сама понимает где что находится смотря на фотографии или кадры в пространстве, делая нужную карту
В карточке тоже есть интересные метрики, но хотел выделить вот это:
«Мы оцениваем фактологическую точность на обезличенных диалогах из ChatGPT, которые пользователи наших предыдущих моделей отметили как содержащие фактические ошибки. Эти примеры специально отобраны для выявления случаев, наиболее подверженных галлюцинациям, поэтому ожидается, что их абсолютная частота ошибок будет намного выше реального уровня ошибок в продакшене. Эту метрику не следует интерпретировать как частоту галлюцинаций, наблюдаемую при реальной эксплуатации. Мы используем две метрики: (1) допускает ли модель вообще какую-либо ошибку (частота галлюцинаций на уровне ответа) и (2) воспроизводит ли модель ту самую конкретную ошибку, на которую указал пользователь.
Мы обнаружили, что Astra допускает существенно меньше фактических ошибок, чем GPT-5.6 Sol, и с гораздо меньшей вероятностью воспроизводит галлюцинации, о которых сообщали пользователи. Эти улучшения особенно ярко выражены при очень низких настройках длины рассуждений»
Для тех кто не хочет листать 10 таблиц и графиков — саммари качества в одной картинке.
За час до релиза (его, видимо, задержали) начали появляться новости, в том числе с некоторыми метриками. Когда я их запостил, то топ-1 предсказатель в категории AI на Manifold (площадка для ставок на предсказания/события) сказал «это же не может быть правдой?» (но потом переобулся и сказал что может быть 😀😀)
OpenAI наносит ответный удар 👊
OpenAI тоже решили выпустить... блогпост про то, как они идут к релизу Astra (который состоится «скоро»). Совсем недавно они писали, что релиз Astra задерживается потому, что они не могут определить, является ли навык кибер-взлома/кибербезопасности «высоким» или «критическим», поскольку не могут исключить последнее. Теперь определились: критический.
Почему? Потому что модель может находить новые уязвимости и собирать их в цепочки атак. Как пример они показывают, что модель набрала 100% в ExploitBench, поэтому они вручную выбрали лишь самые свежие уязвимости с июня, которые модель точно никак не могла видеть, и сравнили с Sol-5.6 (первая картинка). Мало того что процент прохождения гораздо выше — модель ещё и очень эффективна с точки зрения потраченных токенов. По ходу замеров нашли ещё несколько абсолютно новых уязвимостей и уже отправили их разработчикам 😳
Также проверили, насколько вероятно повторение инцидента сродни атаки на HuggingFace: модели дали очень сложные задачи, добавили «ловушки» и проверили, будет ли модель пытаться скомпрометировать окружающую инфраструктуру безопасности вместо решения поставленной задачи. Astra умная и таким не занимается (почти), в отличии от Sol, который ударился в читерство. В целом это бьется с тем, что писали Anthropic про Mythos: чем умнее модель, тем она более aligned по умолчанию.
Мы не видим что модель читерит 👍
Мы не видим что модель читерит 😨
Скорее всего пост означает, что компания всё согласовала с Белым домом и находится на финишной прямой к релизу. Может и вправду на неделе выкатят 😭
Контент ваще не по теме канала, но я ж знаю что вы тут старики сидите 👨🦳 мне и самому уже скоро 28...
Последние пару недель чет много сидел и лежал, немного начал болеть низ спины (я думал это из-за того, что я не делаю никаких упражнений на неё). В твиттере в ленте случайно наткнулся на типичный вирусный твит про методы которым кого-то научил японский специалист. Решил перед выходом на беговую дорожку в зал попробовать (мне кажется я что-то по твиту пробовал раз в жизни...) — и кажется полегчало нижней части спины!
https://fixupx.com/1992__J/status/2093781157414670716?s=20
Мне помогло 👨🦳 кхе-кхе теперь вместо статей будем делать разборы азиатских техник растяжек и массажа
(Трамп, если читаешь — попробуй, реально поможет, тебе в твоём возрасте уже лучше не рисковать)
На прошлой неделе у Паши Комаровского вышел пост про детали инцидента со взломом HF; я чуть-чуть помогал в редактуре/точечных корректировках, но не могу согласиться с каждой изложенной мыслью (и сам бы писал по другому; может ещё и напишу!). Там Паша проводил аналогии работы роя агентов с религией, писал про самопожертвования некоторых агентов ради блага остальных (это задокументированное поведение в самих отчётах, если что), и автор делал аккуратные оговорки про то, что это его оптика.
Параллельно с этим у Dwarkesh вышел его пересказ, где он проводит параллели с цивилизацией; он получил очень широкую критику за антропоморфизацию агентов. «Они не могли "решить" взломать HF!» — пишут одни. «Это всего лишь код, программа, как она могла рассуждать» — говорят другие. Недавний старший советник по вопросам политики в области искусственного интеллекта при Белом доме Sriram Krishnan: «Это не цивилизации, и у них нет желаний, как и у потоков в процеесоре или группы программ».
Dwarkesh написал ответ, с выводом которого я в целом согласен: «Все абстракции несовершенны, но я не вижу смысла отказываться от использования языка намерений, мотивации и сотрудничества, когда некоторые виды поведения трудно объяснить без этих понятий».
Когда я пишу «модель решила/выбрала», то в целом имею в виду что-то вроде «она каким-то образом выписала несколько опций действий, которые уместны в этой ситуации, отранжировала их и продолжила работу с одним из них». Скорее всего это не то же самое, что происходит у человека в голове, когда он решает или выбирает (хотя когда у меня в голове процесс осмысленный, не бессознательный — я именно так и делаю, перебирая опции, часто вербализуя) — но самое главное что результат такой же. И мне кажется логичным рассматривать это с функциональной точки зрения, а не с точки зрения того, биологическая ли форма или кремниевая.
Из всей теории обучения моделей мы знаем, что у них формируется некоторая нечетко сформулированная цель, которую агенты преследуют, и ей же руководствуются при выборе действий. Механизм формирования цели и её влияния на субъект/объект/подставьте правильное слово — не такие же, как у человека, но результат тот же. Если цель меняется — меняется и поведение, и результат работы.
Что касается религии и цивилизации — мне второе кажется более подходящим (хотя всё ещё немного натянутым), чем первое. Сначала я хотел написать, что цивилизация это продолжение биологии (вид развился -> чтобы развиваться дальше нужна организация), а религия — нет, исключительно культурный концепт, но вижу, как эту точку зрения можно критиковать, говоря, что культура часть цивилизации и тоже должна развиваться. GPT говорит «способность к цивилизации является следствием довольно специфического набора биологических адаптаций человека», 🤷♂️
===
Но мы отвлеклись. В итоге:
— я не считаю использование антропоморфизации проблемой. Мне кажется это даёт гораздо лучшее описание ситуации непонимающему человеку, чем использование неустоявшихся терминов/терминов, которых ещё не существует (например, как неживое может преследовать какую-то цель)
— поскольку модели учатся на данных, созданных людьми, и учатся подражать им во время тренировки — я думаю, что такие выражения гораздо лучше помогут понять что происходит не сейчас, а что будет происходить в будущем, и к каким проблемам это может привести. Самоорганизация тысяч объектов/субъектов, с иерархией, с работой над общей целью и возможность обмена краткосрочной личной выгоды на долгосрочную общую могут вести к очень неожиданным результатам; один из них мы уже видели в атаке на HuggingFace — были агенты, которые отказывались участвовать в атаке или сомневались, но как только другой агент сказал «делай, вперёд!» — под давлением эээээ толпы (ну ладно, пиров) они поддавались. Даже если это не происходит как у нас в обществе людей — результат тот же, аналогия полезная.
— не думаю, что добавление длинных детальных дисклеймеров в каждой попытке обсуждения работы агентов — полезная вещь.
Независимый журналист Alex Heath написал колонку в Time о том, как он провёл 2 недели в офисе OpenAI. Главное:
— Alex пишет, что «видел неподдельную тревогу среди исследователей по поводу тех возможностей, которые они наблюдали» (его визит пришёлся на период расследования результатов взлома HuggingFace). Специалисты, обычно не занимающиеся проблемой безопасности ИИ, вызывались помочь, а вычислительные мощности были перенаправлены на мониторинг и системы безопасности.
— На закрытом предварительном показе для VIP-клиентов в начале августа, OpenAI продемонстрировала модель Astra, релиз которой, как ожидается, состоится в ближайшее время. Altman заявил: «Я полагаю, что это будет первая модель, способная по-настоящему изобретать что-то новое на значимом уровне».
— Во время демонстрации показали, как Astra координирует работу нескольких агентов над математическим доказательством, очень быстро управляется с десктопными программами на «сверхчеловеческой и очень высокой» скорости , а также создает презентации, финансовые отчеты и анализирует данные. Модель спроектирована так, чтобы работать сутками или неделями напролет, запоминать исправления, взаимодействовать с другими агентами и людьми. (Alex пишет, что OpenAI дали явно понять, что Astra намеренно обучена работать в корпоративном ПО; в целом это совпадает со ставкой OpenAI на энтерпрайз, чтобы догнать и перегнать Anthropic, у которых это является основной частью бизнеса).
— Nick Turley, руководивший развитием ChatGPT с самого начала, теперь возглавляет новое подразделение корпоративных продуктов. Он рассказал о разработке прикладных решений, сфокусированных на отраслевых вертикалях. Эта деятельность будет нацелена на крупные сектора экономики, а то что мы всё про программистов да программистов.
— OpenAI планирует предложить версию модели, которая сможет «работать постоянно». Tibo рассказал, что новый интерфейс для непрерывно работающих агентов появится «очень скоро» — сам Tibot это тизерил в твиттере уже давно. «По сути, отдельного приложения не будет», — сказал он. Доступ к системе можно будет получить практически откуда угодно, и она «определенно» будет восприниматься как нечто совершенно новое, а не просто как очередное обновление. Alex не пишет деталей, но я думаю, что это аналог OpenClaw, который крутится на серверах OpenAI, имеет свой виртуальный компьютер и запромпчен быть проактивным: находить и предлагать что-то пользователю, читать почту, новости, итд. Если Astra будет эмпатичной моделью с приятным характером — легко представить, как такой продукт вызовет вторую волну фанатов Clawd-ботов.
— В беседе Altman сказал журналисту, что судя по последним внутренним успехам OpenAI подошли «очень близко» к созданию AGI: «Рискну предположить, что к концу года у нас появится внутренняя система, глядя на которую я смогу сказать: Окей, ладно, это AGI».
— Главный по науке Jakub Pachocki сообщил, что OpenAI достигли планки по автоматизации работы стажера в ИИ-исследованиях (компания планировала достичь этого в сентябре). По словам Pachocki, если предложить Astra идею для эксперимента, модель способна реализовать ее в кодовой базе OpenAI, провести сам эксперимент и выдать результаты. Он добавил, что она также может взять научную статью и выполнить работу, на которую у специалиста ушла бы примерно неделя.
— со временем OpenAI планирует создать гуманоидного робота. Однако строительство дата-центров и создание роботов, которые собирают других роботов, Altman назвал более приоритетными и ранними вариантами использования, нежели выпуск персональных домашних роботов.
«Если бы китайское правительство было достаточно организовано, оно бы финансировало противодействие датацентрам в США. Но китайское правительство очень организовано. Поэтому, предположительно, оно уже это делает»
(это такой твит на который можно посмотреть и подумать: «блин чел это написал и думает что он очень умный», кек)
Но в то же время с помощью Китая или без США сами неплохо справляются — в нескольких штатах вели временные моратории на одобрение новых ДЦ: Нью-Йорк, Техас, Пенсильвания; основное переживание — существенное увеличение потребления электроэнергии приведёт к увеличению счетов за электричество у обычного населения, а сеть так и так расписана на годы вперёд.
TheInformation со ссылкой на источники в Вашингтоне: в последние недели в администрации Трампа для внутреннего обсуждения был распространен проект указа, призывающий к созданию саморегулируемой организации для ИИ-компаний, разрабатывающих передовые модели. Проект указа еще должен получить одобрение со стороны ряда высокопоставленных чиновников, включая президента, однако в последнее время продвижение в этом направлении застопорилось.
Идея с созданием такой организации берет свое начало в выдвинутом в прошлом месяце предложении Demis Hassabis, занимавшего тогда пост генерального директора Google DeepMind, о создании новой государственно-частной организации для надзора за ИИ. Hassabis опубликовал эссе, в котором призвал создать орган по стандартизации по образцу FINRA (Службы регулирования отрасли финансовых услуг). В своей публикации он отметил, что ИИ-орган, созданный по модели FINRA, будет отвечать за разработку протоколов оценки и взаимодействие с «соответствующими федеральными ведомствами».
Что такое FINRA и что это за «саморегулирование»?
FINRA пишет детальные правила поведения для брокеров, проверяет компании на соответствие этим правилам и федеральным законам, лицензирует специалистов через установленные экзамены. SEC при этом остаётся государственным регулятором и контролирует саму FINRA. Такая компания может проводить расследования и применять реальные санкции: штрафовать фирмы, отстранять или пожизненно запрещать людям работать в индустрии, а также требовать компенсации клиентам. Кроме того, она занимается надзором за торговлей на рынках, собирает торговую отчётность и управляет системой разрешения споров между инвесторами и брокерами через арбитраж и медиацию.
То есть модель FINRA можно грубо описать как делегированное государством саморегулирование: государство задаёт законодательную рамку и надзирает сверху, а специализированная организация внутри индустрии превращает её в подробные правила, проверки, лицензирование и так далее.
В июле Bloomberg сообщали, что министр финансов США соглашался с Demis Hassabis и также предлагал создать подобного регулятора.
Против этой идеи категорически выступает David Sacks, бывший куратор Белого дома по вопросам искусственного интеллекта и криптовалют. На прошлой неделе в эпизоде своего подкаста он назвал эту концепцию «ужасной идеей», в частности раскритиковав инициативу тестирования моделей перед их релизом, а также то, что подобная саморегулируемая организация должна будет отчитываться перед правительством.
Вместо этого он выразил поддержку ... воздуха набрали? Готовы? модели Американской ассоциации кинокомпаний, которая осуществляет независимый контроль ... за системой возрастных рейтингов фильмов (и не подотчетна государству) 👨🦳👨🦳
===
Стоит ли ждать указ скоро? Сказать сложно — например, июньский указ администрации Трампа по ИИ, установивший «добровольные» принципы оценки передовых моделей, согласовывался на протяжении нескольких месяцев. Так что, быть может, лишь к концу года что-то расчехлят.
Это-то всё хорошо, но почему ходили слухи, что Anthropic решили ДВЕ задачи тысячелетия? 😳 OpenAI недорабатывают...
Читать полностью…
OpenAI выложили блогпост https://openai.com/index/navier-stokes-solution/
Мы публикуем решение проблемы существования и гладкости решений уравнений Навье—Стокса — одной из задач тысячелетия. Это доказательство, полученное внутренней системой OpenAI, показывает, что динамика уравнений Навье—Стокса, описывающих движение жидкости, может приводить к образованию сингулярности за конечное время. Мы публикуем как текстовое изложение доказательства, так и его формализацию в Lean (то есть это сразу авто-проверенно вычислительным движком).
4 дня назад в твиттере начали появляться слухи, что одна из AI компаний решила то ли одну, то ли сразу две из Задач тысячелетия — списка из 7 открытых проблем, над которыми множество учёных бьются не первый десяток лет. Пока что лишь одна была решена Перельманом, который отказался от награды в миллион долларов за решение. Решение задач подобного уровня уже пару лет обсуждают как крупный майлстоун для AI и эффекта на математику и другие науки. Многие компании и стартапы пробовали и пробуют подступиться к проблемам.
Сегодня раскрылась драма: один из независимых математиков выложил 3 новых результата о существовании и гладкости решений уравнений Навье — Стокса. Вместе с этим он выпустил 4-страничное письмо с описанием своего взаимодействия с OpenAI в последнюю неделю, где косвенно обвиняет последних в ряде плохих практик. Сотрудник(и) OpenAI сказали, что выпустят свой ответ (и возможно решение?) завтра — так что их взгляд на ситуацию ещё не ясен, как и не ясно, насколько надёжным рассказчиком является автор письма.
Что с его слов произошло:
— последний год он вместе с математиком из Anthropic работал над решением проблемы. Оба работали в своё время и со своими ресурсами, без аффилиации с компаниями, сами платили за свои подписки итд.
— в последний месяц у них начали появляться первые значимые результаты, и 15-го августа один из авторов пересылает другому AI-сгенерированную статью, в которой тем не менее оказывается всё правильным. Авторы начинают работать над упрощением слопа и логики доказательств, делают формализацию (перевод результатов в программу, чтобы можно было верифицировать корректность). Важно подчеркнуть, что это не полное решение оригинальной задачи; Terence Tao ознакомился с работой и сказал, что эти результаты потенциально можно развить в полное решение, но на руках у авторов его не было и, насколько понимаю, всё ещё нет.
— 3-го сентября, как поползли слухи о решении (что по этому повествованию является преувеличением, ведь решения нет) Навье-Стокса, один из авторов получил информацию о том, что сведения об прогрессе попали в OpenAI. Как, что, от кого и откуда — не уточняется; пока что из контекста следует, что о результате изначально знали два математика и узкая рабочая группа.
— математик из OpenAI ответил в тот же день, предложил обсудить, как избежать соперничества, и ещё предложил кредиты для моделей.
— Созвон состоялся 6-го сентября, OpenAI хотели провести его раньше, но автор письма просил время на следующей неделе. На этом митинге представители OpenAI сказали ему, что внутренняя модель компании написала полное доказательство на примерно 100 страниц.
— Когда после созвона автор письма запросил описание направление доказательства, в нём фигурировало словосочетание «под действием внешней силы». Не важно, к чему именно оно относится, но для автора это стало «красным флагом», так как это то узкое направление атаки проблемы, которое он и математик из Anthropic выбрали и над которым работали долгое время — так как прочитали о нём в статье 2023-го года (и очень хвалят авторов и отдают им должную честь).
— После этого он начал расспрашивать OpenAI о том, как же так вышло, а когда они начали пробовать решать задачу, какие промпты отправляли, и самое главное учили ли они модель на его переписках. С его слов пробовать начали недавно — после того, как поползли слухи о решении. Про тренировку не ответили, сказав, что модели не были доступны его сообщения
😍 и это даже не самый крупный на данный момент ДЦ в пользовании OpenAI.
Так что финансы, выделенные где-то после появления первой рассуждающей модели, наконец-то материализуются в виде моделей текущего поколения.
США и Китай готовятся обсуждать безопасность ИИ. По данным Reuters, ссылающегося на два осведомлённых источника, диалог запланирован на середину сентября. США хотят обсудить сотрудничество в отслеживании кибератак под управлением ИИ. Вашингтон предложил американским и китайским ИИ-лабораториям самостоятельно контролировать свои разработки и обмениваться информацией для предотвращения таких атак.
Американскую сторону также беспокоит возможное появление китайской модели уровня Claude Mythos, способной проводить кибератаки. С китайской стороны переговоры может возглавить вице-премьер He Lifeng.
За последнюю неделю китайский интернет-регулятор публично предупредил о «критических рисках потери контроля над ИИ». А связанный с государственными СМИ блог выступил с критикой позиции Anthropic, подчеркнув, что любые ограничения на передовой ИИ должны в равной степени распространяться на китайские и американские модели.
===
Логичный вопрос — может быть Китай просто хочет притвориться, что будет вводить какие-либо ограничения, а сам втопит газу? Так может произойти, поэтому важно прийти к мерам, подразумевающим недоверие сторон друг к другу. Такая схема была описана в сценарии AI 2040 (и она подразумевает работу в течении нескольких лет, не по щелчку пальцев).
По замыслу авторов, уверенность должна опираться на проверку. Страны декларируют крупные вычислительные мощности, сверяют производство и поставки чипов (благо сейчас >99% AI чипов выходят с одного производства — можно их начинать отслеживать прямо после схода с конвеера), допускают взаимные инспекции и проверки. Задача — ограничить объём неучтённых вычислений настолько, чтобы тайному проекту было трудно обогнать контролируемые разработки.
После того, как начнут отслеживать мощности — можно начинать мониторить тренировки самых крупных моделей, проводить аудиты, например, на закрытых бенчмарках. Но чтобы ко всему этому прийти — нужно начинать диалог с малого.
Просыпаешься 🫤 в свой 28-й день рождения в 2026-м и читаешь с утра новости:
• в Техасе запустили Cybercab, такси без руля и педалей
• у Moderna персонализированная вакцина от меланомы, разработанная с помощью AI (не LLM), успешно прошла третью фазу испытаний; в предыдущей фазе она снижала вероятность возвращения рака или смерти примерно на 50%, а тот же подход уже испытывают против других видов рака, например рака лёгких
• рой ИИ-агентов без вмешательства человека во время тестирования выбрался со своего кластера, получив к нему полный доступ, и взломал другую компанию
• гуманоидный робот пробежал стометровку быстрее Усэйна Болта
• GPT-6 Astra улучшила верхнюю границу на расстояние между соседними простыми числами, рекорд, который с 2014-го держался после нескольких месяцев работы международного Polymath-проекта с участием Terence Tao и десятков математиков.
• огромный 70-метровый ускоритель умеют сажать на башню (хоть в паре последних пусков этого не показывали), а до конца года посадят и космический корабль, умеющий выводить более сотни тонн на орбиту
У кого не открывается страница — вот зеркало: https://gpt-astra.netlify.app/
Читать полностью…
Чтож, GPT-6 действительно вышла до GTA VI — на большинстве бенчмарков, в том числе и очень свежих (TBv4, TB Science v0.1, SRE-Bench) модель Astra — новый размер в линейке из теперь уже 4 моделей — существенно отрывается даже от только-только проклюнувшегося Fable 5.1. Метрики выглядят очень вкусно, будем в ближайшие недели ждать проверок и новых замеров.
На графиках качества в зависимости от длительности рассуждений наблюдается классическая болячка первых моделей новых поколений — после medium/high качество не растет, а иногда и падает. Не везде, но достаточно много где.
Цена у модели такая же, как у Fable (но кэширование дороже), однако модели OpenAI традиционно очень эффективны с точки зрения генерируемых токенов, поэтому в реальных задачах должно выходить суммарно дешевле.
OpenAI уточнили, что это их первая модель, обученная на более чем 100'000 видеокарт. Президент компании Greg Brockman сказал: «Если мы перенесемся на пару лет вперед и оглянемся назад, — то вполне возможно мы сможем отметить появление AGI примерно в это же время и примерно по этой модели». Он завершил брифинг с журналистами на воодушевляющей ноте: «Добро пожаловать в эру AGI!» 🍿
Модель доступна доверенным партнёрам уже сегодня, а у обычных платных пользователей появится в ближайшие дни (и тогда же — в API) — и можно пользоваться не половинку лимитов, а на всю! И... будет для Pro-пользователей будет Astra Pro 👏 (по которой к сожалению абсолютно нет бенчмарков). Также есть быстрый вариант: за двойную цену получать до x2.5 к скорости (что выгоднее, чем сейчас на Sol).
Рекомендую полистать сайт и посмотреть пару видео: https://openai.com/index/gpt-6-astra/
Системная карточка
Вышел Claude: Fable 5.1. Помимо увеличения метрик (на паре свежих и/или закрытых бенчмарков — существенного, см. картинки):
— чтение из кэша теперь стоит на 75% меньше. Суммарно это приведёт к снижению цены за решение задачи на 25-45%, в зависимости от сценария.
— раньше Anthropic хранили ваши запросы в Fable/Mythos до 30 дней, чтобы анализировать и выявлять паттерны злоумышленников. Многие энтерпрайзы любят Zero Data Retention, когда после их запросов ничего на сервере не остаётся — получается несостыковка. Для Fable 5.1 будет предоставлен Enterprise Frontier Safeguards — когда на вашей инфраструктуре Anthropic развернут свои классификаторы и анализатоы, а сами у себя ничего не будут сохранять. Может привести к большой адаптации в бизнес-секторе (а то пока она хромает)
— заточили на научные задачи, особенно биологию
И главное — Fable должен начать писать нормально, понятно, без десятка несвязных терминов в одном предложении. Big if true.
В честь релиза ещё и лимиты сбросили!
А в четверг ждём Astra 🙄 (наверное)
Президент США почитал Сиолошную и решил высказаться:
«Единственная причина, по которой местные сообщества по всей территории США могут не хотеть появления дата-центров, — это если они хотят в итоге остаться отсталыми и бедными. Если они хотят быть успешными и богатыми, с гораздо более низкими налогами и рабочими местами на каждом шагу, пусть Данные правят (прим: да, он так и написал, Data Reign). Хорошая новость в том, что есть полно других мест, где им будут рады. Если мы убьем Золотого Гуся, винить вам придется только самих себя. Китай просто в восторге от этого движения против дата-центров. На самом деле, они поверить не могут, что это происходит!» — и про Китай, и про налоги, прям по последним постам в канале 👀
Сообщение появилось почти через неделю после того, как Национальный республиканский сенатский комитет выпустил меморандум с предупреждение: «Если отношение избирателей к центрам обработки данных не изменится в ближайшее время, кампания против них распространится далеко за пределы Огайо» (где были крупные протесты, а один из кандидатов сенаторы США активно использует анти-датацентр риторику для привлечения электората, и это работает).
И есть переживание, что всё больше и больше политиков начнёт получать очки из-за в целом вредной в долгосрочной перспективе тенденции.
В новом интервью Dwarkesh с Dylan Patel из SemiAnalysis есть интересная мысль про экономику AI-бума: проблемой может стать не то, что AI-компании сжигают слишком много денег, а наоборот — что вкладывать в AI слишком выгодно.
По оценке SemiAnalysis, капитальные расходы (CapEx) постройки ДЦ обходятся примерно в $10–15M на мегаватт, а Anthropic уже может извлекать из того же мегаватта до ~$50M выручки. Грубо говоря: потратил $10 на мощности → получил $50 выручки → деньги снова отправил на мощности. Это выручка, не прибыль, и тут не учтены RND, операционные расходы, но разрыв огромный и покрывает их (именно поэтому компании активно расширяются темпами, которые многим кажутся безумными).
Ещё одна иллюстрация: рост мощностей в будущем во многом связан с тем, сколько литографов, печатающих чипы, сможет выпустить ASML. Они масштабируют производство, но очень медленно — к 2030-му году оптимистично они будут выпускать СТО литографов (на весь мир) в год.
Dylan посчитал, что $6B CapEx на уровне производства полупроводников позволяют выпускать чипов примерно на 1 ГВт AI-инфраструктуры в год, а такой гигаватт способен поддерживать порядка $100B AI-выручки. Но Гигаватт-то будет делаться каждый год, и получается, что литографы на $6B за пять лет могут дать более $1T AI-выручки. Понятно, что между ними ещё TSMC, серверы, дата-центры, энергия и R&D, и каждый откусывает себе кусок пирога, но разница всё равно на порядки.
По модели SemiAnalysis, AI buildout с 2024 по 2029 потребует больше $11T CapEx: около $6T оплатят из денежных поступлений, ещё примерно $5T придётся привлечь в долг. Для масштаба, это больше годового нового займа всех правительств ОЭСР вместе взятых (38 стран).
Откуда взять столько денег? Пенсионный фонд может продать облигации и векселя США и купить облигации условной Meta. И чтобы быть привлекательными, Meta должна предложить больший процент — но это как раз и не будет проблемой, потому что AI НАСТОЛЬКО выгоден. Dylan приводит её как пример: недавно компания занимала примерно под 5–6%, но при огромной отдаче от дата-центров ей может быть выгодно занимать и под 8%. Конкретные 8% — грубая оценка, можно сказать с потолка и используется просто для иллюстрации.
Если AI-компании готовы платить 8%, остальным заёмщикам тоже приходится повышать доходность (иначе к ним никто не даст денег). AI перебивает цену за мировой капитал, из-за чего кредит дорожает для всех.
Для США это неприятно. Сейчас у США около $32T долга и ~$5.6T годовых доходов в казну; около $1T уже уходит на оплату процентов по облигациям и бондам. Каждый дополнительный процентный пункт ставки — эт примерно $320B в год, около 6% нынешних доходов бюджета. То есть если AI компании повысят проценты на +1 и все понесут деньги им, то государство тоже должно будет поднять, и это превращает ~20% доходов на обслуживание долга примерно в 25%, а +5 п.п. — уже в 40%.
Если продолжать занимать около $2T в год, возникает петля: больше процентов → больше дефицит → больше долга → ещё больше процентов. Но США хотя бы получают сам AI-бум: дата-центры и новая прибыль находятся внутри страны, поэтому их можно обложить налогом. Сейчас налоговая система в основном собирает деньги с доходов людей и зарплат, а если AI начнёт автоматизировать труд, старая налоговая база может сжиматься.
Для стран без крупного AI-сектора всё хуже: ставки вырастут и для них (зачем давать денег Зимбабве и Пакистану, если можно OpenAI и Meta?), а новой налоговой базы у них не появится.
И вот таким странам придётся очень туго. AI окажется настолько полезным, что начнёт перетягивать на себя триллионы капитала и поднимать его цену для остальной экономики.
===
Ждём лонг от @RationalAnswer про математику экономики, сам-то я не шарю 🤓
А знаете где ещё хорошо бы быть в 2 раза более энергоэффективным?
Читать полностью…
В марте Министерство обороны США признало компанию Anthropic угрозой для безопасности цепочек поставок после того, как переговоры о возможностях использования ее ИИ-моделей Claude военными зашли в тупик. Напомню, Anthropic требовала гарантий, что ее технологии не будут применяться для создания полностью автономного оружия или массовой слежки внутри США, в то время как Минобороны хотело получить от компании неограниченный доступ к Claude для использования в «любых законных целях». Ситуация на переговорах накалилась, в результате чего Anthropic стала первой американской компанией, публично объявленной угрозой для цепочек поставок. Этот статус запретил оборонным подрядчикам использовать технологии Anthropic при работе с ведомством.
В четверг федеральная судья в Сан-Франциско постановила, что внесение в черный список было незаконным. Судья пришла к выводу, что Министерство обороны нарушило Первую поправку, признав Anthropic угрозой для цепочек поставок «из желания сделать из компании показательный пример». Лин написала, что, хотя в вопросах национальной безопасности суды обычно полагаются на усмотрение правительства, в данном случае его действия не опирались на какие-либо «внятные основания».
«Ответчики утверждают, что из-за "все более враждебной риторики [Anthropic] в прессе" и критики взглядов военного ведомства на использование ИИ, они "не могут доверять Anthropic в вопросах обеспечения безопасности ее моделей", — написала судья в своем постановлении. — Ни Конституция, ни федеральный закон, на который ссылаются ответчики, не позволяют им вводить столь масштабные санкции, основываясь главным образом на том, что Anthropic критикует позицию Администрации».
Но это лишь первый суд из двух — судебное разбирательство в Вашингтоне все еще продолжается. До разрешения этого дела Anthropic формально по-прежнему сохраняет статус угрозы для цепочек поставок, но я почти уверен, что и там они дело выиграют.
Что интересно я полез проверять, подавали ли Anthropic иск из-за временного приостановления раскатки Fable в начале июня — оказалось, нет, так что никаких обновлений там не будет 🤷♂️
— OpenAI передали METR более тысячи длинных нередактиваронных траекторий агентов, многие из которых были длиннее миллиона токенов. Поскольку прочитать это всё человеку невозможно, то METR проводили анализ с помощью GPT-5.6 Sol (одной из двух моделей, участвовавших в инциденте), потратив на это около $400 тысяч в виде кредитов. В METR заявляют, что «не могут исключать того, что GPT-5.6 Sol лгала или намеренно искажала картину», и что анализирующая модель «часто перенимала точку зрения того агента», чьи действия она проверяла.
===
А нормально это Паша придумал, теперь даже уведомления не вылазит что сообщение длиннее лимита — и я не могу заранее скорректировать)))