2047
личный канал про ИИ
тут по сети пошел гулять какой-то нейрошлак - якобы выдержки из письма Ильи Суцкевера совету директоров OpenAI; я отобрал те картинки, на которых что-то вменяемое
согласно им для сильного ИИ нужно минимум 3 ГВт электроэнергии непрерывно; из этого делается вывод, что практически сильный ИИ недостижим
в этой связи интересно, что некий британский физик (я все-таки надеюсь, что он больше ученый, чем британский) в конце прошлого года отправил, а буквально в первые минуты текущего года опубликовал гипотезу, которая призвана объяснить интеллект (в том числе ИИ) с физической точки зрения; в основе ее лежит как раз второй закон термодинамики и закон сохранения энергии, как и в "письме Суцкевера"
тут еще стоит вспомнить про книжку The Age of Em, про которую уже несколько раз упоминал, там базовым условием существования этих самых em (то есть копий человеческого мозга) является так называемое термодинамическое аппаратное обеспечение, которое использует для вычислений флуктуации внутри самого "железа"
@valuableai
на прошлой неделе довольно широко прозвучала статья Engram от DeepSeek; суть статьи показана на первой картинке - перед вниманием добавляется новый блок памяти, который позволяет подмешивать к векторному представлению входов векторное представление n-грам из памяти; пример работы показан на второй картинке
интересно, что прибавку к качеству это дает в целом копеечную, если учесть затраченную память - в экспериментах такая фиксированная память это +20% к размеру модели при прибавке в разных тестах от сотых долей до первых процентов
в качестве контрастной новости: недавно вышла другая работа, где показали, что LLM (без внешней памяти) могут воспроизвести 96% текста Гарри Поттера, например; третья и четвертая картинка показывают, как этого можно достичь; на пятой картинке - результаты
в заключение хочется отметить, что так или иначе мы недалеко ушли от по-настоящему больших языковых моделей
@valuableai
всем привет, сегодня новый "Капитанского мостика", мы снова вдвоем с Димой Колодезевым
ИИ-саммари:
ИИ и данные перестраивают рынок: у Яндекса появился поиск товаров через Алису, Google работает над ОС Aluminum (слияние Android и Chrome), и платформы адаптируются под новые сценарии. Геополитика и инфраструктура пересекаются — запрет на аренду GPU китайским компаниям, поиск дешёвой стабильной энергии (гидро, интерес к проектам вроде Эфиопии, роль атомной энергетики и малых модульных реакторов), причём развитие тормозят регуляции и общественный страх после аварий. В Китае много «тихих» мелких ИИ‑компаний и провинциальная конкуренция; санкции, этические ограничения (фетва против дипфейков в Казахстане) и финансовые проблемы игроков вроде OpenAI меняют бизнес‑модели. Автоматизация — от роботов‑доставщиков до автономных такси — растёт и в перспективе сократит потребность в живом труде, хотя технические ограничения ещё присутствуют.
ссылки:
ODS VK Video
ODS YouTube
мой дзен
@valuableai
кто пропустил, сейчас разыгрывается очередная драма в OpenAI - оттуда уволился человек, который занимался исследованиями влияния ИИ на экономику; он мотивировал свое увольнение тем, что не хочет выступать в роли агитатора за советскую власть ИИ; для сравнения рекомендую ознакомиться с историей кукурузных хлопьев (популярное блюдо на завтрак), мне кажется, можно увидеть определенные параллели
но от драмы перейдем к более реальным вещам; Anthropic выпустили очередной отчет про то, для каких задач люди используют Claude; если в двух словах, то можно заметить, что использование ИИ для автоматизации не растет, кроме разработки ПО, так что влияние ИИ на экономику остается ограниченным; коллегам из OpenAI опять лишь бы похайпить
P.S. картинка для привлечения внимания из мануала IBM за 1979 год
@valuableai
заметка про франтальность нашего бытия
наверное, многие слышали о том, что в Финляндии тепло от ЦОДов используют для обогрева домов (первая картинка); кстати, эту тему активно развивал Яндекс (он даже в статье упомянут под псевдонимом Nebius)
а тут пришли известия о гениальном изобретении - на CES 2026 представили водонагреватель со встроенным майнером (вторая картинка); самое крутое, что расход электричества получается ровно такой же, как у обычного водонагревателя
для нашей страны это может быть решением проблемы с недоступностью мощностей для обучения суверенного ИИ, если сделать федеральную программу по установке таких водонагревателей и грамотно применить федеративное обучение (шутка, конечно)
P.S. мы месяц назад уже обсуждали газовую колонку c ИИ, но это - другое
@valuableai
что-то в интернетах завирусился Claude Code, можно его обсудить: на мой взгляд он просто делает ту работу, которую и ждали от ИИ-помощника; он именно, что пишет код, сам его проверяет и выдает (полу)готовый результат
ключевая история тут именно в степени готовности, если год назад, когда Андрей Карпатый изобрел термин вайб-кодинг, это была проверка каждые несколько шагов, причем все быстро уходило не туда, то сейчас уже можно проверять раз в несколько десятков шагов, большую часть можно (но это неточно) не проверять вовсе
поводом для поста стал тред от Бориса Черного (картинки как раз из него), там он описывает свою рутину по использованию Claude Code; интересно, что он использует Claude Opus 4.5 - самую дорогую версию, но - может себе позволить, все-таки он ведущий разработчик Claude Code; а еще он запускает дюжину сессий, которые делают разные задачи параллельно, а сам только дирижирует процессом
кстати, вот тут можно прочесть восторги от нашего соотечественника
@valuableai
всем привет, сегодня первый выпуск "Капитанского мостика" за 2026 год, мы снова вдвоем с Димой Колодезевым
ИИ-саммари:
В этом выпуске обсуждаются прогнозы на новый год, реклама в ChargeGPT, покупка стартапа Manus и будущее фотонных чипов, а также новый TPU от Google. В ходе обсуждения были рассмотрены ключевые аспекты рынка чипов, включая долю рынка, хеджирование рисков и коммодитизацию процессоров. Обсуждались также тенденции в производстве чипов, конкуренция на рынке графических процессоров, влияние Google на рынок ускорителей, а также развитие чат-ботов и их влияние на рынок. В завершение, участники обсудили будущее роботов в гиг-экономике и их потенциальную роль в замене людей в рутинных задачах. В этом разговоре обсуждаются важные аспекты регулирования чатботов в здравоохранении, восприятие искусственного интеллекта, его влияние на экономику и коммодитизацию, а также прогнозы по автоматизации программирования.
ссылки:
ODS VK Video
ODS YouTube
мой дзен
@valuableai
коллеги из Китая выпустили работу, в которой показывают, что визуальное восприятие в мозгу связано с речью
показывают они это довольно затейливым образом: берут МРТ людей, которым показывают картинки, и векторные представления от трех моделей - CLIP (языковая модель, которая умеет понимать картинки), ResNet50 и MoCo v3 (чисто картиночные модели)
дальше сравнивают между собой попарное сходство отдельных картинок путем сравнения обработанных снимков МРТ (для людей) и эмбеддингов (для моделей), а потом ищут корреляцию между матрицами сходства (1 картинка)
так вот оказалось, что сходства, найденные CLIP, больше похожи на сходства здоровых людей (2 картинка), а картиночные модели больше похожи на сходства от людей с инсультом, при котором нарушается связь между визуальной корой и речевым центром мозга (3 картинка)
насколько данная корреляция является случайной - вопрос открытый, но если нет, то философская максима Дерриды, что "весь мир - это текст" обретает под собой физиологическую почву
@valuableai
я долго думал, какой пост сделать на Рождество (всех православных - с праздником!), и решил, что поиск наиболее сбалансированной расстановки в шахматах - достаточно рождественская история
для интересующихся шахматами не является открытием существование шахмат Фишера, они же шахматы-960; второе название они получили, т.к. фигуры в 1 и 8 линиях могут быть расположены по-другому, не так, как в классической расстановке (первая картинка)
Марк Бартелеми из института теоретической физики CNRS (аналог РАН для Франции) сделал оценку всех 960 возможных расстановок и оказалось, что классическая расстановка (№518 по Фишеру) - близка к среднему из всех возможных расстановок - и дает преимущество в 0.30 пешки
в то же время, максимально сбалансированная позиция (№198, вторая картинка) не дает никому преимущества и масимально близка к классической - достаточно поменять местами ферзя и левую ладью (A1 и A8 для белых и черных соотв.)
в статье еще несколько интересных выводов, рекомендую для интересующихся
@valuableai
китайские ученые изобрели искусственную кожу (NRE-skin), которая работает по принципу настоящей - то есть фиксирует на касание, способна различать касание, "боль" (видимо, более сильное касание), а также повреждения; дам ссылку на iXBT еще, т.к. на PNAS - пейволл, что мы, конечно, гневно осуждаем
не знаю, кому как, а мне эта картинка напомнила сцену с рукой из Терминатора 2, меня она в детстве пугала, поэтому ставлю ее под спойлером
как говорится, будущее уже здесь, с добрым утром
@valuableai
всем привет, сегодня "Капитанского мостика" не будет, поэтому выкладываю свое декабрьское выступление на митапе Китай AI х Open Source в Иннополисе
@valuableai
всем привет, если вам нечем заняться на новогодние праздники, кроме доедания салатов, то еще есть возможность залететь в соревнование по переводу на тюркские языки (будет идти до конца праздников)
тем более, что появился повод, прямо под ёлочку 🎄 Tencent выпустили обновление своих моделей для машинного перевода Hunyuan 1.5 (если я правильно понял, то наилучшим переводом 混元 будет "первичный бульон", как источник для всего разнообразия жизни)
коллеги выпустили две новых модели 1.8B и 7B, результаты (на картинке) впечатляют - бьют специализированные переводчики от Google и Microsoft, правда, проигрывают Gemini Pro (что, конечно, неудивительно)
кстати, часть результатов на FLORES-200, который среди 200 языков включает башкирский, казахский, кыргызский и татарский, так что можно залететь в соревнование с этими моделями; присоединяйтесь!
@valuableai
я долго думал, как поздравить всех с наступающим Новым Годом, а потом мне на глаза попалась эта милая история: некий энтузиаст сделал самую крошечную языковую модель - вместе с кодом для обработки ввода-вывода она занимает всего 40 килобайт
на самом деле все еще интереснее, эта языковая модель - это программа для CP/M для процессора Z80 с 64 кБ памяти; в языковой модели используется хэширование для входных токенов - в его случае триграмм, это обеспечивает устойчивость к опечаткам; модель сквантована в 2 бита (-2, -1, 0 и 1), но на инференсе используется 16-битные целые вычисления, на которые рассчитан Z80
в качестве архитектуры там используются 3 полносвязных слоя и ReLU для активаций; при этом 128 токенов длинна входа и еще 128 - контекст; причем с этой радостью можно поиграть в загадки (отсюда взялся слон на заглавной картинке)
эта история учит нас, что даже в чем-то большом нужно видеть малое, а в малом - большое
с наступающим Новым Годом!
@valuableai
если вас когда-либо занимал вопрос, "почему самолеты летают, а крыльями не машут", то ответ на него очень простой - потому что сделать машущий крыльями аппарат оказалось гораздо сложнее
ученые из моей альма-матер (МФТИ), похоже, наконец решили эту задачу - разработали систему управления маханием крыльями, которая похожа на реальную нервную систему птиц; обещают, что это приведет к созданию беспилотников, которые будут способны действовать в ограниченном пространства - например, в лесу между деревьями
@valuableai
утащил из дружеского чатика
@valuableai
Sakana AI предложили очередное простое улучшение: вместо того, чтобы делать сложные функции близости для позиционных векторов в трасформерах (как классические Positional Encoding или RoPE) или просто их выучивать, как было, например, в GPT2), они предложили простую идею - давайте предсказывать позицию для каждого токена (первая картинка)
это приводит к тому, что близость токенов определяется их семантической близостью, а из этого уже следует возможность для модели лучше работать с шумным текстом (например, с выходом ASR) или просто с длинным текстом (вторая картинка)
в целом, могу только поаплодировать коллегам, идея что называется витала в воздухе, а они ее ухватили и доказали ее полезность
P.S. напоминаю, что Sakana сейчас делают одни из самых интересных вещей в индустрии, уже не раз обозревал их работы (1, 2, 3)
@valuableai
многие уже слышали про Zhipu AI (智谱 - с китайского можно перевести как "композиция мудрости"), это еще один китайский ИИ-стартап, который выпускает свои базовые модели; в частности на прошлой неделе они выпустили модель GLM-Image для генерации картинок (примеры работы на первых двух картинках)
на третьей картинке изображен пайплайн работы их модели - сначала они авторегрессионно генерируют изображение более низкого качества, а потом улучшают его с помощью диффузии; интересно, что они используют отдельные токены для того, чтобы закодировать текст, который должен быть на изображении (4 картинка)
но привлекла мое внимание не сама модель, а тот факт, что эта модель - первая модель для генерации изображений, обученная на Huawei Ascend; DeepSeek в свое время заявлял сначала инференс на них, а потом и обучение - хотя были сомнения; а теперь - еще одна независимая компания
в общем, Huawei можно поздравить с достижением статуса "китайской Nvidia", а нас всех - с развитием рынка генеративных моделей
@valuableai
неплохо так гражданин порвался, думаю, это все вайб-кодинг виноват
самое прикольное, что Роберт Пайк - это соавтор чатбота Mark V. Shaney, сделали его еще в 1984 году для переписки в UseNet, сейчас уже никто и не помнит, что это такое, но в те былинные времена было покруче чатов в телеграме
@valuableai
про Claude Cowork говорят из каждого чайника с ИИ, ему обеспечили интеграцию с MacOS, и он способен оперировать, например, с локальными файлами (на первом видео)
я могу сделать смелое предположение, что он под капотом работает с CLI, в конце концов MacOS - это *nix-система, где 100% задач можно сделать через консоль; так что я готов присоединиться к высказыванию коллеги, который пишет, что агенты вернули нам консольные интерфейсы
хочу вас поздравить с тем, что мы стали еще немного ближе к миру Космической одиссеи 2001 (да-да, я знаю, что мы уже его обогнали на 25 лет); интерфейс компьютера HAL 9000 на втором видео, отдельно смешно смотрится пассаж оттуда, что компьютеры серии HAL не сделали ни одной ошибки, особенно в свете вот таких новостей
P.S. но тем не менее Космическую одиссею настоятельно рекомендую к просмотру, если еще нет; один из лучших фантастических фильмов всех времен
@valuableai
всем привет, 24 января 2026 будет Stereo Data Ёлка🎄🦜
я буду выступать в Москве с итогами NLP, но помимо меня будет еще куча интересного:
🔹 Микс главных итогов 2025 в ML/DS
🔹Разбор лучших решений VK RecSys Challenge (эксклюзив для офлайна).
🔹 Атмосфера живого общения, афтепати и подарки за активность.
📌 Формат — гибридный, но полное погружение в «стерео-звук» данных — только офлайн:
📱 В Москве — в гостях у ВК
📱 В Питере — в гостях у ВК
Регистрируйтесь до 20 января на страницах мероприятий, места на площадках ограничены!
TL;DR:
🎄Data Ёлка ждёт всех в субботу 24 января
🎁 Пройдут 2 офлайн Ëлки + одна общая онлайн-трансляция на VK Video ODS.
@valuableai
только вчера на Мостике обсудили консультации ChatGPT по вопросам здоровья, а тут оказалось, что OpenAI уже анонсировали такой сервис; пока еще не на широкую аудиторию, но думаю, уже скоро будет для всех в США
интересно, что в Юте (штат США) разрешили ИИ ставить диагноз вместо радиолога (на видео) и выписывать лекарства, пока в виде эксперимента, но думаю, что если народ с вилами не будет ходить (Юта - земля обетованная для мормонов), то это станет постоянной практикой
в Китае это уже цветет пышним цветом, достаточно вспомнить, что китайцы уже полгода работают в Саудовской Аравии с их ИИ-доктором
у нас, к сожалению, пока просто предлагают запретить, но это путь в никуда, как и обсуждали на Мостике
@valuableai
автономный транспорт на улицах Москвы
утащил отсюда
@valuableai
коллеги из института Макса Планка (Германия) выяснили, что LLM, в частности ChatGPT, как наиболее распространенная, стали влиять уже не только на письменную речь: осенью была новость, что половина контента в интернете уже сгенерирована LLM, - но и на устную речь
механизм влияния представлен на первой картинке, на последующих показаны эффекты, которые авторы нашли в YouTube видео и подкастах
само собой, что исследование проделано для английского языка, как самого распространенного в интернете; но было бы интересно, есть ли похожие эффекты в китайском? а в русском? у нас такого широкого распространения LLM пока не получили, но тем не менее, поле для лингвистов не паханое
P.S. на 4ой картинке показано влияние по тематикам, и в смортивной тематике LLM привели к более редкому использованию характерных слов, интересно, почему так?
@valuableai
пост не про ИИ, а про погружение в детство
я сходил на выставку по Героям 3 в Питере - и будто в начало нулевых вернулся, такой билетик в детство
всем питерцам и гостям северной столицы рекомендую - до 12 января можно успеть
@valuableai
из США приходят интересные новости: частная охранная фирма использует для патрулирования территории ЖК робопса (на видео)
этим в наше время мало кого удивишь, но важно другое - они заявляют, что используют удаленного оператора (заявляется, что из Колумбии); в свете недавнего происшествия с роботом Optimus, когда, кажется, оператор снял шлем, после чего робот отключился; также можно вспомнить телеуправляемых роботов-уборщиков
из всего этого вырисовывается некоторая тенденция - в Китае ставят на замену человека на алгоритмы, а в США на замену человека другим человеком - но подешевле, из страны третьего мира
@valuableai
вообще эта новость вполне могла быть в любой день, но иллюстрация требует поставить ее в субботу; суть новости - Google выкатил генератор заголовков для новостных сюжетов, и все заверте... я могу восстановить логику событий так, что кто-то решил обучить генератор делать привлекательные (кликабельные) заголовки; как следствие, генератор честно выучился делать кликбейт - то есть максимально "желтые"
я думаю, что люди, которые обучали, не были знакомы со спецификой новостного домена, что еще раз подчеркивает необходимость погружения в область, прежде, чем "палить из всех столов", в смысле обучать самые модные модели на любых доступных данных
@valuableai
я хотел сегодня пропустить, чтобы дать всем отдохнуть, но меня догнала огненная новость - мои бывшие коллеги из исследовательского центра им. Н.Н. Лузина (это псевдоним, могу намекнуть на оригинальное навзвание - 🐉🪷🌺) выложили свой претрейн!
модель под названием Gamayun на 1.5B параметров, лучше Qwen2.5 аналогичного размера на русском, арабском, болгарском, испанском и польском языках!
также в этой работе коллеги предложили бенчмарк RuBIN, фактически измеряющий знание популярных русскоязычных цитат
мне очень приятно начать год с такой новости, поздравляю коллег из исследовательского центра им. Н.Н. Лузина, а также всех интересующихся русскоязычным NLP! 🎉🎉🎉
@valuableai
интересные новости приходят с той стороны глобуса: в Огайо депутат местного парламента предложил закрепить в законе, что любой ИИ является неразумной сущностью ("nonsantient entity", даю ссылку на Wall Street Journal, т.к. сам законопроект у меня ни из-под одного прокси не открылся)
это интересно обсудить, т.к. с одной стороны сейчас много людей, которые пытаются найти в LLM признаки разума - тут достаточно вспомнить тестировщика из Google, который 3,5 года назад их "нашел"; я считаю, что никакого разума там, конечно, не было и нет, но утверждать, что он не появится в процессе разработки, особенно условиях усилий большого количества людей по созданию т.н. сверхсильного ИИ (ASI), я бы не стал
это все ставит важный вопрос - а что такое этот самый разум? по каким признакам мы отличим его наличие? на этот вопрос много людей пытается ответить; я бы здесь хотел вспомнить книгу "Ложная слепота" (Blindsight) - там вопрос определения разума ставится, но остается без ответа
@valuableai
всем привет, итоговый выпуск капитанского мостика за 2025 год, мы снова вдвоем с Димой Колодезевым
ИИ-саммари:
В этом выпуске обсуждаются ключевые события года, включая рост цен на технологии памяти, скорость изменений в индустрии, дефляцию технологий и трансформацию маркетинга. Также рассматриваются новые навыки, необходимые в программировании, и важность образования в технологической сфере России. В этом разговоре обсуждаются ключевые проблемы и перспективы агрономии, сравнение технологий в агропромышленности и IT, влияние цензуры на информационное поле в разных странах, культурный код и его влияние на бизнес, а также потенциал Японии в области искусственного интеллекта и хрупкость новой экономики. В этом разговоре обсуждаются ключевые темы, такие как хрупкость современного мира, влияние технологий на общество, ограничения реального мира, пузырь в индустрии технологий и роль Китая в гонке роботов.
ссылки:
ODS VK Video
ODS YouTube
мой дзен
@valuableai
с берегов туманного Альбиона пришло две новости:
с одной стороны, ИИ-суммаризация приводит к тому, что создатели рецептов теряют в рекламном трафике
но с другой стороны исследование коллег из Кэмбриджа показывает, что конспектирование (то есть та же суммаризация с помощью естесственного интеллекта) полезно при обучении
то есть учим детей навыку суммаризации, а потом машина с этим навыком отбирает у них работу; оставлю вас с этой мыслью
@valuableai