Почему Дарио Амодей считает, что успех #DeepSeek не меняет правила игры, и что нас ждет дальше?
В развернутом анализе CEO Anthropic объясняет, почему кажущийся прорыв китайской компании вписывается в обычную траекторию развития ИИ, и что нас ждет дальше.
Амодей сначала говорит о 3-х фундаментальных закона развития ИИ:
1. Закон масштабирования:
- Чем больше ресурсов, тем лучше результаты
- Прогресс плавный и предсказуемый
- $1M = 20% задач, $10M = 40%, $100M = 60%
2. Закон смещения кривой:
- Инновации делают процесс эффективнее
- Улучшения могут быть:
* Небольшие (1.2x)
* Средние (2x)
* Значительные (10x)
- Общий темп улучшений: примерно 4x в год
3. Закон смены парадигмы:
- 2020-2023: обучение на текстах
- 2024: добавление Reinforcement Learning
- Сейчас: уникальная "точка перехода"
Что на самом деле сделал DeepSeek?
- Создал модель близкую к американским моделям 7-10 месячной давности
- Потратил меньше, но в рамках обычного тренда снижения затрат
- Имел доступ к серьезным ресурсам (~50,000 чипов, ~$1B)
Почему это не революция?
- Снижение затрат соответствует обычному тренду (4x в год)
- V3 более инновационна чем нашумевший R1
- Общие затраты компании сопоставимы с US лабораториями
По мнению Амодея, для создания действительно продвинутого ИИ потребуется:
- Миллионы чипов
- Десятки миллиардов долларов
- 2-3 года работы
Почему это важно понимать?
1. Для инвесторов:
- Падение акций NVIDIA на 17% необоснованно
- Потребность в чипах будет только расти
- Эффективность не снижает общие затраты
2. Для индустрии:
- Мы в точке перехода, где несколько компаний могут показывать хорошие результаты
- Это временное явление
- Скоро начнется новая фаза масштабирования
3. Для будущего ИИ:
- Повышение эффективности ведет к большим, а не меньшим затратам
- Компании инвестируют любую экономию в более мощные модели
- Конечная цель: ИИ умнее большинства людей почти во всем
DeepSeek демонстрирует не революционный прорыв, а ожидаемую точку на кривой прогресса. Настоящая гонка за создание сверхчеловеческого ИИ только начинается, и она потребует беспрецедентных ресурсов.
Иногда банан, это просто банан.
Если бы Политбюро и лично товарищ Си были столь гениальны, что могли разрабатывать такие многоходовочки, мы бы давно жили в эпохе сообщества единой судьбы человечества.
«Гениальность» китайских товарищей многократно ставилась под сомнение, хотя бы их действиями в ковид, когда всю страну загнали в изоляционные бараки, а потом также быстро выгнав народ от туда, потратив на это немыслимые суммы, что до сих пор аукается китайской экономике.
Не стоит преувеличивать прозорливость и коварство КПК, и плодить легенды о расписанных на сто лет вперед планах на будущее
🇨🇳 Китайская Угроза
Роботы после выступления на новогоднем концерте.
/channel/daokedao/37372
Сработали на износ.
🇨🇳 Китайская Угроза
Понеслась. В Наньнине, во время празднования китайского нового года, от фейерверков загорелись здание и слон. Никто не пострадал.
🇨🇳 Китайская Угроза
Что мы хотели знать про DeepSeek r1, но стеснялись спросить?
(1) Правда ли, что DeepSeek r1 лучше o1?
Вот никаким боком. Болтает, может, и приятно, но на конкретных бизнес-задачах он на уровне между 4o и 4o-mini. Да, это предварительные результаты бенчмарка v2 (см. рисунок 1). Да, там есть возможность поразмышлять вволю. Да, DeepSeek пользуется этой возможностью и размышляет только так.
(2) Правда ли, что DeepSeek r1 настолько дешевле o1? Как у них экономика сходится?
А тут начинаются интересные нюансы, про которые журналисты не всегда упоминают. Идем в Wiki статью про DeepSeek.
DeepSeek - это китайская лаборатория искусственного интеллекта, которая разрабатывает большие языковые модели с открытым исходным кодом. DeepSeek в значительной степени финансируется китайским хедж-фондом High-Flyer, основанным и управляемым Лян Вэньфэном из Ханчжоу, Чжэцзян.
Бесовские искушения. Тьфу-тьфу-тьфу, чур меня. Спаси и помилуй.
🇨🇳 Китайская Угроза
Считаю, это гениально, надо перенять опыт и внедрять такую возможность в каналах у всех депутатов, чиновников, сайтах госСМИ и госструктур.
Зрители прямой новогодней трансляции на китайском телевидении CCTV в ТикТок не могли свободно комментировать передачу, а только отправлять заранее сделанные шаблоны с положительными одобрениями и восхищениями. 😁
🇨🇳 Китайская Угроза
А вот и такое мнение.
Ольга Ускова, основательница и президент группы компаний Когнитивные технологии - Cognitive Technologies
DEEP SEEK
Отвечаю на вопросы по поводу китайской нейросетки Deep Seek. Поскольку много крика (и бабла) вокруг этой темы.
Очень коротко. Тезисно. Ибо нужно работать, а это все - так себе событие.
Сначала для тех, кто не в курсе, что за кипеш?
Трамп объявил про 500 млрд$ на ИИ для группы делаваров во главе с OpenAI и это будоражит обывателей. Тогда Китай заявил:
- Америкосы - воры и буржуины. Да здраствует компартия Китая! Нам понадобилось всего 6 млн$ . И мы сделали свою нейросетку Deep Seek. Она лучше, чем OpenAI. И выложили ее в открытый доступ.
Мир начал привычно орать глупости:
Война между ИИ Китая и США! Урра!
Глупости всегда стоят бабла у дураков. И акции NVIDIA резко качнуло вниз (они в группе OpenAI за баблишко в 500 млрд.$)
На самом деле про Deep Seek можно сказать следующее:
- это одна из нейросеток среднего уровня. Сегодня таких нейросетей в коллекции наших спецов из Когнитив Пилот - 19 штук.
- При этом беглом анализе сходу нейросеть DeepSeek игнорирует чувствительные для Китайской Народной Республики политтемы и не в состоянии ответить на многие вопросы, касающиеся внутренних дел страны.
- Закольцевали мы эту нейросетку буквально через 7 минут.
- По умолчанию, выполняя запрос, DeepSeek не ориентируется на источники. Ответы поверхностные. Нужно ковыряться в режиме «Глубокое мышление», чтобы хоть что-то получить. И в нем сразу геометрически растет время обработки запросов.
- Мы пока НЕ НАШЛИ серьезных отличий между DeepSeek и ChatGPT в ответах на базовые вопросы. При этом китайцы периодически сваливаются в аглийский при русском запросе. Похоже на перепертый ChatGPT, как это и принято в одной огромной восточной стране.
- Функционал недостаточный даже относительно нашего ИИ "Ипполита". Нет даже голосового запроса. (Алё! Народ! Ну это уж совсем база. Смешно!)
Вывод: Чистый хайп. Я уже писала, что русские промышленные разработки ИИ намного интереснее и опаснее для США, но государство у нас затянуто говном преклонения перед иностранным. И пресса работает только в этом направлении. Вместо того, чтобы хайпануть на инфе про ИИ от Когнитив Пилот, от Сбера, от Яндекса, наконец, наши пишут про Китай с соплями восторга.
Допрыгаемся. Нужно будет с утра кланятся желтолицему господину и бормотать:
你好! (Ни хао!)
https://m.facebook.com/story.php?story_fbid=pfbid037TSGTmkHrsSB8eJCw4FmWzjsJK7ExDDf6HLPn64DFZ5DTn9FVJts7RsUWMxC8LGJl&id=100000826626015
Вот смотрю я на всю истерику, творящуюся нынче вокруг DeepSeek и... недоумеваю. С моей точки зрения не случилось ничего из ряда вон выходящего. И уж точно не произошло никакой переоценки перспектив искусственного интеллекта с общечеловеческой точки зрения. Большие языковые модели перестали быть каким-то прорывом и перешли в разряд commodity. Ну а рынку просто надо было скорректироваться, и он скорректировался. В-общем, ровным счётом ничего необычного.
Но я в связи с этим вспомнил одну историю. 5 лет назад, когда я пришёл в компанию Х, легендарный Doctor Z предостерегал меня "Валера, если ты будешь соревноваться с китайцами в решении решенных задач, рано или поздно ты проиграешь. Ты должен бежать на шаг или два впереди. Но не более того". И я тогда ему, разумеется не поверил...
Но с тех пор много воды утекло, и сейчас его правота кажется мне простой и естественной. А случай с DeepSeek её лишний раз иллюстрирует. Китайцы в силу своего менталитета очень редко совершают фундаментальные прорывы. Это (пока?) не их сильная сторона. Но что бы креативный западный ум ни придумал, они сделают проще, дешевле, быстрее и тп. Их талант превращать все в commodity. И дело тут даже не в "заимствовании" каких-то know how. Чаще всего достаточно просто показать что "вот так можно было".
Так что в технологическом плане лидерство Запада по-прежнему неоспоримо. Но вот мне это лидерство все больше напоминает кучку людей бегущих впереди паровоза. На шаг-два, но не более.
Но не переживайте, паровоз не собирается их давить. Они пока ещё ему нужны... 😁
Выступление OneRepublic на китайском новогоднем концерте.
/channel/daokedao/37348
🇨🇳 Китайская Угроза
Мадам, видимо, нехило приняла сегодня на грудь ради китайского нового года 😁 Обожаю коллекционировать такие экземпляры в своей кунсткамере.
На основе одной истории какого-то фрика из Монголии делать такие глобальные выводы, это талант. Узнал много интересного про китайцев
- китайцы вестернизированы
- мало общаются друг с другом
- не занимаются сексом
- стремительно гомосексуализирутся. 🤣
Ладно, это был бы какой-то пародийный канал, но бред Мадам на полном серьезе цитируют как иноагенты (Еж, например), так и патриоты - Мадам постоянно входит в сетку лучших пророссийских каналов по версии липовых экспертов.
🇨🇳 Китайская Угроза
Нашим турбо-патриотам не терпится развязать мировую бойню. 😁 Очередной горячечный бред сумасшедшей Мадам Секретарь:
Большая война между США и Китаем неизбежна и начнётся буквально в течение следующих нескольких лет. Именно поэтому американские элиты поддержали Трампа — по сути, лидера военного времени. Китай настолько усилился в военном плане, что дальнейшее игнорирование этой угрозы ставит под вопрос геополитическое доминирование США в Тихом океане.
Интересную аналогию здесь можно провести с Японией. Именно американцы провели важные реформы в Стране восходящего солнца ещё в конце XIX века. Перед Второй мировой войной Штаты продолжали вкладывать масштабные средства в японскую экономику, несмотря на растущий милитаризм последней. В Вашингтоне на это закрывали глаза, объясняя всё необходимостью сдерживания Советского Союза на Дальнем Востоке. То есть, по сути, американцы сами взрастили Японию как конкурента. Очень похожая ситуация наблюдается и с Китаем, экономику которого также подняли американцы, перенеся туда тысячи производств. Китай, получив огромные преимущества, сразу начал вкладывать деньги в реформирование армии, которая сегодня может бросить вызов американской.
История повторяется, и новый Перл-Харбор не за горами. Сейчас это лишь вопрос времени.
=====
Хоспадя, опять нашего инфоцыгана стал кто-то за уши тянуть в центральные СМИ.
Видимо на закрытый канал за вступительный взнос в 30 тысяч рублей и на двухдневные курсы китайского за 20 косарей буратин нашлось не слишком много 😁
Теперь он еще на RT стал специалистом по ИИ.
А в РГ, видимо, с журналистами вообще беда, если приглашают липовых китаистов извергать такие банальности, как:
«По лунному календарю Новый год отмечают во Вьетнаме, в Корее, Японии»
Спасибо, капитан Очевидность 😁
Ждем возвращения в передачи Соловьева и Скабеевой.
🇨🇳 Китайская Угроза
Китайский Новый год в Москве 🇨🇳
Пока в Китае будут отдыхать, запускать фейерверки и объедаться «пельмешками» 🥟, вы можете ощутить этот дух в дамплинг-баре WU SHU!
С 29 января по 16 февраля там подают праздничный сет из пяти блюд: утку по-пекински, жареное молоко — всё по канонам! В баре — коктейль «Утка в бассейне» на бурбоне и сет китайской водки байдзю 🍶
Декор тоже восторг: под потолком красуется леопардовая змея. При заказе «сета Ли» выдают красный конверт с депозитом до 3 000 ₽ 🧧
А по промокоду DAOKEDAO действует скидка 20% на всё меню до 14 февраля.
Все в WU SHU на самый аутентичный спешл!
На китайском новогоднем концерте выступили голые мужики. Но что они пытались изобразить, так никто и не понял.
🇨🇳 Китайская Угроза
Продолжаем «терзать» китайские ИИ вопросами, не связанными с событиями на площади Тяньаньмэнь 😁
Переводчик с китайского Денис Палецкий обратил внимание на некорректный перевод фразы как DeepSeek, так и Qwin:
Обе модели неправду выдали про значение 芝 в этом фразеологизме? Обе. У них разные версии, и обе неверные. Довериться ИИ для цели перевода = получить на выходе глюки. 芝、兰为两种香草
Вообще, конечно, история с реакцией рынков на новости о DeepSeek V3 и R1 это пример глупости помноженной на дилетантизм и истеричную природу массового сознания в эпоху кликбейт-экономики
Коротко по тезисам:
1. Нет, DeepSeek не «умнее на голову» всех в моделей. В разных бенчмарках результаты разные, но в среднем GPT-4o и Gemini-2 лучше. Можете посмотреть на ChatBot Arena, например (https://www.reddit.com/r/LocalLLaMA/comments/1i8u9jk/deepseekr1_appears_on_lmsys_arena_leaderboard/). Даже в результатах, опубликованных в статье авторов DeepSeek (https://github.com/deepseek-ai/DeepSeek-V3/blob/main/figures/benchmark.png) можно заметить, что в ряде тестов модель уступает, например, GPT-4o от мая 2024 года, то есть модели, которая в ChatBot Arena сейчас на 16-м месте.
2. Нет, на обучение DeepSeek не ушло 6 млн долларов «в 100 раз меньше, чем на GPT-4». В 6 млн долларов обошёлся финальный запуск обучения опубликованной модели. Тут не учитывались никакие предыдущие эксперименты, ни предыдущие версии модели, ни время людей. Чистый вычислительный бюджет на финальный запуск обучения. Эта сумма +/- такая же, как у моделей того же класса
3. Непонятно, за что пострадала Nvidia :)) Ну так-то, конечно, так им и надо, пускай снижают цены на железо, но учился-то DeepSeek на железках того самого Nvidia. И нет, теперь их не нужно меньше. И вычислительный бюджет на обучение там +/- обычный и на инференс такой большой модели (а это, напомню MoE с 671 млрд параметров, где при генерации токена используется 37 млрд параметров, то есть цена инференса там примерно как у 70B dense-модели) нужно много железа. И, естественно, успех DeepSeek отмасштабируют, вкинув ещё больше железа и сделав модель больше
4. Значит ли это, что модель плохая? Нет, модель очень хорошая. Мы с самого начала следим за коллегами из DeepSeek и с удовольствием использовали некоторые из их идей. Вообще, я бы сказал, что у нас в команде DeepSeek всегда рассматривалась как фаворит среди китайских моделей. DeepSeek лучше подавляющего большинства open-source-моделей, и это очень круто. Искренне рады за китайских коллег и за прогресс в области LLM-строения и машинного обучения в целом
5. В некоторых источниках пишут, что DeepSeek якобы полностью решил проблему «галлюцинаций». Nyet
Я думаю, что паника и шумиха случилась из-за того, что на западе обычно плохо знают про состояние дел в китайском ML, среди многих американских и европейских специалистов наблюдалось немного пренебрежительное и снисходительное отношение к Китаю в области ИИ. Дескать: ну что они там могут сделать, клепают свои низкокачественные плохо воспроизводимые работы, куда им с белым человеком тягаться? Всё это умножилось на антикитайскую риторику властей США, а при Трампе фокус на Китае как на главном противнике усилился. Помните истерическую статью Ашенбреннера? Теперь вот Гари Маркус вопит, требует наказать Цукерберга за Llama, дескать из-за опен-сорса китайцы украли все секреты. Это, конечно, типичный пример того, как валят с больной головы на здоровую. Виноваты в недостаточном прогрессе открытых моделей в США скорее люди типа Маркуса, со своей истерикой про опасности ИИ, запретительными и просто глупыми регуляторными инициативами и пр. «Знает кошка, чьё мясо съела»
Ну а в целом акции отрастут, ресурсы выделят, идеи получат широкое распространение, модели будут становиться лучше, прогресс не остановить (надеюсь)
Пусть расцветают сто цветов, пусть соперничают сто школ © Мао Цзэдун
Ну, с настоящим Новым годом. Всем побольше презренного злата, остальное придет в медитации.
Каждому читателю КУ по виртуальному красному конверту 🧧 с тысячью юаней.
🇨🇳 Китайская Угроза
Если этот год по лунному календарю завершается прорывом DeepSeek, надеемся, что следующий год Змеи станет прорывом в создании гуманоидных роботов.
🇨🇳 Китайская Угроза