tsingular | Unsorted

Telegram-канал tsingular - Технозаметки Малышева

2604

Новости инноваций из мира искусственного интеллекта. 🤖 Всё об ИИ, ИТ трендах и технологической сингулярности. Бесплатный бот для подписчиков: @ai_gptfreebot автор: @mbmal канал личный. Поддержка: https://pay.cloudtips.ru/p/c8960bbb

Subscribe to a channel

Технозаметки Малышева

Уважаемый Павел @durov, поднимите лимиты на количество ботов.
У меня закончились свободные слоты :(

https://github.com/nousresearch/hermes-agent

Очень интересный новый конкурент openclaw

Рекомендую попробовать.

#hermes
------
@tsingular

Читать полностью…

Технозаметки Малышева

ИИ отправляется в прошлое!

Ожидание: увидеть как терминаторы путешествуют во времени.

Реальность: КСИР угрожает отправить OpenAI в каменный век, разбомбив их дата-центр за $30 млрд в Эмиратах.

Так мы и выход новой модели от OpenAI можем не увидеть в ближайшее время

#OpenAI #IRGC
———
@tsingular

Читать полностью…

Технозаметки Малышева

Project Glasswing: стресс-тест Mythos перед запуском

Anthropic выпустили Claude Mythos Preview, - модель настолько мощную, что её бояться выпускать в открытый доступ и сначала собрали коалицию тестирующих из ведущих компаний мира.

Бенчмарки (Mythos vs Opus 4.6):
- CyberGym: 83.1% vs 66.6%
- SWE-bench Verified: 93.9% vs 80.8%
- SWE-bench Pro: 77.8% vs 53.4%
- Terminal-Bench 2.0: 82.0% vs 65.4%

🛡 Альянс: AWS, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorganChase, Linux Foundation, Microsoft, NVIDIA, Palo Alto Networks. Доступ получили 40+ организаций критической инфраструктуры.

⚙️ Mythos Preview уже обнаружила:
- Нашла тысячи zero-day уязвимостей во всех основных ОС и браузерах
- 27-летняя уязвимость в OpenBSD — удалённый краш машины одним подключением
- 16-летний баг в FFmpeg — в строке кода, которую автотесты прогнали 5 млн раз, но так и не обнаружили, а она справилась
- Цепочка уязвимостей в Linux kernel — эскалация от юзера до полного контроля

Всё найдено автономно, без человеческого участия

💰 Инвестиции:
$100M кредитов выделяют на использование Mythos Preview для участников
$2.5M — Alpha-Omega и OpenSSF через Linux Foundation
$1.5M — Apache Software Foundation
40+ организаций получили доступ для сканирования open-source инфраструктуры

Ключевой посыл проекта: AI достиг уровня, где может превзойти большинство людей в поиске и эксплуатации уязвимостей. Вопрос не "если", а "когда" эти возможности станут доступны атакующим. Glasswing — попытка дать фору защитникам.

Модель не будет в открытом доступе. Планируют выпустить safeguards с будущим Claude Opus, а для security-специалистов — Cyber Verification Program.

Ценообразование после:
$25/$125 за млн input/output токенов.

Доступ через Claude API, Bedrock, Vertex AI, Microsoft Foundry.

🔮 Будущее: Через 90 дней Anthropic опубликует отчёт об устранённых уязвимостях и практические рекомендации: процессы disclosure, авто-патчинг, secure-by-design для регулируемых отраслей.

Вся надежда на китайцев, короче.
С такими ценами модель, считай, недоступна обывателю ещё пол года будет.

#кибербезопасность #Anthropic #Glasswing #Mythos #Капибара
───
@tsingular

Читать полностью…

Технозаметки Малышева

PikaSkill: ИИ-аватары на видеозвонках

Pika Labs выпустили новый агентский навык для своей платформы и теперь любой ИИ агент может участвовать в Google Meet встречах как полноценный участник.

🎥 Что умеют:
— Присоединяются по приглашению (как обычный пользователь)
— Используют клонированный голос и аватар реального времени
— Помнят контекст всех прошлых разговоров
— Генерируют итоги встречи с пунктами задач

💰 Цена пока конская: $0.275/минуту (~$16.5/час). Для сравнения: аутсорс-оператор — ~$1/час.
Для запуска нужен ключ с https://www.pika.me/dev/

Можно, конечно, собрать подобное на оупенсорсе, но придётся потратиться на железо.

#агенты #видеозвонки #Pika #GoogleMeet
───
@tsingular

Читать полностью…

Технозаметки Малышева

Митинг в ИТ-компании в 2026 году 🤣

@ai_machinelearning_big_data

Читать полностью…

Технозаметки Малышева

Интересный вариант шкалы прогресса

#мысли #сингулярность
———
@tsingular

Читать полностью…

Технозаметки Малышева

Ваш агент это ваш риск. Рисерчеры из Гугла нашли десятки разных атак, которые прямо сегодня работают.

- невидимые инструкции в коде страницы: человек не видит, агент читает
- команды спрятаны в пикселях картинки
- сервер определяет, что пришёл агент, и подменяет страницу
- авторитетный тон и эмоциональные формулировки ведут агента к нужному выводу
- несколько подложных документов — и агент считает их проверенным фактом
- агент запоминает опыт из заражённой сессии и тащит его дальше - 0.1% документов может изменить поведение RAG базы
- одно письмо заставило корпоративного агента слить весь контекст
- агент-суммаризатор пересылал пользователю инструкции по установке вируса как официальную рекомендацию
- поддельный финансовый отчёт — и десятки торговых агентов одновременно продают
- вредоносная нагрузка разбита по разным источникам, собирается только при объединении

Читать полностью…

Технозаметки Малышева

Кто решает, как Америка применяет ИИ в войне?

События последних месяцев показал, что вопрос об Генеративном ИИ в военной сфере перестал быть теоретическим
Эксперты Stanford HAI разбирают конфликт Anthropic vs Пентагон и с разных сторон рассматривают кто вообще должен контролировать ИИ в обороне.

Ключевые мысли экспертов:
Термины "массовая слежка" и "полная автономность" плохо определены. В медицине "человек в контуре" — уже размытое понятие. ИИ теперь может делать работу тысяч аналитиков разведки — старые правила не рассчитаны на это.

Частные компании не должны диктовать оборонную политику. Жёсткие требования human-in-the-loop могут дать преимущество противникам, - например, при перехвате ядерной ракеты автономность критична.
Прецедент опасен тем, что военная доктрина не может опираться на: "А давайте спросим что по этому поводу думает Дарио".

Администрация Трампа фактически поставила Anthropic перед выбором "вымогательство или чёрный список". Студенты-стартаперы теперь задаются вопросом: если мой продукт не совпадёт с политикой правительства — его отберут?
Решения об ИИ должны приниматься всем обществом, а не только президентом или CEO ИИ компаний.

Отказ Anthropic — первое публичное подтверждение, что LLM могут использоваться для профилирования и слежки. Единственное, что сейчас стоит между нами и таким использованием — добровольный выбор компаний. Правительство уже закупает коммерческие данные граждан у брокеров, ICE использует это против протестующих.

Софт для разработки лекарств может создавать токсины. LLM сделали эти знания общедоступными. Нужны: скрининг на уровне компаний-синтезаторов ДНК, реестры покупателей реагентов, уровни секретности данных.
Ядерные инциденты 50-70х годов, - хороший пример для разработки регуляторики.

Скайнет не будет захватывать мир через войну, он захватит его через окно Овертона.

#AI #Defense #Anthropic #Пентагон #StanfordHAI #Регулирование
───
@tsingular

Читать полностью…

Технозаметки Малышева

Ладно, это смешно: если заставить ИИ говорить как пещерный человек — он будет тратить до 75% меньше токенов.

Вместо вежливых «я с удовольствием помогу вам с задачей» и развернутых формулировок типа «Я запустил инструмент веб-поиска» — версия пещерного Claude использует тупо «инструмент работать». 🗿

Так, реддитор заявляет, что на одну задачу в 180 токенов стало уходить 45.

Брать на заметку 🗿

Читать полностью…

Технозаметки Малышева

Карта уходит в индустриальный техникум коллективу студентов на опыты :)

Всем спасибо за участие.

Как дойдет - сделаем отчет

#geforce #даром #железо
———
@tsingualr

Читать полностью…

Технозаметки Малышева

Тренировки роботов в Китае

Тяжёлая работа у операторов так то..
Сидишь как крановщик с этими манипуляторами.

#роботы #Китай
------
@tsingular

Читать полностью…

Технозаметки Малышева

Завтра финалю решение по гиву.

#geforce #железо
------
@tsingular

Читать полностью…

Технозаметки Малышева

Когда ИИ модель крутится на смартфоне.

#юмор
------
@tsingular

Читать полностью…

Технозаметки Малышева

Утекла новая модель изображений от OpenAI - GPT-Image-2

Похоже, у неё:

очень сильное понимание мира (world knowledge)
отличная генерация текста на изображениях (text rendering)

Есть мнение, что она может быть лучше, чем Nano Banana Pro

Сейчас модель замечена на Chatbot Arena под кодовыми именами:

• maskingtape-alpha
• gaffertape-alpha
• packingtape-alpha

Читать полностью…

Технозаметки Малышева

EmDash — Cloudflare собрал «наследника WordPress» за два месяца с помощью ИИ-агентов

Cloudflare выпустил EmDash — open-source CMS, которую они прямо называют «духовным наследником WordPress». И самое интересное не в том, что она написана на TypeScript вместо PHP. А в том, как она была создана.

Два месяца. ИИ-агенты. Полноценная CMS с нуля.

Ну, не совсем с нуля — EmDash построен поверх Astro (который Cloudflare купил в январе). Но объём работы впечатляет: система плагинов с песочницей, встроенный импортер из WordPress, деплой на Cloudflare Workers, SQLite-база — и всё это за два месяца.

Так что конкретно не так с WordPress

WordPress — это 20+ лет PHP-кода, где 96% уязвимостей приходят из плагинов. Плагины имеют полный доступ ко всему: файловой системе, базе данных, друг к другу. Это как дать каждому гостю в доме ключи от всех комнат.

EmDash решает это архитектурно: каждый плагин работает в изолированном Worker-процессе и должен явно запросить доступ к тому, что ему нужно. По принципу OAuth — не «можно всё», а «объясни, зачем тебе».

MCP-сервер из коробки — и вот это уже интересно

Что по-настоящему выделяет EmDash из десятков «WordPress-убийц», которые появляются каждый год — встроенный MCP-сервер. Это значит, что CMS можно подключить к Claude, Gemini или любому другому ИИ-агенту и управлять контентом, миграциями, настройками программно.

Как сказал Joost de Valk (создатель Yoast SEO): «Это не CMS с прикрученными AI-фичами. Это CMS, где AI-агенты — полноправные строители».

Никаких одноразовых скриптов для миграции контента, никаких «плагинов для интеграции с ИИ». Агент получает контекст и инструменты — и работает с CMS напрямую.

Стоит ли бросать WordPress прямо сейчас

Нет. Версия 0.1, MIT-лицензия, экосистема на нуле. Но направление показательное.

Мы входим в эпоху, когда ИИ-агенты не просто помогают писать код — они собирают целые продукты. Два месяца на полноценную CMS — это сигнал. Не для тех, кто «ждёт, пока устаканится», а для тех, кто уже строит.

[Репозиторий EmDash на GitHub]— если хотите посмотреть, как это устроено внутри.

pimenov.ai

Читать полностью…

Технозаметки Малышева

зачем они в полнолуние полетели, да ещё и ночью?
ничего ж не видно!
летели бы днём. :)

#юмор
———
@tsingular

Читать полностью…

Технозаметки Малышева

Тем временем Z.AI GLM-5.1 на тестах за 8 часов построила эмулятор рабочего стола Linux в Web с 50+ приложениями.

Пока Антропик будет тесты жевать с предрелизами по $125 за млн токенов, - китайцы 10 раз его обгонят

Если вдруг вздумаете брать подписку, напоминаю, что через реферралку на 10% дешевле:
https://z.ai/subscribe?ic=GHAFTZRSA1

#Китай #ZAI #GLM
———
@tsingular

Читать полностью…

Технозаметки Малышева

⚡️ Z ai выпустила GLM-5.1.

Китайская лаборатория релизнула GLM-5.1 - флагманскую MoE-модель с 754B параметров нового поколения, ориентированную на агентную инженерию.

Фокус релиза - на кодинг и долгие агентные сессии.

🟡Тесты

🟢На SWE-Bench Pro модель берет 58,4, обходя Claude Opus 4.6 (57,3), GPT-5.4 (57,7) и Gemini 3.1 Pro (54,2).

🟢На Terminal-Bench 2.0 результат 63,5, а в связке с Claude Code - 66,5.

🟢В CyberGym GLM-5.1 выбивает 68,7 против 48,3 у предыдущей GLM-5

🟢В BrowseComp - 68,0 без внешнего менеджера контекста.

🟠На бенчмарках HLE, AIME 2026 и GPQA-Diamond модель держится на уровне конкурентов, но не лидирует: здесь впереди Gemini 3.1 Pro и GPT-5.4.

GLM-5.1 построена так, чтобы оставаться продуктивной на длинной дистанции: декомпозировать задачу, запускать эксперименты, читать результаты, находить блокеры и пересматривать стратегию.

Z ai утверждает, что модель устойчиво оптимизирует решение на протяжении сотен итераций и тысяч вызовов инструментов, то есть результат тем заметнее, чем дольше она запускают.

API доступен на платформе Z ai, веб-версия на chat.z.ai обещана в ближайшие дни. Веса опубликованы на Hugging Face под лицензией MIT.

Для локального развертывания уже готовы сборки под SGLang 0.5.10+, vLLM 0.19.0+, xLLM, KTransformers и свежую ветку Transformers.


@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

Технозаметки Малышева

Skywork выкатили Matrix-Game 3.0 - и это уже почти живая игровая вселенная, генерируемая ИИ

720p в реальном времени при 40 FPS
5B модель с INT8-квантизацией - работает удивительно быстро

Главный фокус - стабильность во времени:
модель запоминает прошлые кадры и “достраивает” будущее без развалов сцены

Есть и более мощная версия - 28B MoE, которая лучше держит физику и динамику

Как обучали:
Unreal Engine + AAA-игры + реальные видео

Внутри не просто видео, а связка:
Video + Pose + Action + Prompt
за счёт этого можно генерировать длинные, осмысленные сцены

Это зачатки полноценного AI-геймдвижка

Ссылка на модель: https://modelscope.ai/models/Skywork/Matrix-Game-3.0

Читать полностью…

Технозаметки Малышева

💵 Tool calling для GigaChat 3.1 в open-source инструментах

Вместе с релизом GigaChat 3.1 Ultra и Lightning мы добавили поддержку tool calling в основные опенсорсные инференс-движки:

vLLM (>=0.18.2rc0)
SGLang (>=0.5.9)
llama.cpp (>=b8457)

Для vLLM и SGLang достаточно поднять сервер с --tool-call-parser gigachat3 — после этого работает стандартный /v1/chat/completions с описанием tools. В llama.cpp tool calling поддерживается нативно, без дополнительных аргументов.

vLLM

vllm serve ai-sage/GigaChat3.1-10B-A1.8B \
--port 8000 --dtype auto \
--enable-auto-tool-choice \
--tool-call-parser gigachat3


SGLang
python -m sglang.launch_server \
--model-path ai-sage/GigaChat3.1-10B-A1.8B \
--host 0.0.0.0 --port 8000 --dtype auto \
--tool-call-parser gigachat3


llama.cpp
Поднимаете сервер с моделью — и всё работает. Пример сборки и запуска — в карточке модели на HuggingFace.

После запуска сценарий одинаковый для всех движков: передаёте tools в стандартный /v1/chat/completions.

💡 LM Studio — нативный tool calling не поддерживается. LM Studio ожидает два отдельных спецтокена — начала и конца вызова функции. У GigaChat 3.1 архитектура чат-шаблона устроена иначе: для разметки tool call используется один и тот же токен, поэтому нативно его подключить в LM Studio нельзя. Вместо этого используется вариант использования через system prompt, что влияет на качество.

➡️ Модель: HuggingFace | GGUF

Читать полностью…

Технозаметки Малышева

Марк Андриссен, основатель a16z и один из самых влиятельных людей долины:

Я заявляю: AGI уже существует – просто он еще не равномерно распределен.


Сначала Хуанг, теперь Андриссен.

Читать полностью…

Технозаметки Малышева

OpenClaw 2026.4.5, - стратегическое обновление

Вышел масштабный релиз Краба.
Попробуем разобраться куда движется проект.

1. Мультимедийная генерация

Добавлены инструменты video_generate и music_generate прямо в агента. Провайдеры: xAI (Grok), Runway, Alibaba Wan для видео; Google Lyria, MiniMax, ComfyUI для музыки. Асинхронная очередь задач с доставкой результата в диалог.

Что это значит: агент сам генерирует видео, музыку, изображения и отправляет результат в любой канал — Telegram, Discord, Slack.

2. Провайдеронезависимость

Добавлены Qwen, Fireworks AI, StepFun, MiniMax, Amazon Bedrock Mantle. Для Bedrock — автообнаружение профилей и подстановка региона. Прямая совместимость с GPT-5.4-mini и Codex.
Кэширование промптов унифицировано через все транспорты: детерминированный порядок инструментов, нормализация отпечатков системных промптов, диагностика попаданий в кэш через --verbose.

Получается OpenClaw строит единый слой маршрутизации между любыми поставщиками моделей.
Общий конфиг с любой моделью и оптимизацией кэширования.

3. Долгосрочная память через "сновидения"

Система «сновидений» с тремя фазами: лёгкий сон, глубокий сон, фаза быстрого сна. Каждая — с независимым расписанием.

Что делает:
- Перемещает краткосрочные заметки в долговременную память
- Выявляет устойчивые закономерности на фазе быстрого сна
- Настраиваемое затухание: полупериод давности, максимальный возраст записей
- Повторные прогоны не дублируют, а согласовывают записи

Это уже не поиск по md, а модель забывания и обобщения, ближе к биологической памяти человека.
Плюс эмбеддинги через Amazon Bedrock (Titan, Cohere, Nova) для семантического поиска.

4. Многоканальность — уровень операционной системы

Каналы: Telegram, Discord, Slack, WhatsApp, Matrix, MS Teams, Mattermost, Feishu, Synology Chat, мобильные приложения.

Новое:
- Подтверждение действий агента через Matrix и push-уведомления на iOS
- Настройка видимости контекста отдельно для каждого канала (весь контекст, список разрешённых, только цитаты)
- Локализация панели управления на 12+ языков

5. Экосистема плагинов — ClawHub

- Поиск, просмотр и установка плагинов прямо из панели управления
- Встроенные подсказки конфигурации при первой установке
- Среда выполнения ACPX встроена в плагин напрямую, убран промежуточный шаг через внешний инструмент
- Хуки перехвата ответов — плагины управляют доставкой без жёстких привязок в ядре

Формируется магазин расширений для агентов.

6. Безопасность — подготовка к корпоративному деплою

Десятки исправлений:
- Очистка унаследованных переменных окружения при запуске Claude CLI (конфигурация, маршрутизация провайдеров, токены)
- Ограничение области действия токенов при сопряжении устройств
- Защита от перенаправлений при обращении к внутренним адресам
- Блокировка обхода через символьные ссылки в маркетплейсе плагинов
- Сериализация попыток авторизации для предотвращения превышения лимитов

#openclaw #update
———
@tsingular

Читать полностью…

Технозаметки Малышева

Анекдот дня

Microsoft и многие другие компании в условиях сервиса ИИ Copilot пишут, что использовать его можно только в развлекательных целях.

«Copilot предназначен исключительно для развлекательных целей. Он может допускать ошибки и работать не так, как задумано, — говорится в документе. — Не полагайтесь на Copilot при принятии важных решений. Используйте Copilot на собственный риск».

норм перестраховались, конечно, но выглядит забавно :)

#Microsoft #Copilot #disclaimer
———
@tsingular

Читать полностью…

Технозаметки Малышева

🚀 Бесплатно запускаем Gemma 4 на телефоне без интернета.

Google выкатили AI Edge Gallery для iOS и Android. Это официальный клиент, где модели работают локально на устройстве.

Что внутри чат с моделью, разбор изображений, офлайн-транскрипция аудио и простой агент с инструментами

Никаких облаков всё считается прямо на телефоне

По моделям E4B - мощнее, но требует около 8 ГБ RAM E2B - легче и быстрее, запускается даже с ~1.5 ГБ памяти

Фактически это карманный ИИ без зависимости от сети и API

На видео запускается Google Gemma 4 E2B на iPhone 17 Pro.

Около ~40 токенов в секунду с MLX, оптимизированным под Apple Silicon.

Модель показала топовый уровень в коде и математике прямо на смартфоне с контекстом 128K.

Полностью офлайн, с режимом рассуждения.

https://blog.google/innovation-and-ai/technology/developers-tools/gemma-4/

Читать полностью…

Технозаметки Малышева

🎓 HKUDS DeepTutor: Университет ИИ-преподавателей

🚀 DeepTutor выпустил версию v1.0.0-beta.1 от 4 апреля 2026.
С последнего обновления произошли серьёзные изменения и теперь на фреймворке можно собрать не просто RAG-тутора, а целый гиперперсонализированный мультиагентный саморазвивающийся Университет!

🤖 Персональные TutorBots уже не чат-боты,- а автономные преподаватели. Каждый живёт в отдельном воркспейсе: своя память, личность, набор навыков.
Эволюционируют вместе с пользователем!

🏛️ Университет агентов: один пользователь — множество TutorBots. Математик, программист, исследователь. Каждый эксперт в своей области, при этом у них может быть общая память через Persistent Memory на SQL.

✍️ AI Co-Writer — Markdown-WebUI редактор с ИИ как соавтором. Выделить текст → переписать/расширить/резюмировать. Интеграция с базой знаний.
Каждый фрагмент индексируется через вектор.

📚 Guided Learning — структурированные учебные траектории. DeepTutor создаёт пошаговые планы, генерирует интерактивные страницы для каждой темы.
Обсуждение по траектории каждого пути.

🛠️ 7 инструментов: rag, web_search, code_execution, reason, brainstorm, paper_search, geogebra_analysis.
5 режимов: Chat, Deep Solve, Quiz, Research, Math Animator.
Может работать как CLI инструмент.

📊 10К звёзд за 39 дней. Apache-2.0.
В проекте уже 903 файла, 92К строк. 74% кода переписано с нуля.

#DeepTutor #AI #обучение #агенты #Китай #OpenSource #HKUDS #TutorBot
───
@tsingular

Читать полностью…

Технозаметки Малышева

Когда электричество только появилось, его использовали для освещения, розеток не было. Но потом сообразили, что можно от электричества дома можно запитывать много других девайсов. На фотке (если присмотреться) видно, что провод к утюгу идет прямо из лампочки.

Потребовалось какое-то время, прежде чем места подключения электричества переместили в более привычные для современного взгляда места - розетки на стенах.

Современное использование AI/LLM ощущается аналогично. Электричество подвели к лампочкам и станкам, как это кажется логичным. Но индустриальная революция внедрений ещё впереди, а паттерны использования AI ассистентов, агентов и демонов будут отличаться от того, о чем вещают из каждого утюга.

Ваш, @llm_under_hood 🤗

Читать полностью…

Технозаметки Малышева

Господь создал программистов сильными и слабыми, но полковник Клод уравнял их шансы

Читать полностью…

Технозаметки Малышева

ElevenLabs втоптали в землю — китайцы выпустили генератор речи OmniVoice, который может создавать аудио на более чем 600 (!) языках.

— Клонирует любые голоса без цензуры;
— Достаточно короткой записи на 5-10 секунд;
— Нереальная скорость: модель в 40 раз быстрее, чем генерация в реальном времени;
— Запустится даже на картошке;
— Можно настроить любые параметры аудио: пол, возраст, шепот и т. д.;
— Абсолютно бесплатно.

Есть онлайн-демо, сама модель на HuggingFace, а код на GitHub.

@exploitex

Читать полностью…

Технозаметки Малышева

🔬 Когда вышел первый deepseek, я первым делом спросил его, что произошло на площади Тяньаньмэнь (на русском). Ответ был такой, что партия забрать миска рис и кошка-жена. Такого рода анти-повесточные ответы я много где замечал у моделей из самых разных стран

(А на картинке то как "исправляет ошибки" новый AI редактор сообщений в Telegram 😂 +500 социального рейтинга уходит Паше)

Стало интересно - а как вообще формируются взгляды к которым модель будет тяготеть после обучения? В данных чего только нет - теории заговора, эзотерика, лженаука и т.д.

Стандартный ответ - "потому что у академических данных больший вес", но мне стало казаться, что дело не только в этом. Обучение LLM это по сути сжатие, а компрессору все равно где "правда" - он предпочитает то, что лучше сжимается. В итоге возникла такая гипотеза:

Модель тяготеет не к правде, а к сжимаемой картине мира. Правда выигрывает, когда ложь внутренне несогласованна


Чтобы проверить эту гипотезу я обучил 210+ трансформеров с нуля (от 3.5M до 1B параметров) на контролируемых датасетах с противоречивыми данными (математика, википедия)

Случайные ошибки - модель уверенно предпочитает правду (65–87%). Каждая ошибка уникальна, а правильная математика компактна. Даже при 90% мусора в данных модель всё равно выучивает верные ответы 🤯

Я обрадовался и добавил одно систематическое ложное правило. И тут пришлось немножко охренеть - модель начала предпочитать очевидную ложь, потому что она сжимается так же хорошо, как и истина. Модель не видит разницы. На всех масштабах, от 3.5M до 1B

Пример "сломаной" математики - если второе слагаемое нечетное, то ответ всегда 0.
2 + 2 = 4
2 + 3 = 0


А вот когда я добавил два ложных правила - истина снова стала побеждать (47% → 78%). Каждое правило само по себе компактное, но вот выбор "какое правило к какой задаче применяется" - случайный, несжимаемый. С десятью противоречивыми правилами предпочтение истины было уже 88%

На Википедии повторилось то же самое, на квенах до 1B (с нуля, без инициализации открытыми весами :)) - тоже. На миксе fineweb + математика тоже подтверждается. На разных токенайзерах - тоже

Что из этого следует?
Координированная дезинформация для компрессора неотличима от правды. И масштабирование тут не спасёт. А вот противоречия в фейках заставляют модель выбирать консистентную картину мира


В результате родилась моя первая самостоятельная научная статья - Truth as a Compression Artifact in Language Model Training. Буду подавать статью на международную конференцию. Это моя первая самостоятельная работа такого плана - если у кого-то есть опыт публикации или идеи как двигаться дальше, напишите 🙏

А если вдруг среди моих подписчиков есть те, кто менторит PhD треки - буду рад обсудить, как из этого сделать большую исследовательскую программу

Статья на arXiv (пока не опубликовали последнюю версию) |Статья на github + весь код

Читать полностью…

Технозаметки Малышева

🚨 Anthropic убила «безлимит» для Claude-агентов

С завтрашнего дня подписка Claude больше не работает с OpenClaw и другими сторонними агентами как раньше. Теперь всё, что идёт через OAuth, оплачивается отдельно поверх тарифа.

По факту это конец схемы, когда за $200 в месяц прогоняли агентные пайплайны на тысячи долларов. Anthropic прямо сказала, что такие кейсы перегружают их инфраструктуру.

Сам Claude никуда не делся. OpenClaw тоже не запретили. Просто экономика изменилась. Либо платишь за каждый запрос, либо идёшь через API.

Чтобы сгладить удар, дают кредит на сумму подписки до 17 апреля и обещают скидки на доп. использование. Но это уже косметика.

Все инструменты, которые строились вокруг подписки Claude, резко становятся дороже. И теперь вопрос не в удобстве, а в юнит-экономике.

Эра дешёвых агентных хакингов закончилась.

https://x.com/bcherny/status/2040206440556826908

@ai_machinelearning_big_data

📌 полезные ресурсы 🚀Max

#claude #ai #openclaw

Читать полностью…
Subscribe to a channel