1195
Личный канал Инсафа Ашрапова Исполнительный директор по исследованию данных в банке (aka Lead DS) — @insafq Здесь про AI, менеджмент, личные истории и многое другое
Female AI agents would get paid 10% less than male ones, study finds
Даже тут дискриминация AI агентов. В эксперименте качество самой работы агентов было оценено одинаково, их возможности и сама модель тоже совпадали. Но в итоге агент с мужским именем Johan получал на 10% больше денег, чем агент с женским именем Johanna 🫡
Agents Trust Tools Too Much (arxiv)
Почему-то агенты слишком доверяют вызовам тулов как единому источнику правды, даже если понимают, что это не бьется с предполагаемыми результатами. P1/P2/P3 просто разные уровни ложности возвращаемого тулом тезиса, но итоговый результат: принятие для условного DeepSeek Flash V4 до 50% (модели слабоватые, но результат показательный). Авторы попробовали разные решения: промптинг тула и его надежности работал плохо, общий промптинг, что агент проверял результат тула, в целом работает, но очень плохо для поиска. Fine-tuning с SFT/DPO (дорого и плохо). В итоге хорошая стратегия: просить указывать все противоречия
В общем, с доверчивостью LLM к ошибочным данным есть вопросики (см + прошлые посты)
MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use (arxiv)
Забавная статья, в которой исследуют влияние памяти в LLM.
Обычно и часто проверяют точность, полноту и релевантность извлечения. Но нужно еще проверять общие бизнес-метрики. И о чудо: если память нерелевантная, например все кейсы были про output с XML, а сейчас простой базовый вопрос, то это роняет метрики.
Например, для Gemini 3.0 Flash без памяти средний score 85,2%, а с разными memory-подходами он падает до 54,7-71,2%.
Решение в проверке необходимости текущей памяти модели.
это он мне выбирает новый стол на кухню 👍
забавно что это не просто логи
Хорошие курсы от самого LangChain, дошли руки пройти Deep Agents (лекции + лабы). Это их собственное решение по harness. Плюсы - гибкость и возможность самому управлять всеми частями. Интересные опции: injection в state нужной информации, от памяти до tool usage или todo plan. Или вместо того, чтобы промптить с user_id, сразу самому подставлять его в вызов tool как параметр. Внутри разные guardrails по количеству вызовов tools, циклов работы субагентов и тд
И в целом там остальные курсы тоже хорошие
Новая библиотека SIRIN для оценки и мониторинга contextual hallucinations в RAG и memory-based LLM системах (статья arxiv + github )
Идейно внутри три инструмента:
- probing по hidden states - легкий классификатор по hidden states генератора но нужно немного разметки
- LLM-as-a-judge. Есть response-level и span-level варианты, где модель пытается локализовать конкретные галлюцинированные фрагменты.
- uncertainty (entropy, perplexity, semantic uncertainty) - разные технические метрики как baseline, но обычно хуже чем LLM-as-a-judge
И два гейта:
1) до ответа: хватает ли контекста (Answerability gate)
2) после ответа: не наврал ли относительно контекста (Faithfulness gate)
- С учетом всего этого можно считать разные метрики качества. Еще у ребят неплохо получилось улучшить метрики на на memory-агенте повесив два гейта, и при непрохождения заставляя еще раз идти думать (метрики точности с 62.4% до 79.3%)
- Кастомный judge под задачу часто нужен все равно, но решение хороший baseline
Все еще сидите на codex и claude code. А как насчет уробороса 🤌🏻
ps человек отдал 50к $ чтобы прогнать все бенчи
Harness evaluation - deepeval
Кто-то, возможно, начинает разработку harness решений и скиллов для них. Стало интересно, какие инструменты можно использовать для тестирования качества.
Если для RAG многие использовали Ragas, то для LLM и агентов активно применяются решения для трейсинга, например Langfuse и Phoenix. Однако они больше про observability, хотя на их основе также можно прогонять выборки и анализировать качество. Но нужно что-то для harness и такое есть, DeepEval, спойлер с ним можно и все выше.
Но так или иначе все сводится к одному: прогнать набор тестовых сценариев, сравнить результат с эталоном или заданными критериями, проверить качество контекста и оценить корректность вызовов тулов
PS в итоге наверняка что-то кастомное 😅
TabFM - придумали foundation-модель для табличных данных (что? 😅), и она SOTA на TabArena. Не прошло и года, новый лидер
В отличие от привычных LightGBM, CatBoost или TabM, она работает в zero-shot режиме: для нового датасета не требуется обучение или подбор гиперпараметров, достаточно передать обучающие строки в качестве контекста. TabFM рассматривает задачу табличного ML как in-context learning. Вместо обучения под конкретный датасет обучающие строки передаются модели как контекст. Веса модели не обновляются - достаточно одного forward pass. Архитектура сочетает идеи TabPFN и TabICL: row/column attention, компрессию строк и transformer для in-context learning. Модель обучали на сотнях миллионов синтетических таблиц, ибо открытых данных мало. Из минусов - лицензия только для некоммерческого использования
Удивительно, но это действительно работает. Во всех моих экспериментах TabFM показал качество выше, чем бустинги, даже без какого-либо обучения под датасет. Причем на самом большом датасете контекст пришлось сократить из-за нехватки памяти, но TabFM все равно показала лучший результат.
Ниже - сравнение качества и времени работы. Время указано для GPU, без которого TabFM работал бы еще на пару порядков медленнее
AI-кофе с робо рукой: Чита - Москва 1:0 по внедрению ИИ 😎
Читать полностью…
Я проиграл Волендеморту 🤩
В мае проходило соревнование от Avito "ML CUP 2026" по предсказанию наиболее релевантных объявлений, с которыми пользователь проконтактирует. Казалось бы, обычный рексис: за несколько вечеров выделил, построить несколько бейзлайнов. Честно, не погружался сильно в задачу и метрику, которая оказалась хитрее, чем я думал. Там щедро залили данных на 40 гб, я попробовал базовые ALS (а надо было covisit + bm25, даже тут, aka item-to-item), эвристики, двухбашенные подходы и ранжирующие модельки (спойлер: работало все примерно одинаково и сильно отставало от топов).
Как рассказали победители, нужно было строить графовые (pixie и RP3Beta и упомянутые covisit) лидогенераторы, но да, ранжировать потом бустингом. Интересно, что полезно было для реранкера сделать поменьше кандидатов (с 10к до 5к). Про решения можно посмотреть тут
PS Причем тут Волендеморт, а он был в топе и я его не смог обойти 🫡
Интересный проект для вайбкодинга https://freebuff.com/ с бесплатными лимитами и без ограничений по токенам, действительно работает. На деле - 5 сессий по часу каждый день. Доступны DeepSeek и MiniMax. Сам сервис бережно говорит, что внутри ваш код не читает, но, как видно на скрине, живет за счет рекламы. Звучит интересно, но часовые сессии обрываются, и для чего-то долгого (например, обучения) им не воспользуешься.
Установка: npm install -g freebuff
Запуск: freebuff
Доступные модели (неплохие, но вы будете помогать их обучать):
- DeepSeek V4 Pro: smartest. Its API collects data for training.
- Kimi K2.6: balanced.
- DeepSeek V4 Flash: most efficient. Its API also collects data for training.
- MiniMax M2.7: fastest.
PS Написал письмо разработку с вопросом: Is it spyware or a trojan?
Интересное исследование от Стэнфорда
Найм сейчас проседает в первую очередь за счет джунов (entry-level позиций). Причем сильнее всего досталось разработке и клиентской поддержке, так как они проще всего поддаются автоматизации (похожие домены получаются 😁)
Russian Speech-To-Text
Cделал небольшой бенч как работают разные speech-to-text модели. Было интересно, придумали ли что-то лучше Whisper (он всё ещё хорош, и его легко развернуть). Но очень порадовали метрики и скорость работы GigaAM-RNNT и GigaAM-CTC (про них можно почитать тут). Но если тезисно CTC: Connectionist Temporal Classification - предсказывает один символ на каждый кадр аудио, потом жадный/beam search декодинг. А RNN-T: Recurrent Neural Network Transducer - авторегрессивная модель, генерирует токены последовательно с учетом контекста.
• GigaAM модели получилсь на порядок быстрее Whisper при сопоставимых метриках.
• А вот мультимодальные модели работают долго, и качество у них проседает: возможно, нужно использовать более жирные версии, но это уже вне рамок данного исследования
• Использованная версия qwen не знала русского, метрики грустные получились
✍️ Как бонус применить llm для постпроцесинга улучшает качество на очевидных ошибках
(WER - word error rate, CER - character error rate)
Хороший друг Никита Зелинский со школой ml inside запускает курс по AI-агентам для продактов: https://ai4products.mlinside.ru
Там про применение AI-агентов в продуктовых задачах: исследование рынка, конкурентов, анализ данных и тд. Ребята сильные, уверен что курс хороший 📈
Measuring LLM Sycophancy under Sustained Multi-Turn Pressure (arxiv)
Сложное название для простой идеи: что, если достаточно долго LLM убеждать в какой-то мысли, она согласится, и обычно надо до 25 шагов диалога. И для этого нужна умная моделька, а не такая, которая после 10 сообщений обрезает контекст. Для этого использовали другую LLM, которая очень по-разному пыталась изменить свою позицию. Причем deepseek V4 pro согласие достигает 92% к 25му шагу, и даже gpt 5.6 будет уже через 10-15 шагов соглашаться с половиной ошибочных тезисов
Звучит как первый ответ самый честный, и не нужно переубеждать
Feedback That Backfires arxiv
Контринтуитивный вывод в статье. Дефакто в harness-решениях в рамках react цикла при возникновении ошибок обычно ошибочный вызов кладут в контекст и говорят, что его нужно исправить. У авторов добавление такого контекста увеличивало вероятность повторной ошибки с 6% до 54% (эффект наблюдался на всех протестированных моделях, но это были небольшие модели, до 1,7B).
Причем в попытке выяснить почему оказалось, что сам факт видения похожей строки увеличивает вероятность ее повторения, а добавление информации о том, что она завершилась ошибкой, дает небольшой дополнительный эффект. Причем эффект наблюдается для всех исследованных типов ошибок.
Решение: нужно просто перефразировать ошибочное место. В больших моделях, предположительно, примерно с 38B эффект нивелируется, но это пока только их экстраполяция
Хотя в статье Outcome Monitors: Recovery Affordances for Silent Tool Failures предлагают в сообщение об ошибке добавлять информацию о том, как именно решить проблему через указание recovery tools. Тогда доля успешных решений растет с 10% до 28%.
Через подписку Cursor получил доступ к Grok боту, эдакому аналогу OpenClaw.
Казалось, что вряд ли он сможет удивить сильнее обычного чата. Но оказывается они дают под этого ассистента выделенную виртуалку: на ней 8 ядер, 16 ГБ RAM и еще 100 ГБ диска (можно ли там что-то хостить?)
Очень интересно, но сложно придумать юзкейсы. Когда попросил его найти интересные статьи для канала, он нашел ту, которая ставит под сомнение human-in-the-loop: якобы такой подход заставляет LLM чаще соглашаться с человеком там, где этого делать не нужно. Это произошло еще 31 августа.
Сегодня, когда сел ее почитать, оказалось, что статью уже отозвали и она больше не подтверждается еще с 1го сентября. А ведь мог бы и перепроверить 😒
+ Удивил что бот в виртуалке бот прямо читал мой канал. Магия 🧙♀️
Хотел почеленджить ребят на работе, что развернуть модельки просто. А именно попробовав серверные истории SGLang, vLLM или Triton. А вот от llama.cpp отказался, тк больше про локальный инференс, хотя через lm studio было бы легко
Но везде оказались свои подводные камни. И как итог, Qwen3.8-9B-GGUF (Q4/Q5) вообще плохо поддерживается vLLM. Патч под Qwen 3.5 от некого чувака, который 24 часа делал его на Fable, тоже не помог. Плюс были проблемы с CUDA DLL и ZMQ.
При этом исходные оригинальные веса зачастую требуют слишком много памяти, а квантованные, которые собирают сторонние люди, уже поддерживаются заметно хуже.
Потом попробовал Gemma 4 E4B (safetensors и QAT самые разные версии), но vLLM и SGLang тоже не завелись из-за проблем с совместимостью compressed-tensors и мультимодальными особенностям, спасибо еще heterogeneous attention head dimensions
PS qwen 3.8 27b локально это прогрев
Ouroboros теперь SOTA на Terminal Bench, OSWorld и CL-bench
Мой любимый агентный луп на чистом питоне доэволюционорал до состояния лучшего харнесса для кодинга! На главных бенчмарках он теперь обходит Codex, Claude code, Cursor и Hermes.
Выходит, что в рисёрче, в computer use, в работе через терминал и в задачах на кодинг — уроборос сейчас является лучшим агентом. Так что с этого момента всю разработку и исследования я веду только через уробороса.
Для полной воспроизводимости результатов. Весь код, скрипты, трейсы я выложил в открытый доступ.
Напоминаю: лицензия MIT. Так что спокойно ломайте, форкайте, проверяйте трейсы, пишите что я где наврал. И кидайте issues и PR-ы! Все постараемся с уроборосом принять😋
P.S. Кошмар какие дорогие агентные бенчи. Прогнать весь набор стоит как квартиру купить (это не шутка!!)
GitHub, Хабр, установочники
Придумали еще скилл, который создает скилл по книгам (Book-to-Skill - 10k ⭐️). По сути, зумеры заново изобрели оглавление.
Собрал такой скилл по книге "Братья Карамазовы" и спросил: что будет с AI? Ответ со смыслом:
Не к сознанию, как у Ивана, и не к святости, как у Алёши, а к институту опеки с лицом чуда. Пока свобода не станет дороже комфорта и явным выбором
- если главный KPI — снятие тревоги и принятие решений за человека → Великий инквизитор;
- если KPI — усиление свободы и ответственности конкретного человека → старец в миру.
Прикольно, что Cloudflare позволяет без регистрации за пару секунд поднять статический сайт - просто перекинув ZIP-архив.
А если зарегистрироваться, то уже можно бесплатно хостить небольшие проекты. Да, собственного домена не будет, но возможность управлять всем через API - мое уважение. Вот сделал инглишь реплику канала (но надо покупать доменное имя иначе сложности с dns)
Upd еще подсказывают что можно использовать для хостинга телеграмм ботов
Потестировал новый PageAgent от Alibaba
Это open-source браузерный AI-агент, который умеет самостоятельно работать с сайтами: понимать интерфейс, двигать курсор, кликать по элементам, вводить текст и выполнять многошаговые сценарии. Для быстрого старта разработчики уже предоставляют доступ к Qwen, так что ключик к api не нужен
Запускается очень просто, но если использовать версию по ссылке, то PageAgent.js рассчитан только на текущую страницу (SPA - Single Page Application). Для переходов между страницами нужен Chrome Extension, и лучше сразу использовать его, иначе при навигации теряется JS-контекст и агент забывает состояние.
Работает неплохо: мышкой двигает, тексты пишет. Ради эксперимента попросил выбрать кондиционер на Яндекс.Маркете. Самое забавное - он выбрал ровно ту же модель, что рекомендует AI Алиса в Маркете (хотя на это ушло заметно больше времени, и сам я в итоге выбрал другую модель).
В целом интересная история для автоматизации через браузер, особенно если нет нативных интеграций с нужным сервисом или готовых инструментов (tools). Но это долго и дорого и нужна API к LLM
Corporate Bullshit Receptivity Scale (2026г)
Статья исследует, почему часть людей воспринимает бессодержательные корпоративные формулировки (где много разных buzzwords) как значимые и умные, и предлагает инструмент для измерения этой склонности. Как итог более высокая восприимчивость к корпоративному bullshit связана с более низкими показателями аналитического мышления и когнитивной рефлексии. Все выводы конечно получены на основе корреляций, а впрочем 😁
NVIDIA DGX Spark vs Macbook
NVIDIA DGX Spark не прошло и года можно купить на wildberries, обойдётся в 500к+, например, тут (и его действительно привозят). Звучит неплохо, с учетом того, что там 128 ГБ объединенной памяти (unified memory), архитектура Blackwell и возможность запускать модели до 200B параметров локально.
Но за аналогичную стоимость можно взять MacBook Pro M4 Max (например, здесь), и памяти там будет столько же. Забавно только, что у Макбука скорость памяти в 2 раза выше (546 ГБ/с против 273 ГБ/с у NVIDIA) и по бенчам скорость тоже будет больше. Более того даже TDP у мака в два раза лучше (120W против 240W) 😁
Займись ничем 😐: система долгосрочной продуктивности
Достойная книга про пользу прокрастинации. Внутри:
• Метаисследования когнитивной нагрузки: Автор ссылается на разные исследования, которые показывают: что непрерывный фокус перегружает префронтальную кору
• Активация Default Mode Network (DMN): Если не думаешь над чем-то активно, мозг переключается в пассивный режим. В этом состоянии обработка накопленных данных и структурирование опыта идут интенсивнее, чем в активной фазе, - легче поймать инсайты. Немного противоречит п. 1, но ок
AI как coding agents, переписать письмо или помочь сделать аналитику или проверить какие то факты. А как насчет создания реальной добавленной стоимости 😅?
Последнее время использую chatgpt для готовки, начиная с 5й версии уже хорошо работает с граммовками и специями. Классно получился кимчи, или как додуматься пожарить редис и сделать radis sauté au beurre 👩🍳
Коллеги по работе написали интересную штуку, которая оборачивает HTTP-трафик через SSH на серваке. Удобно, например, чтобы получить веб-доступ к запущенному Claude коду
Преимущества websh:
– Не блочится в корпоративной сети
– Держит сессию даже при закрытии вкладки
– Легковесный
код и как запускать https://github.com/dolonet/websh