1288
Про AI, LLM, агентов, продукты и людей
Decision Models - моя любовь. Мне кажется, что все в мире AI ждали чего-то похожего. Идея настолько простая и элегантная, но как же долго к ней шли.
Это похоже на ровно тот самый кубик, который можно по взрослому тащить в прод и который может поменять архитектуру и процессы разработки некоторой части софта. Потому что по факту мы постоянно принимаем маленькие решения, и если они будут делаться с близким к 100% качеству за <100мс и стоить две копеечки - это же космос что можно будет строить на этой базе.
Вчера ночью сделал бенчмарк, чтобы замерить все известные на момент сейчас модельки и по итогу дропнул статью.
Все детали тут, максимально рекомендую:
https://habr.com/ru/articles/1092000/
Я про бэкенд: как устроен поиск в кодовых агентах и почему это важно
Зафиналили доклад! В субботу на крутой конфе буду рассказывать важную для сердца любого вайбкодера тему - как устроен поиск в кодовых агентах.
Забавный факт: я выступал почти на всех крупных AI-конференциях (IT-конференциях, как сказали бы доэйайные динозавры), делаю это несколько раз в год и у меня нету ни одного повторяющегося доклада. Есть такие чуваки, которые с одной и той же темой гастролируют по конфам, меняют пару слайдов и делают вид, что это ок. Наверное, с точки зрения энергоресурсосбережения это неплохо, но я так не умею и каждый раз, когда соглашаюсь выступать - сижу ночами прокручиваю смыслы как трансформер матрички и спрашиваю себя ну зачем ты опять это сделал. Вот че тебе не сиделось-то, а? Конечно, что-то из прошлых докладов и мыслетоплива в процессе переиспользуется, но все равно это каждый раз как в первый раз и сборка с нуля.
А потом ты собираешь что-то, делаешь прогоны с крутыми ребятами, впитываешь фидбэк, репетируешь несколько раз сам. И потом получается что-то прикольное. Ну, знаете этот инженерный восторг, когда что-то получилось завелось и оно даже прикольное?
В этот раз, как и всегда, все будет именно так.
P.S.: забавный фан-факт про эту конфу - в прошлом году я подслушал за соседним столом чуваки долго разговаривали про кэш - ну типа, он растет и это проблема, кэш-мисс лучше сразу в графану выводить - дада, лучше прогревать, но после того, как один спросил "причем тут вообще gpu?" я понял, что часть говорила про классический, а другая про KV - но всем было ок и без этой мелкой детали 🥲
Приходите послушать.
Я про бэкенд
3 октября 2026
Connect, г. Москва 5-й Донской пр., 17
ВАЙБКОДИНГ, ИТОГИ
всем доброго утра и идеальной рабочей недели (и сбросов лимитов 🕺)
Пост конференций и полезных ссылок
Конфы - я люблю. Послеживаю за расписанием на сайтике ebench - актуальность там оч хорошая.
Что будет в ближайшее время и где буду я:
Завтра будет Practical ML Conf от Яндекса - флагманская конфа про ML/AI. Конфу обожаю, это высочайший уровень организации во всем. 2 года назад я выступал в главном зале в прайм-тайм - рассказывал про то, как мы первые в РФ попробовали готовить и размечать данные через ллмки. Тогда это встречало умеренный скептицизм, сегодня так делают все. Там точно будет супер круто (хотя два года назад там вдруг резко закончилась еда, но я был в спикерской и там было очень по царски; но больше себе такого они не позволяли и в прошлом году был просто пищевой рай), но я на конфе в этот раз не буду, увы, у меня семейный праздник 🕺
24 сентября будет большая конфа Yandex Scale. Я на ней не буду (много работки), но зная масштаб, могу предположить, что будет очень круто и не назвать ее было бы неправильно.
3 октября выступаю на еще одной конфе от Яндекса - Я про бэкенд. Мне очень нравится эта конфа из-за ̶п̶а̶э̶л̶ь̶и̶ ̶с̶ ̶к̶р̶е̶в̶е̶т̶к̶а̶м̶и̶ очень удачного позиционирования - это не чистокровный ML со всякими grpo и видами аттеншенов, и не классический бэкенд, а про то, как их правильно соединять вместе, такой в хорошем смысле миддлвер. Перефразируя в шутку известный мем - "никогда не спрашивай бэкендера про энкодер с декодером, а млщика про то как поскейлить его модели". Здесь - решат и то и то! Начальник конфы очень хорошо подкрутил мой доклад, поэтому точно будет круто, приходите 👾
20 октября будет конфа от Онтико с говорящим названием "AI Native Conf" - про то, как меняется наша работа под воздействием AI. Будем искать вопросы на ответы о внедрении, агентном кодинге, построении харнессов и том, что же такое на самом деле AI First и AI Native. У этой конфы я в программном комитете, знаю внутрянку и то, какие баталии были про почти каждый отобранный доклад. Будет круто!
30 ноября и 1 декабря - культовый большой Highload++, где я теперь тоже в ПК по AI и где сам тоже буду выступать - рассказывать про внутренности кодинговых агентов.
+ вчера была Сберовская AI R&D Day, но она была вчера, а я работал, поэтому можно дождаться докладов оттуда, поэтому просто тегну главного по мл-хардкору там и паблик их команды
P.S.: рекламы нет, все только по любви ❤️
Про deep tech night
Конфа крутая! Собственно, как все tech-конфы Яндекса. Организация во всех смыслах топовая (на неработающее приложение, из-за которого я пропустил иммерсивную экскурсию, можно закрыть глаза). Очень крутой вайб, а экстраполису - гораздо круче быть развернутым во всю стену, нежели как обычно 😄
Однажды меня случайно занесло на чисто бизнесовую Я-конфу, и вот там-то я взгрустул, потому что со сцены спикеры со всей страны рассказывали про бороздящие космические просторы, а в кулуарах на вопросы о минимальных деталях под капотом отвечали «ой ну надо у наших инженеров спросить». Но без технички умудрялись насыпать такого, что хотелось восклицать «да что ж ты п%здишь-то» 🤣 Но там это привычная атмосфера 💼🕶️
А здесь - все было хорошо! Мы обязательно встретимся!
(для масштаба все фотки на 0.5)
Когда все-таки приехал в офис на встречу государственной важности, а там…
(кручу назад, потому что вперед накрутился, а из переговорок вид круче - прям на башни сити)
Кстати, езжу я обычно вот как на фотке 🤩🤩И мой любимый «индекс приоткрытых ноутбуков» в общественных местах не просто низкий, он равен нулю. Люди что, не знают про агентов?? 🤩
Сейчас немалую часть времени я живу за городом, и у этого бесконечное количество плюсов, но последние три недели появился совсем жирный минус.
Это внезапно - KV-кэш! 🤩
Я сейчас всё объясню.
Когда я отдыхал на Карибах на Maho Beach (это пляж в 5 метрах от аэропорта с самым низким заходом на посадку больших самолетов в мире) я в своем тревел-бложике писал, что мне нравится просыпаться от звука моторов над головой. В 2026 году могу сказать, что надо быть поточнее в своих желаниях 🤩🙂
От того, что вокруг летает всякое разное, здесь, хоть это и ближайшее Подмосковье в 50 мин езды от центра, периодически глушат не просто связь, а ВСЁ. Звонки, смски от банков, мобильный интернет целиком, а недавно начали пороть даже проводной интернет - причем самым неприятным способом, например, подавляя лишь часть трафика UDP случайным образом. Не работает периодически, волнами, с нулевым пониманием когда это случится и когда отпустит.
С тем, что пропадает доступ (или целиком надолго отваливается) к AI-инструментам, можно справляться следующим образом: правильнее формировать приоритеты, писать хорошие спеки/PRD и пускать /goal (здоровья и счастливой жизни тем, кто это придумал и зарелизил!) в tmux на своем барике или квм. Работает как родное!
Но мой харнесс настроен таким образом, что после goal-задач (или просто продолжительных), он делает глубокий рекап - и детально расписывает что сделал, почему так, какие решения принял, что увидел по дорожке и так далее. Я все это внимательно читаю, и потом где-то возникают доделки, вопросики или уточнения.
И вот тут-то и вылезает KV-проблема. Как мы прекрасно знаем, любая ллмка - стейтлесс, а то, что она понимает продолжающийся диалог - держится на пересылке ей всей истории каждый раз. Это было бы очень дорого, если бы не KV, который каждый раз кэшит уже отправленную часть, поэтому при отправке новой фразы мы получаем кэш-хит, фактически платим только за нее и это стоит нам дешево.
Но чтобы случился кэш-хит, нам надо чтобы этот кэш был. А живет он очень непродолжительное время. Гораздо меньшее, чем успевает восстановиться тот самый коннект, который периодически отваливается 🥹 И получается, что у меня есть несколько сессий на 400-500k токенов, мне в них надо что-то немножко поправить, но дальше случается вот что:
• 500k токенов
- пишу новое сообщение
- оно не долетает и уходит в ретрай
- когда долетает ретрай - кэша уже нет и чарджат по полной стоимости
- ответ начинает генериться, но я не успеваю получить потому что связь пропадает снова, все снова уходит в ретрай
- ретрай снова влетает в кэш-мисс
....
Please wait for your weekly limit reset.
Вот это прям по настоящему бесит! 🤣🤣 Ну а в остальном - AI Agents At Work и Show Must Go On!
С пятницей! 👍🤩🤩
Агенты, терпение и презентации директорам
Агентов сейчас делают все. Проблема тут в том, что между этими "агентами" часто лежит инженерная пропасть: у одних - эвалы, скиллы, оптимизации kv-кэша и хорошее понимание лупов и тд, другие до сих пор кидают zip с документами в ллмку (реальный случай), получают ничего и потом жалуются начальству, что "им бы claude, без него не заведется, тогда-то заживем!".
Но по факту снаружи - и там и там агенты. И там и там - "ну, конечно у нас агенты, ребята занимаются".
И вот эту пропасть часто средним и большим начальникам объяснять сложно, ведь у них уже есть агенты. Причем забавно, что это не объяснишь именно средним-большим начальникам: обычному директору по чему-нибудь или человеку с должностью CPO или даже CTO. Самые большие боссы (если там не самодур, что тоже часто бывает) при этом могут понимать ллмки и процесс получше многих инженеров.
Есть главный лайфхак: если не просят, то и не надо 💁
Если тебе хвастаются мультиагентной системой (или просят такую сделать), которая раскладывает почту по простым правилам, и не спрашивают при этом твоего мнения про архитектуру/целеполагание - да и не надо его высказывать. Даже если там полная херня и даже если ты будешь чертовски прав, а они нет. Это никому не нужно, никому ничего не докажешь, а людей придется расстроить. Это никто не любит.
У меня есть любимый пример: к нам пришли за АГЕНТОМ, чтобы он наконец-то убрал очень старую боль по небольшой задаче юристов. По факту там завелись подряд 15+ регулярок, но это "решение" у них получило кодовое имя "AI-агента".
- У вас есть AI-агенты?
- Дада, у нас уже во всю работает, мы довольны
Это был первый в мире AI-АГЕНТ, который работает вообще без ллмки! 🤩
Если вы говорите с человеком на другом уровне понимания, а человек не пытается разобраться и не челленджит конкретным функционалом и требованиями, просто окните и все. Боль ушла? Ушла. Все довольны? Все. Агент? Агент! 🥹🦾🤖
В корпоративной библиотеке Сберуниверситета нашел вот такой клад 🔥🚀
Надо брать!
Последний пост был написан больше месяца назад - и это потому что я...отдыхал 🤩👍
Отпуск в 3 недели это страшная штука - с одной стороны ты токенмаксишь по полной с пивасиком на море, с другой - после выхода сразу пришлось нырнуть в работку, подзабив на канал. Крутого контента - вагон, отписываться рано! 🤙
Исправляюсь 🫡
Краткий пост про вечное - про OCR или по-простому - распознавание документов. Мне казалось, что этот вопрос давно решен, но оказалось, что нет - в мире слишком много упоротых и абсолютно проклятых сканов и фоточек самых странных документов.
Для построения хорошего OCR есть два подхода - классика и VLM (то есть, vision-ллмка). Оба подхода хороши, но механизмы работы у них разные и оттого природа ошибок - тоже.
Классический OCR обычно разделяет задачу на несколько этапов: предобработка, поиск областей текста, выделение строк и распознавание последовательности символов. На последней стадии движок преобразует изображение строки в последовательность символов, опираясь прежде всего на их визуальную форму. Любой символ (типа буквы "А") - это на самом деле абстракция, у которой есть конкретное написание в разных шрифтах, и вот конкретное написание, состоящее из разных черточек-палочек, называется глифом. l, 1 и I, а также 0 и О - могут быть слабоотличимы в разных шрифтах, и движок распределяет вероятность между несколькими похожими вариантами.
И главный плюс OCR - он говорит, "бро, я тут вижу плохо". Вокруг этого появилась куча всего - словари, эвристики, координаты и многое другое. Но главный принцип - классика не понимает документ, а аккуратно его замеряет и оцифровывает. Дальше - сами.
У VLMки механика совершенно другая.
Изображение превращается в сетку патчей, каждый из которых кодируется в вектор — визуальный токен. Для трансформера слово и кусок изображения - объекты одного типа. Все эти патчики отправляются в трансформер и вот здесь благодаря механизму внимания открывается самая большая магия.
Когда мы дописываем промпт "посмотри в шапку документа", то это может сузить задачу и модель действительно может справиться с этим лучше. При этом, на выходе по-прежнему генерация - а значит, вероятностное распределение того, что МОЖЕТ здесь быть. Как следствие - периодическая уверенная ложь, которую не отличить от правды.
Если попытаться свести к выводу, то:
- OCR не видит документ в привычном понимании, он в первую очередь считывает визуальные признаки текста и выдает локальную уверенность в результате
- VLM "видит" документ целиком - может учитывать раскладку, структуру, соседние поля и смысл - но ей не всегда хватает силенок увидеть все идеально. А когда чего-то не увидит - МОЖЕТ исказить реальность ̶т̶.̶е̶.̶ ̶н̶а̶п̶и̶з̶д̶и̶т̶ ̶к̶а̶к̶ ̶л̶ю̶б̶а̶я̶ ̶л̶л̶м̶к̶а̶. И это главная проблема VLM в распознавании документов - ее уверенность не отвечает на вопрос "насколько хорошо документ был обработан".
Ну а в реальной жизни - из-за разной природы ошибок, они отлично дополняют друг друга в сложных пайплайнах. VLM разбирает структуру документа и находит нужные поля, а OCR дополнительно за ней перепроверяет все критичное 👍🤩🤩
Привет! Еду в Питер, чтобы завтра с утра выступать на Saint Highload++ с докладом про AI-команды будущего и необходимые для них навыки. Упахался готовиться, должно получиться хорошо.
Хайлод для меня - культовая конференция.
Во-первых, за все время ее существования я оттуда почерпнул массу крутейшей инфы из выступлений, планочка для них очень высокая. Во-вторых, эта конференция совсем не про доклады - она про концентрацию очень умных людей в одном месте, где самое интересное рождается после докладов в кулуарах, в техно холиварах и в классных знакомствах.
Да, очень многое теперь можно достать из ллмок, но ни одна ллмка не заменит тот инженерный непередаваемый вайб в воздухе, который случается, когда заряженные люди собираются обсуждать технологии. Пока я готовился, я понял что из моего доклада при желании можно собрать 5-6 отдельных на самые разные темы вокруг AI. И я безумно рад, что любимый Highload становится площадкой, где такой опыт можно обсуждать с теми, кто на самом фронтире нового технологического уклада.
Санкт-Петербург, 22-23 июня, будет круто!
(я 22ого в 11:40 в зеленом зале)
https://highload.ru/spb/2026/abstracts/18292
И еще одна важная вещь. Как вы знаете, я поехавший на агентах. Но есть отдельный их вид, который требует к себе ещё больше пристального внимания - агенты для кодинга. Революция с кодом уже прошла - это, кажется, уже очевидно, но как именно будет происходить трансформация всех других процессов вокруг и что с этим делать - пока не знает никто.
Но команда, сделавшая Highload, пытается разобраться и в этом и предоставляет новую площадку, посвященную исключительно AI в разработке. Это новая конфа - Agentic Dev Conf, на которой будем обсуждать всё - метрики, экономку, роли разработчиков, выстраивание процессов и всю внутрянку агентологии. Я в программном комитете и могу заверить, что будет очень круто - холивар и зарубы из-за взглядов на процессы возникают даже на внутренних созвонах ПК для отбора докладов.
MCP или скиллы? Hermes или не очень? Codex ВСЁ? Пачечка мак мини или облака? Как теперь денежки-то считать?
Если волнует будущее наших профессий, то лучше быть, потому что будем все горячо обсуждать вживую!
3 июля, Москва, Лофт Холл
https://agenticdevconf.ru
Участвую в формировании повесточки, буду там сам, вообщем - горячо рекомендую! 🔥
Сегодня выступаю на ДатаФесте в Сбере - буду рассказывать как мы сделали агента для понимания данных - первый агентизированный шаг к семантическому слою и хорошо работающей AI-first аналитике 🤙
Расскажу про агентиков и как оно устроено, как мы этл все сделали (понятно как 🤖). с̶л̶ё̶з̶ы̶ ̶в̶о̶с̶т̶о̶р̶г̶а̶ ̶C̶D̶O̶ ̶-̶ ̶в̶ ̶п̶о̶д̶а̶р̶о̶к̶
16:30, главный зал - приходите, если тут, ну и трансляция имеется
Провел стрим на тему "Как выбрать LLM для приложения или AI-агента"
Я постоянно сталкиваюсь с вопросами какую же ллмку себе выбрать и как именно. Постарался впихнуть наиболее частые ответы и в целом максимум структурированной инфы в видосик на час с небольшим. Вышло, на мой вкус, очень неплохо.
В видосике - про свою инфру, народный кластер, характеристики моделей, что общего у контекстного окна и алкоголя, квантизацию, целеполагание, ну и итоговый чеклист, конечно.
Рекомендую. Приятного просмотра!
https://www.youtube.com/watch?v=IYfEd_nIfGM
Ушла эпоха 🤩
13 октября 2012 года я арендовал себе свой первый bare metall хостить маленький сайтик, вообще не понимая какую махину я себе арендовал, что это вообще такое и зачем. Это была рабочая лошадка, которой с запасом хватило на следующий 10+ лет и которая беспрекословно вывозила любую нагрузку всех моих пет-проектов и экспериментов с чем угодно.
За это время с ним чего только не происходило - горели диски, память, отказывали все компоненты по частям. Потом были мягкие апгрейды железок - докидывалось немного тут и там. За это время через этот барик прошла, наверное, половина техрадара всего интернета - если мне надо было что-то поизучать, будь это либа для плюсов или миникубер, то я разворачивался там и тыкал, или же если нужно было поднять новый проектик на сокетах на новой нодежс или что-то еще.
За это время на нем накопилось столько всего, что я уже несколько лет хотел переехать на другой - потому что технологии беспощадны, новые поколения железа быстрее - там больше ядер, скорости и всего, они за меньшую стоимость выдают буст в 2-3 раза просто за счет своего существования.
Но меня безумно тяготило, что нужно разворачивать несколько проектов на совершенно разных стеках, большинство из которых было сделано в додокерную эпоху, вот эти все конфиги, чарты, базы, кроны, нжинксы с уникорнами и прочей радостью. У одного только вот этого проекта было 230гб офлайн-карт. По прикидам переезд не мог занять никак меньше недели полного погружения ̶а̶ ̶з̶а̶ ̶н̶е̶д̶е̶л̶ю̶ ̶в̶ ̶A̶I̶ ̶в̶с̶е̶ ̶м̶е̶н̶я̶е̶т̶с̶я̶ ̶и̶ ̶я̶ ̶в̶с̶е̶ ̶п̶р̶о̶п̶у̶щ̶у̶ ̶(̶ш̶у̶т̶к̶а̶)̶
На этих выходных я заказал новый барик, подключился, установил claude code, попросил прокинуть ssh ключ на тот хост, дальше просто "тут rsync всей папки", "забери вот этот конфиг", "развернись на поддомене", "забери базу и конвертни ее попутно в utf8mb" и тд. Два вечера на лайте с перерывом на посидеть у костра, три бутылочки бельгийского пива, и все готово🍺 Он сам ходил с одного хоста на другой, чекал дифф чего надо, устанавливал зависимости типа конкретной версии ffmpeg, изолировал проекты, сам создал unix юзеров под каждый проект, раскидал прав и ВООБЩЕ СДЕЛАЛ ВСЕ. Я писал командочки и потом менял A-записи.
Мир изменился. Я безвозвратно потушил свой любимый сервачок - ушла эпоха не просто моего барика, ушла эпоха вот этого низкоуровнего ВСЕГО. Тебе не нужно полвечера читать про lua, чтобы написать хитрый перехват-обработчик в nginx, это теперь вопрос одной минуты и 1 команды. И так - со всем.
При этом, вокруг все еще полно людей, который не верят и не хотят верить в то, что сейчас происходит. Да этот ваш AI галлюцинировывает, да это стохастический попугай, да это вообще и не интеллект вовсе и вообще сначала докажи мне, а потом я, может быть, соглашусь. После этого переезда я просто больше не буду спорить с этими людьми - не работает, окей, не просите потом отзыв после поездки оставить 🥹🤣
Могу за них лишь поднять бокальчик - не чокаясь и не сочувствуя, всем остальным - добро пожаловать в новый мир 🤩👍
💁♂️ Это просто перевод
Я сделал достаточно много переводов различных статей на хабре и там регулярно прилетает несколько минусов или даже комментов, что это "всего лишь перевод". Казалось бы, иди просто дальше, но нет. И, мне кажется, это супер классная тема для отдельного поста.
Задача перевода подарила нам архитектуру трансформера, при этом сам перевод является отличным прокси-примером на весь AI.
У нас у всех есть кнопочка автоперевода для всех типов контента и качества этой кнопочки хватает для большинства быстрых задач. По условной аналогии с Канеманом, у нас есть быстрый контент и медленный контент: первый мы потребляем автоматически и нам его абсолютно достаточно. В первый год после выхода ChatGPT в видео-переводах он часто переводился как "чичипт". Это было забавно, но этого хватало, чтобы послушать интервью, все понять и тем самым решить задачу - тут все ок.
Но есть как бы медленный контент, который мы потребляем по другому и где нюансов слишком много и автоперевод превращается в карикатурный. Игра слов, непереводимые или устоявшиеся термины, культурные различия и много всякого разного, что руинит смысл или даже повышает когнитивную нагрузку от прочтения.
Я говорю, пишу и думаю на русском, весь мой трейсинг и внутренний ризонинг происходят на русском, и несмотря на то, что с английским у меня нет никаких проблем, статьи на английском я читаю гораздо медленнее и откладываю их на дольше, поэтому наличие хорошего перевода меня всегда радует. Читать оригинал техрепорта квена без погружения сложно, но читать его в автопереводе невозможно в принципе, потому что конструкции вида "off‑policy sequence masking when they reuse rollout data" превращаются в бебебе мумуму.
Чем проще задача перевода сводится к общечеловеческой, тем лучше она закрывается автопереводом. Но сериальчик мы лучше посмотрим от профессиональной студии озвучки, а комментировать футбол любимой команды лучше тому, кто знает наш менталитет.
И так везде про весь AI. У нас у всех профессиональные камеры в руках, но на важное событие мы позовем фотографа с большим фотоаппаратом, у нас есть дорогие и оочень умные роботы-пылесосы (которые на самом деле такие тупые, что даже хуже алисы), но все равно иногда хочется заказать клининг, побазарить за анализы можно и с клодом, но если он что-то найдет, то только дорогой врач и без вариантов.
AI заберет всю работу, которую можно свести к общечеловеческой, но нюансы и специфика вообще беспощадны, к ним он тоже будет подбираться, но на несколько порядков медленее. А "просто перевод" - он вообще нифига не "просто" 🤩
Почему grep все еще с нами и 50 лет эволюции поиска по коду
Опубликовал статью "50 лет эволюции поиска по коду: что под капотом кодинговых агентов". В ней про grep, AST, LSP, нграммы и многое другое. Про все то, что придумывалось для того, чтобы найти нужный код. Название буквальное: статья не про устройство поиска сейчас (про это будет доклад завтра), а про то, чем этот поиск делается - какие есть алгоритмы, подходы и технологии.
Когда я первый раз увидел grep в трейсах Claude Code и затем их CTO сказал, что они вообще отказались от векторного поиска (который последние пару лет казался чем-то неприкосновенным), мне захотелось раскопать эту идею глубже и собрать всё в одном месте. Я потратил несколько суток на ресерч, но все так и осталось драфтом.
Уже больше полугода я никак не мог собраться и добить эту статью. Потому что сначала хотелось рассказать про самые кишки каждого подхода, и добавить в том числе как тупиковые ветки развития (их было много и там много интересных решений), так и что-то крутое специфичное и нишевое (но пока не взлетевшее на олимп, типа биграмного fff с горячим файловым индексом и mcp), но получался монстр-текст, который никто точно не будет читать.
Поэтому я собрал некий happy path в том смысле, что каждая из перечисленных технологий жива и с нами до сих пор. Потратил сегодняшнюю ночь, но все зафиналил (вот что делается, когда надо поставить куар в доклад, лол).
Читается легко, пользы вагон, поэтому - рекомендую.
Ожидаю штук 8 типичных для себя на хабре дизлайков "потому что текст похож на сгенерированный" (если я начну писать все нейронкой и считать людей за дебилов - отписывайтесь! я написал тысячу постов про путешествиия еще до этих наших элэлэмок), "реклама" (если мне кто захочет заплатить за это - я возьму, но пока увы), "личная неприязнь" (лол!) и мое любимое - "ничего не понял из написанного"
https://habr.com/ru/articles/1089460/
На прошлой неделе я написал огроомный обзор на Jev, основанный на двух часах интервью их СЕО и изучении их же кукбука.
Модель влетела в хайптрейн западного AI мира не просто так - во-первых, у нее реально крутая философия создания. Во-вторых, красивый API. А в третьих, и это самое главное, мы ее уже попробовали и несмотря на то, что в ее обучении почти только английский язык, генерализация у нее очень хорошая. Оно работает!
При первом взгляде можно подумать, что это всего лишь "классификатор". Но даже если так, обычно все энкодерные классификаторы не очень хорошо генерализуются и потому затачиваются под конкретную задачу. Но на самом деле, вокруг нас сплошная классификация - мы постоянно принимаем небольшие решения о классификации и ллмки подходят под это не очень хорошо. Потому что даже если взять тупо харнесс - нам постоянно надо принимать небольшие решения, например, вызывать жирную модель или можно полегче? А задача сложная или нет? Три сабагента или последовательно?
И ответы на эти микро-решения мы получаем от огромного ллм-монстра, который одновременно и рецепт жареного апельсина подскажет, и поможет пересобрать как карбюратор, ядро линукса, так и себя на ретрит. И вообще, ллмки проектировались как интерфейс к человеку, а не к к машине.
Именно эта поляна - маленькие микро-решения между машина-машина и есть поляна, которую пытается окучивать Jev. Принимать такие решения очень быстро, прогнозируемо и встраеваемо куда угодно. И даже если сама Jev исчезнет через 2 года, в индустрии появилось красивое инженерное направление, которое, я уверен, будет развиваться, потому что это очень болит.
И повторюсь - оно работает! Вот просто работает, очень точно и с латенси за океан в 300ms.
Горячо рекомендую.
https://habr.com/ru/articles/1085450/
Вторая часть истории про сквоттинг - нелегальная
Есть у меня один небольшой проект, на который идет трастовый органический трафик - не очень много, но он коммерческий (потенциально приводящий к покупке чего-либо), а значит дорогой. Чистая органика. В прошлом году он резко просел - ну, причин для проседания коммерческого трафика за последние несколько лет было не то чтобы сильно мало, но что-то было не то. Немного покопавшись, видимых причин все же не нашлось.
Но кое-что все-таки было. Раз в какое-то время проект в мониторинге отлетал по OOM - на своем барике, где это было физически невозможно. Покопавшись в истории запросов, я списал это на активность ботов AI-лаб (если вы смотрели аксес-логи какого-нибудь контент проекта, то их просто выпылесашивают боты клода/чатгпт/разных китайцев). Потом мне надо было что-то сделать - достаточно объемное, агентик это сделал и написал в рекап тра та та, сделал все что надо, вот так и так, бэкдор не трогал.
БЭКДОР НЕ ТРОГАЛ???? В итоге оказалось, что сайтик (на самом деле весь барик с проектами на нем) давно и безнадежно был взломан из-за одной давно необновляемой панельки управления тачкой от хостера. Интерес привлек именно этот проект - видимо, из-за коммерческого трафика. Отдав агентику всю графанку с прометеусами и всем чем только можно, было выяснено что через веб той панельки на хост закинули исполняемый бинарь, через который открывался доступ по ssh, а дальше полное раздолье - были прочеканы все платежные креды (их не было), а затем в один из проектов внедрили гениально-ублюдочную вещь.
Это был небольшой кусочек кода, который очень хорошо определял ботов поисковых (гугла/яндекса/бинг и тд) и ботов AI-лаб, и ТОЛЬКО ДЛЯ НИХ вешал на сайт баннер какого-то говноказино. То есть, обычные посетители ничего не видели, но как только заходил какой-то из ботов - он видел что мой сайт донатит траст непонятной помойке.
Собственно, просадка была именно из-за этого. Страшная вещь, которую вообще почти невозможно поймать.
Причем здесь агенты?
Во-первых, сам взлом - можно обстрелять хост обычными сканнерами уязвимостей, сгрузить репорт в фронтирную ллмку и она обязательно подскажет угол атаки, а при должном умении может и сама все проделать.
Во-вторых, вот эта схема - агенты хорошо понимают код, и такое можно делать автоматом - пылесосить креды и вставлять непонятные баннерки в самые укромные уголки кода.
Ты можешь заказать себе аудит фронтирной моделью, а тебя может атаковать модель поколения N+1 или специально подкрученная под поиск ЛЮБЫХ уязвимостей ЛЮБОГО СОФТА (а что-нибудь да найдется).
Мир, где можно было подзабить на небезопасный метод апи или случайно оставленные 766 на папку "потому что так побыстрее будет" - заканчивается, и это будет очень интересно.
P.S.: ну а фотка сегодняшняя из "переговорки принятия Больших Решений" (она же файлом в первом комменте, если захочется позалипать) 😄
А теперь хотелось бы поговорить про важное в эпоху дизрапта разработки продуктов: про сквоттинг.
Сквоттинг - это самовольный захват "свободных" зданий теми, кто не является их владельцем. Часто это заброшки, которые возникают по разным причинам человеческой жизнедеятельности.
В моей глубоко обожаемой Латинской Америке сквоттинг очень популярное явление (что в Аргентине особо больно потому что сквотят красоту) и чтобы с ним бороться правительство даже блокирует входы и выходы зданий, чтобы их невозможно было занять. Потому что когда люди заселились - их не выгнать, потому что уже некуда. В юарском Йоханнесбурге местные мне показывали многоэтажки, которые угоняли у застройщиков целиком - это такой прям бизнес, когда опасные гангста угоняют чужой по паспорту дом и начинают распоряжаться им как своим и сдавать легальным съемщикам.
Причем здесь AI и агенты, могли бы спросить вы?
У скоттинга есть цифровой аналог - кибер-сквотинг, и который начинался ровно тем же, что и обычный. Но в итоге пошёл сильно дальше.
Расскажу историю первую.
Когда-то давно я сделал приложение для обоих мобилок про офлайн-карты - я попал в реальную боль и потому на него быстро полился органический трафик. За год я собрал примерно 100k скачиваний чисто на органике, но в какой-то момент понял, что юнит-экономика проекта беспощадно требует либо привлечения инвесторских денег для LTV, либо просто оставить все это без поддержки и наслаждаться прилетающими мини-выплатами на оплату сервака и немного пивка сверху.
Я забил на проект на пару лет, он просто крутился на серваке, потом случился ковид (кто-то помнит что это?), и я окончательно выкинул проект из memory. Прилетел счет на оплату домена, но я уже забил - кому он теперь был нужен.
Потом спустя несколько лет случились ллмки. Мне показалось свежей идея обновить аппку, и тут я обнаружил сквоттинг - домен, на который тогда лился трафик и который был лендингом и названием проекта - угнали. Ровно в тот момент, когда я забил на счет оплаты домена, на него не забил кто-то другой, кто внимательно его отслеживал. Это называется "drop-catching" или по крестьянски - перехват освобождающегося домена под выкуп.
Теперь у меня есть аппка, но нет домена. Киберскоттеры внимательно забирают все, что забрасывается, только делают это моментально. И их тоже не выпиздишь просто так - нужно договариваться, и часто чек на таких договорах перебивает все затраты на сквоттинг до него. Я знавал одного сквоттера в ру-домене - у него в жизни было все замечательно.
Если трафика не очень много или его сложно монетизировать (как с моей аппкой) - домен просто бесконечно продлевается пока владелец или кто-то не придут договариваться о его выкупе. Если трафик легкий - там поднимает аналогичный проект. Подмены из пользователей никто не ощущает.
Сейчас в эпоху агентов сквоттеры получили супер крутые инструменты, чтобы делать то, что они делают, но круче на пару порядков. Пылесосить домены, поднимать копии проектов, подкинуть сверху рекламного трафика и подавлять подзапущенные или набирающие популярность оригиналы. В эпоху агентов сквоттеры могут выкупить все самые интересные имена под любые продукты - и это огромная продуктовая проблема.
Что мы делаем, чтобы придумать название нового проекта? Правильно, идём в чатгпт/клода/гемини и перебираем варианты. Угадайте, кто ещё так делает? И почему найти нормальный домен для проекта становится все сложнее?
Благодаря агентам можно не просто анализировать взлетающий спрос на что-то, но и автоматом обмазывать возрастающие стартапы похожими именами и под них же мимикрировать, подливать на них трафик, поднимать копии проектов и долго паразитировать на этом. С агентами это теперь не стоит почти ничего и это уже делается.
А вторая история - про сквотинг и прямой взлом, но ее - чуть попозже!
P.S.: на фото - великолепный Буэнос-Айрес, я про него писал тут и тут. Если наберется 20 ноготочков в реакциях, то позволю себе посты только про свои путешествия (а я облетел весь мир и написал больше тысячи постов про это, но сюда писать про это стесняюсь🤩)
Это я еду на «главную tech-конференцию Яндекса» (они сами в рекламе так писали) deep tech night. Она только по приглашениям, но меня позвали, и я в деле 😎
На конфу еду - правда, но фотка старая - сегодня как и всегда агенты пашут как не в себя, но в tmux+goal, поэтому можно будет спокойно покурить кальянчик и поесть паэльи на крутом мероприятии 😄
А если нет паэльи и кальянов, то зачем тогда ехать? Доклады чтоли слушать? 🧐
Это шутейка, конечно. Доклады бывают оч крутые! Один из таких крутых докладов я готовлю сейчас - для другой конфы Яндекса, которая называется «Я про бэкенд». Готовлю красоту про устройство поиска в кодовых агентах и планируется разъёб очень интересно. Бесплатно и без смс, паэлья в прошлый раз была!
У Яндекса, к слову, мероприятия очень крутые, 2 из 3 моих любимых - яндексовые. Посмотрим, что будет сегодня. Если в реакциях наберется 5 дельфинчиков - поделаю фоток внутри диптехнайта 🐳
Стартуем неделю с крутейшей темы: глубокий разбор того, как работает текстовый вотермарк в Claude и ллмках вообще 🤩
Написал (тире перевел статью от Себастьяна Рашки) на тему того, как под капотом работает вотермаркинг контента. Упахался 🥹 Честно говоря, когда я про такое услышал год назад, мне показалось что это нереально. Но нет, великие умы придумали красивое и элегантное инженерное решение.
Если кратко, то работает оно вот так:
В текстах полно взаимозаменяемых слов: во фразе «завтра первый день осени и это грустно» вместо «грустно» модель с почти равной вероятностью могла бы поставить «тоскливо» или «печально» или целый набор нецензурных аналогов👺 - для читающего смысл не меняется.
Вотермаркинг делает выбор между такими равнозначными вариантами не чисто случайным, а подкрученным секретным ключом. И благодаря ему же потом можно сделать детекцию - без вызова ллмки.
Но я очень рекомендую прочитать (форвардить и шарить!) целиком статью, вотермаркинг скоро будет, судя по всему, у всех фронтирный моделей 🤩🤩
https://habr.com/ru/articles/1076018/
Сегодня пятница, но вечером и на выходных мы будем делать то же, что с блеском делаем каждый день после ноября 2025 года 😄
Читать полностью…
Про сам СберУниверситет. Он крутой!
На самом деле, в этой библиотеке из предыдущего поста немалое количество классных книг на самые разные тематики. И всё сделано ну очень приятно.
Книжечки - лишь маленькая часть огромной махины под названием СберУниверситет - корпоративного университета Сбера. Я был в нем однажды на курсе по лидерству, а сейчас два дня читал лекцию про агентов для топ-менеджмента одного из дивизионов.
Университет прямо хорош: потрясающе красивый, все очень круто, атмосфера такого, как бы, курорта, но в то же время за каждым из столиков не потягивают мохито, а обсуждают какие-то дела по бизнесу, фасилитации с финтехами, эйяй и что-то про менеджмент. В ощущении курортности, конечно, сыграла свою роль погода, но все равно.
Шведский столик, за завтраком все уже обсуждают дела, какие-то встречи, созвончики и вот это все. Номера чистые аккуратные, есть басик и многое для спортактивности, но ландшафтный дизайн заслуживает просто космической оценки (как владелец загородного поместья, знаю как это дорого и требовательно) - за ландшафтку снимаю шляпу 🎩🌳
Но вот контент на курсе так себе - кто-то из спикеров путает дистилляцию и прунинг или считает, что в мире всего 6 фундаментальных моделей, у кого-то просто зашкаливающее самомнение или устаревший контент. Собственно, подправлять его меня и вызвали. Справился! 🤙
Киллер фичи и безумный восторг
Две главные AI-лабы планеты делают какой-то космос: сначала нужна была очень умная модель, и как только она появилась, developer experience начал меняться с какой-то космической скоростью. Фича последних дней - полное погружение при сложном выборе и сборка вариантов налету.
Вы делаете фичу Х, но в процессе ваш харнесс понимает, что можно сделать это тремя разными вариантами - с разным UX и разной архитектурой. И как оно реально будет лучше - да вот вообще непонятно.
"А давай я просто соберу тебе это все в UI вместо текста?" - вжух - у нас отдельно собранная страница с каждым собранным интерактивным вариантом на потыкать. Вот верстка, вот варианты кнопочек, вот нотис на ошибке вылетает. Сидишь, тыкаешь, понимаешь что воооот этот вариант хорош, но надо еще докрутить.
Возвращаешься, говоришь хочу вариант Б, добавь только вот такую штуку и погнали. 10 минут и все готово.
Не знаю как вас, но я каждый день получаю огромное удовольствие от тех инструментов, которыми мы сейчас обладаем. Перетряхивает все стандартные процессы, но меня как забрало, так и не отпускает. Каждый день! Бесконечная эйфория и бесконечные возможности 🤩👍🤩
Смотрел вчера подкаст с Джейсеном Хуангом - хотелось понять железячный вайб и состояние дел, а кто как не глава Nvidia знает это лучше всех. Дослушав где-то под середину, я уже хотел выключить и послушать что-то более интересное, как в какой-то момент произнесли слово "Китай" и вечер перестал быть томным. Честно говоря, не помню интервью топ-уровня, в котором в прямом эфире начался чуть ли не срач из-за разных пониманий и взглядов на ситуацию. Даже если срежиссировано, то прям свежо 😀
Самое важное: Хуанг подтверждает, что игла зависимости и суперсила Nvidia не в железе как таковом, а во всех слоях вокруг - весь ML стек последних 10+ лет намертво завязан на стек Nvidia. Из-за cuda, из-за того что в любом облаке железо Nvidia, миллионы инженерочасов потрачены на обучение и обсуждение стека Nvidia на форумах, внутренних документах, легаси-кодах и тд. Сколько карьер и состояний сколочено именно на Nvidia, этот маховик просто так не остановить просто более эффективным TPU.
Проблема не в том, что никто не может сделать новое железо - есть как минимум несколько крупных игроков, кто может и даже сделал, проблема в том чтобы попереписать весь остальной низкоуровневый стек, переучить всех инженеров и построить дата-центров. Хуанг всячески пытается доказать, что запрещать поставки железа Nvidia в Китай недальновидно - все это форсирует развитие всех остальных слоев. А пока железо едет - show must go on - все остальные слои стека намертво завязаны на американские технологии и можно пылесосить кадры в том числе.
Три цитаты, которые особенно зашли:
- Наша цель - превращать электричество в токены
- Мы хотим делать ровно то, что нужно и как можно меньше
- Ты разговариваешь не с тем, кто родился неудачником 🤩
Горячо рекомендовать не готов, но про железо - хорошо:
https://www.youtube.com/watch?v=Hrbq66XqtCo
P.S.: смотреть как индус и китаец обсуждают как "снова сделать НАШУ Америку великой" - это, конечно, уникальное комбо самого великого котла человеческих судеб и талантов под названием USA 😀
"LLMка вызвала инструмент". Нет, не вызывала 🤩🪚
Мы ежедневно употребляем фразы про вызов тулов ллмками, но по факту это лишь инженерная абстракция, давайте разбираться почему 🤔
Шаг 1: инъекция тулов в промпт
Модель ничего не вызывает, у LLM нет рантайма, она не ходит в сеть и даже не исполняет код. Единственное, что она умеет (и этого хватило для AI-революции) - предсказывать следующий токен. Тулы - это просто текст в контексте: раннер движка инференса собирает описания инструментов и кладет их в промпт. Для самой модели "системное описание тулов" не является какой-то сущностью и ничем не отличается от "привет, как дела?" - все это тот же самый тензор input_ids.
Шаг 2: попадание в "нужный режим"
А вот способность "вызвать тул" - результат файнтюна, а не архитектуры. Чтобы модель умела такое делать - ее специально обучают на примерах таких диалогов. То есть, собирают обучающий пример "контекст->задача->вызов тула->результат". Скормив модели тысячи таких диалогов, мы добиваемся, что она статистически выучивает закономерность: при наличии <tools> в контексте и подходящем запросе высоковероятны токены вызова, а не какой-либо текст.
И здесь есть важный момент про гарантию правильности всей схемы. Есть вариант доверия - мы просто ждем от модели, что она вернет правильную схему вызова тула, но здесь начинаются галлюцинации, битый json и прочие нерадости. Вариант так себе.
Второй вариант - насильное ограничение, именуемое так же "constrained decoding". В этом подходе на каждом шаге сэмплинга выбираются только подходящие под грамматику токены, а логиты, ведущие в невалидное состояние, обнуляются до -inf еще до софтмакса и json schema инструмента компилируется в автомат, который на каждом шаге допускает только валидные продолжения. Условно, если мы ожидаем закрытие кавычки, то модель физически не может выдать что-то другое.
Шаг 3: момент остановки
Модель генерирует вызовы и в какой-то момент ей надо остановиться. И это так же делается через stop-токен (условный "<|tool_call_end|>"), после которого декодирование завершается. Инференс-раннер должен это распознать и прекратить генерацию, то есть мы просто сгенерировали моделью блочок с намерением что-то вызвать, а дальше все передается на слой выше.
Шаг 4: оркестратор выполняет тул
Раннер выполняет намерение, получает результат, а затем просто точно так же весь вывод подает в модель. С точки зрения модели, здесь нет никакого "вызова" функции, она видит текст намерения, потом текст результата, а затем продолжает только то, что умеет хорошо - предсказывает следующий токен.
Здесь есть важный нюанс. Каждый тул-кол - это новый префилл - результаты добавляются в конец контекста и его надо прогонять через все слои. KV-cache предыдущих токенов переиспользуется, но новые токены результат требуют полноценного префилла для дельты - а значит чем короче будет ответ тула (и сам диалог перед ним!), тем лучше.
Ну вот и все!
Поэтому фраза "LLM вызвала инструмент" на самом расшифровывается так: модель, дообученная на соответствующих траекториях, сгенерировала и, возможно, под жестким контролем грамматики — последовательность токенов, похожую на структурированный вызов; затем выдала стоп-токен; затем внешний оркестратор распарсил эти токены, нашел реальную функцию, исполнил ее и закинул результат обратно в контекст новой пачкой токенов.
Но мы, конечно, будем продолжать говорить как говорили 🤩🙂
Вчера вышла OpenAI Privacy Filter - локальная опенсорсная моделька, которая ищет и маскирует персональные данные. Сделал бенчик на русском и обзор архитектуры. На русской синтетике у них в репорте все неплохо, а в жизни - беда. Но, к слову, они открыто пишут, что под себя ее стоит файнтюнить (я пока нет, но штука интересная, потестю).
Но как феномен - локальная 1.5B MoEшка, которая работает на любом чайнике без GPU, быстрая и специализированная под конкретную задачу, которая упакована в cli - кажется, это наше ближайшее будущее, которое окажет нормальное такое влияние на архитектуру наших агентиков и систем.
https://habr.com/ru/articles/1027266/
Стрррррраайк! 🤩
Вчера забанили мой 200$ акк. Когда банят разовые, то пропускаешь мимо себя, а здесь был хороший качественный акк с историей в полтора года платной подписки. Но claude -p не щадит никого! Пришлось рефлексировать 🤔
Поделал выводы как с этим жить на хабре, приятного чтения 🤗
https://habr.com/ru/articles/1021936/
Сделал перевод статьи про устройство кодинг-агентов от Себастьна Рашки, чьи статьи и обзоры я очень люблю. Для тех кто уже протер до дыр исходники клод кода нового ничего не будет, но как стартовая статья, на которую можно сослаться, чтобы самому не объяснять про харнесс и почему в консольке все круче, чем в чатике - хорошо.
Приятного чтения!
Как кодинг-агенты используют инструменты, память и контекст репозитория, чтобы писать код лучше
https://habr.com/ru/articles/1021168/