2684
Все о данных, ML, AI Founder LLM Arena. Ex-Founder TrainingData.Pro Окончил ВМК МГУ, 8 лет занимаюсь сбором и разметкой данных Контакты: @roman_kucev
⭐️ Новая арена и вклад в развитие сообщества
В этом году LLM Arena стала победителем на премии Generation AI Awards 2026 в номинации за вклад в развитие GenAi сообщества.
Мы пришли к давно уже созревшему решению — обновить арену, отказаться от Gradio и сделать ее более удобной под мобильные устройства.
Рады сообщить, что наконец-то начали тестирование на небольшой случайный процент юзеров в рамках которого вы можете попасть на https://llmarena.ru/?arena=v2, где непосредственно новый интерфейс. (переход по ссылке формально это сделает принудительно).
Кроме того, учитывая растущую активность пользователей, чему мы только рады, мы надеемся что новый формат будет для вас более комфортным. А поддержка разных параметров станет тем, чего многие возможно давно ждали.
Обо всех планах и изменениях расскажем чуть позже.
🔄 Прежняя арена доступна всегда — по кнопке в интерфейсе или по ссылке llmarena.ru/?arena=v1. Вопросы и ошибки из консоли браузера присылайте в чат: они действительно помогают.
Ездил в апреле в США в SF - там все обсуждали harness
Приехал на Саусхаб - снова harness, агенты, AI, автоматизация.
Если вы вдруг еще не знаете что такое harness, почему это нужно и важно - рекомендую почитать AI-DISRUPT PDLC
Всем привет!
Я уже много лет подряд организую на DataFest секцию Data Collection & Labeling — про данные, разметку, контроль качества и всё то, без чего AI на самом деле не работает.
Все говорят, что “LLM заменят разметку”, но по факту разметка не умирает — она превращается в новую инженерную дисциплину вокруг данных, качества и автоматизации.
В этом году я постарался собрать максимально прикладную программу: без воды, с реальными кейсами от сильных команд.
Пятница — офлайн в Лемана Тех
12:10 — Контроль качества CV-разметки (Яндекс)
12:40 — LegalEval: бенчмарк + Kaggle (Физтех)
13:10 — Как LLM снижает шум в разметке изображений (Яндекс)
13:40 — RL-инструмент для анализа контекстов (Яндекс)
Воскресенье — онлайн
12:00 — Как угодить заказчикам и почему этого мало (Тбанк)
12:30 — Аналитика платформы разметки (Тбанк)
13:00 — AI-разметчик и контроль качества авторазметки (Тбанк)
Если вы работаете с ML, LLM, CV, датасетами или AI-продуктами — заглядывайте. Мне кажется, получилась живая и полезная секция про то, как сегодня реально устроено производство данных для AI.
Вижу дичайший спрос у РФ компаний на Claude Code.
Уже помогли нескольким оплатить корпоративные подписки в рамках нашей услуги по оплате зарубежных сервисов.
Подскажите, пользуетесь ли вы у себя на работе Claude Code? Как работодатель оплачивает? Хочу понять на сколько большая боль сейчас по оплате и как ее решает бизнес.
Напоминаю, что сегодня в 18:00 у нас эфир!
Большой фокус хочу уделить ROI и целесообразности внедрения ИИ в бизнес.
Приходите, будет интересно.
Ссылка на трансляцию: тут!
Мне безумно зашел раздел “Analysis of LLM User Retention”. Делюсь инсайдами, которые почерпнул:
Почти у всех LLM быстрый churn, но иногда появляются foundational cohorts — ранние группы, которые удерживаются заметно лучше. Это значит, что для них случился устойчивый workload–model fit: модель впервые реально закрыла важную задачу, и её встраивают в пайплайны/процессы, из-за чего переключаться становится дорого.
Это описывается как эффект “Cinderella / Glass Slipper”: есть набор ценных нерешённых задач, и каждая новая frontier-модель «примеряется» к ним. Когда совпали требования по качеству/стоимости/стабильности — происходит “идеальная посадка” и возникает lock-in. Поэтому когортный retention — индикатор скачка возможностей и преимущества “first-to-solve”, но окно короткое: после догоняющих релизов такие когорты почти не формируются.
Еще занимательный факте: если модель провалилась, как, например, Llama 4 Maverick - у такой модели не будет сильных когорт вообще (не было “frontier-fit”). Поэтому и происходит LLM гонка - попытки выпустить frontier-модель, и за счет более долгого оттока ее окупить.
Какой все же интересный рынок развития LLM! По промкоду ROMAN дарю вам 200 руб на счет в моем сервисе VseLLM - русском аналоге OpenRouter.
Жесть, зарубежная LMArena привлекла второй раунд в $150M под оценку $1.7B.
Как думаете, под какую оценку мы в России можем в свою llmarena.ru привлечь инвестиции?
Перевод поста LMArena в Х:
Сегодня мы с радостью объявляем о привлечении 150 миллионов долларов в рамках раунда финансирования серии А при оценке компании в 1,7 миллиарда долларов — почти в 3 раза больше, чем в майском посевном раунде. С момента начала оценки в сентябре наш годовой объем потребления превысил 30 миллионов долларов.Читать полностью…
Наша миссия ясна: измерять и продвигать границы применения ИИ в реальном мире, обеспечивая разработчикам, исследователям, предприятиям и обычным пользователям возможность понимать, как ИИ ведет себя там, где это наиболее важно.
Раунд возглавили @Felicis и UC Investments (@UofCalifornia), при участии @a16z, @TheHouseFund, LDVP, @kleinerperkins, @lightspeedvp и @LaudeVentures. Это достижение отражает растущий консенсус в отрасли: ИИ не может масштабироваться ответственно без независимой, прозрачной и непрерывной оценки.
За последний год LMArena стала самой надежной в мире платформой для сообщества, позволяющей понять, как модели ИИ работают в реальных условиях. Поскольку ИИ охватывает миллиарды людей по всему миру, потребность в измерениях, основанных на реальном опыте, а не только на эталонных показателях, никогда не была столь актуальной.
Сегодня мы обслуживаем более 5 миллионов пользователей в месяц в 150 странах. Вместе наше сообщество ежемесячно генерирует более 60 миллионов диалогов, оценивая возможности и надежность моделей в текстовом, программном, графическом, видеоформате и поиске. Мы будем двигаться еще быстрее, чтобы создавать новые функции и улучшать пользовательский опыт, позволяя сообществу оценивать передовые достижения в области искусственного интеллекта.
Этот беспрецедентный уровень вовлеченности свидетельствует о фундаментальном сдвиге в ожиданиях: сегодня мир требует от ИИ измеримых, сопоставимых и подотчетных результатов.
Новое финансирование позволит нам значительно расширить масштабы наших инженерных разработок, исследований, работы платформы и инициатив, направленных на развитие сообщества, чтобы удовлетворить растущий глобальный спрос. При поддержке нашей команды, партнеров и глобального сообщества мы продолжим переосмысливать методы оценки и развития искусственного интеллекта — на пути к созданию самой надежной в мире платформы для оценки.
Один график из отчёта The State of AI in 2025 — и сразу понятно, где AI-агенты реально прижились.
McKinsey разложили по полочкам: кто именно (по профессиям) и в каких индустриях их использует.
Лучшее, что я видел на этой неделе.
Как перестать напевать эту песенку?😂😂😂
Сходил на интервью к девочкам из N айтишниц — рассказал, как стал заниматься разметкой данных, и поделился самой интересной историей с работы про роботов-пылесосов 😀
Читать полностью…
Ура, наконец получил видео с выступления на Conversations!
В докладе за 20 минут пояснил, почему бенчмарки лгут и как правильно оценивать LLM для бизнес-задач. Кстати, мой доклад стал лучшим по версии слушателей в техническом треке 🎉🎉🎉
В этом году Conversations снова пройдет 5 декабря в Москве. Вот что интересного для себя выделил в программе:
• LLM для слов, MCP для цифр: как можно оптимизировать экономику проектов с помощью MCP-серверов — Иван Четвериков, Raft
• AI-агенты ловят хакера: от экспертизы до моделей — Андрей Кузнецов, Positive Technologies
Я планирую пойти, кто тоже? Полную программу можно посмотреть на сайте. А еще организаторы дали промкод на скидку 10%: CVS25mDmR
Продолжаю тестировать Comet.
Как вы и просили: сделал прожарку ИИ браузера от Perplexity и дал самую интересную задачу - настроить проект по разметке в Яндекс.Заданиях.
Что из этого вышло, смотрите на видео!
0:00-0:51 постановка задачи
0:52-14:31 работа ИИ агента
14:33-16:05 разбор полетов, проверка
Рассказал про свое ощущение пузыря в LLM токенах.
Но мы не боимся и с vsellm.ru тоже влетаем в этот пузырь!
По промокоду SPECIALGIFT в @vsellm_bot дарим 500 руб на счет. А цены на GPT-4.1 и GPT-4.1-mini ниже опенроутера на 10%!
В пятницу проводим панельную дискуссию «Почему бенчмаркам нельзя верить»! Если вы будете на aiconf.ru, обязательно заходите!
P.S а опрос ниже поможет мне понять: это только у меня куха едет от кол-ва конференций в этом году или у всех так.
📈Рейтинги LLM теряют доверие
Наше исследование (21 июля — 10 августа 2025, практики и предприниматели в сфере ИИ) показало реальную картину: команды всё меньше ориентируются на абстрактные бенчмарки и всё чаще принимают решения через собственные тесты.
👀 Ключевые данные:
— 82,2% проводят собственные проверки и используют бенчмарки только как дополнительный сигнал.
— 26,7% принципиально не опираются на рейтинги.
— Лишь около 18% обращаются к агрегаторам по типу llmstats
Главные критерии выбора AI-решений для продуктов: качество + цена + скорость, устойчивость без галлюцинаций и совместимость с инфраструктурой
📄Отдельная ценность исследования — мы постарались отразить мнение участников рынка таким, какое оно есть: с аргументами «за» и «против», со скепсисом и практическими отзывами. Полный отчёт с графиками, аналитикой и комментариями уже доступен на сайте.
P.S. Огромная благодарность всем, кто помогал собирать данные для исследования, а также авторам и энтузиастам, помогающим его популязировать. Замечания по исследованию и предложения по будущим рисёрч-проектам можно оставить здесь.
Так, я не дурак 😀
Yupp сжег 33 ляма баксов и закрылся 😬😬😬
Что произошло: мы запустились в июне прошлого года, чтобы построить двусторонний маркетплейс для оценки AI-моделей: дать пользователям доступ к нескольким моделям и использовать это реальное взаимодействие, чтобы помогать AI-лабораториям оценивать свои модели. Мы привлекли более 1,3 млн пользователей и несколько лабораторий в качестве платящих клиентов, но не смогли достичь достаточно сильного product–market fit.Читать полностью…
Тем временем рынок быстро изменился. Модели становятся гораздо более способными, а пользовательские сценарии смещаются в сторону агентных систем: моделей, подключенных к инструментам, памяти и внешним сервисам, а не отдельных чат-ботов. В таком мире краудсорсинговая оценка моделей на уровне чат-ботов становится все менее критичной.
Лечу на Southub отмечать свой 31-й день рождения 🥳
Рейс задержали на 2 часа, нашел время зайти в галерею.
Год был крайне интересный и насыщенный:
- 2 поездки в США
- 2 купленных мотоцикла (да, кризис 30-ти такой)
- 2 месяца в Гоголь Скул на программе, которая сильно поменяла отношение к миру
- 2 поездки POLUBVI
- 2-е место у llmarena.ru на Gen AI Awards
- 20+ конференций
- х2 каждый месяц растет vsellm.ru последние пол года
Вместо умных мыслей и выводов - запечатленные моменты
🚜 Разметка данных — это новый трактор для экономики знаний
Есть ощущение, что мы сейчас смотрим на очень большой сдвиг, но пока не до конца его осознаём.
Раньше, чтобы человечество стало продуктивнее, нужно было, чтобы миллионы людей сами учились лучше пахать землю, лучше работать руками, лучше делать одно и то же действие.
Потом кто-то умный придумал трактор.
И внезапно стало не нужно, чтобы каждый фермер умел проектировать двигатель, собирать коробку передач и разбираться в металлургии.
Достаточно было, чтобы небольшая группа инженеров где-то в одном месте придумала и произвела трактор.
А дальше миллионы людей по всему миру просто научились им управлять — и их продуктивность выросла в десятки раз.
Мне кажется, с ИИ сейчас происходит примерно то же самое.
Раньше, чтобы человек научился программировать, анализировать данные, писать юридические документы, делать научные исследования или решать сложные инженерные задачи, ему нужно было самому пройти долгий путь:
• Годы обучения.
• Универ.
• Практика.
• Ошибки.
• Книги.
• Менторы.
• Опыт.
То есть знание распространялось через обучение каждого отдельного человека.
А теперь появляется новая схема.
Не нужно 5 миллионов PhD, чтобы 5 миллионов людей могли решать сложные задачи.
Достаточно найти 15–20 очень сильных экспертов, профессоров, олимпиадников, инженеров, врачей, юристов, аналитиков — и посадить их размечать самые сложные frontier-задачи для OpenAI, Anthropic, Google или других лабораторий.
Они показывают модели:
• как думать;
• как рассуждать;
• где ошибка;
• какой ответ лучше;
• как выглядит хорошее решение;
• как выглядит плохое решение;
• как эксперт принимает решение в сложной ситуации.
И дальше происходит магия.
Их знания не остаются внутри этих 15–20 людей.
Они дистиллируются в модель.
А потом эта модель попадает к миллионам пользователей по всему миру.
То есть разметка данных становится не просто “ручной работой для датасетов”.
Она становится трубой, через которую знания лучших людей планеты перетекают в массовый продукт.
Раньше знание масштабировалось через образование.
Теперь знание масштабируется через разметку данных и обучение моделей.
Это очень сильный сдвиг, а вы как считаете?
VseLLM | LLM Arena | AI Roman
Anthropic выкатили любопытный разбор “Detecting and preventing distillation attacks”
Они утверждают, что DeepSeek, Moonshot (Kimi) и MiniMax в промышленных масштабах «дистиллировали» Claude — то есть генерили ответы сильной модели и использовали их как обучающие данные для своих. По их оценке, было сгенерировано больше 16 млн диалогов через ~24 тыс. фрод-аккаунтов и прокси. Ключевая цель — самые дорогие навыки: reasoning, tool-use, coding, агентность.
Почему это вообще имеет смысл? Потому что это про экономику.
Если вы хотите получить сопоставимое качество данных «вручную», то вам нужны тысячи человеко-часов: разметка, сравнение ответов, рубрики, проверки, консистентность, контроль качества. Даже если очень грубо и дешево считать $1 за “качественную единицу разметки” (а для сложных задач это часто сильно выше), 16 млн единиц — это $16 млн. Если считать ближе к реальности пост-трейнинга (где люди реально думают, оценивают, спорят, прогоняют рубрики) — легко получается сотни миллионов долларов!
А синтетика от сильной модели превращает это в «копейки». Условно: не $1–$20, а $0.01 и ниже (в зависимости от длины ответов, модели и прайса/доступа). Тогда 16 млн — это $160k–$1.6 млн. То есть разница не “в два раза”, а на порядки: x50–x500+ по стоимости (и это без учета того, что синтетика ещё и масштабируется мгновенно).
Вот почему тема дистилляции такая токсичная: вы не просто «ускоряете обучение», вы переносите самый дорогой актив — “качество” — практически напрямую. И дальше уже вопрос не только бизнеса, но и контроля: сохранятся ли safeguards, как это влияет на экспортные ограничения и т.д.
Мой вывод простой: у фронтира главный дефицит — не только GPU, а качественный пост-трейнинг. И именно поэтому все будут либо защищаться от дистилляции, либо пытаться её делать.
Кстати, мы во VseLLM натренировались и научились генерировать синтетику не хуже китайцев.
Так что если интересно - пишите в ЛС 😉
В марте лечу на Snow BASE - кэмп в Красной Поляне для C-level в области AI и Data Science!
В преддверии кэмпа ребята предложили провести эфир и по самым насущным и актуальными темам в AI. И я, как любитель такой движухи, с радостью согласился. В следующий вторник в 18:00 буду снимать покровы с тематики GenAI.
Позвал:
— Валерий Ковальский, Head of AI в Red.Mad.Robot
— Александр Абрамов, Head of AI CoE во ВкусВилл
— Артур Самигуллин, руководитель Yandex AI Studio
— Александр Толмачев, CDO
Обсудим:
— Как считать реальную ценность AI-агентов и выбирать направления, которые дадут эффект
— Техники повышения надёжности: снижение галлюцинаций, scaffolding, caching, debate-подходы
— Честные кейсы и факапы внедрения GenAI — что сработало, что провалилось, сколько стоило
— Agent swarm и другие тренды: перспектива или хайп?
— Как вайбкодинг изменил процессы разработки, найма и структуру команд
Ссылка на трансляцию: тут!
⚡️ Анализируем исследование OpenRouter, вышедшее в декабре 2025 года.
В исследовании изучили 100 трлн токенов живого трафика через OpenRouter (300+ моделей, 60+ провайдеров, миллионы пользователей, данные до ноября 2025 года).
1. После выхода OpenAI o1 (декабрь 2024) индустрия дружно подсела на multi-step reasoning — думать “в несколько шагов” стало базовой потребностью.
• Reasoning-модели уже >50% всего трафика.
• xAI Grok Code Fast 1 вырвался на #1 по токенам в reasoning, обогнав Gemini 2.5 Pro и Flash. Хотя есть некий скепсис и впечатление, что цифры у Grok искусственно завышенные на OR.
2. Open Source: Китай + “средний класс” моделей
• DeepSeek + Qwen выросли с микродолей до примерно ~30% мирового объема токенов.
• И главное: OS перестал быть «одна семья правит всеми». Раньше тянул DeepSeek, теперь трафик размазан между DeepSeek / Qwen / Moonshot (Kimi) / GPT-OSS.
• Маленькие модели <15B в API теряют смысл и популярность. Побеждает “средний класс” 15B–70B — новый стандарт эффективности.
3. Кодинг — наконец-то серьезный рост
• Доля запросов по программированию выросла с 11% до ~50% всего объема токенов к концу 2025.
• Anthropic всё ещё король кодинга: Claude держит ~60% рынка платных код-запросов. Но OpenAI и MiniMax уже начали подъедать доли. (Хотя сами мы тут ставим и на Гемини, который на том же OR уже не первую неделю лидирует в «Программировании»).
• Кодинг — главная причина роста длины промптов. Контексты в коде в среднем в 3–4 раза длиннее, чем «обычные» задачи.
4. Roleplay — скрытый потенциал.
В мире Open Source 52% всех токенов тратится на... Ролплей.
• Люди используют открытые модели для создания персонажей и интерактивных историй, так как там меньше цензуры.
• Даже в китайских моделях ролплей занимает треть трафика, хотя там растет доля кодинга.
5. Эффект «Стеклянной туфельки» (The Glass Slipper Effect)
Авторы ввели крутой термин для удержания пользователей.
• Если модель первой «идеально решает» специфическую задачу юзера (надевается как туфелька Золушки), этот юзер остается с ней навсегда, даже если выходят модели новее.
• У DeepSeek обнаружен уникальный «Эффект бумеранга»: пользователи уходят пробовать новинки, но возвращаются обратно, поняв, что соотношение цена/качество у DeepSeek лучше.
6. Цена vs Качество
Рынок разделился на два лагеря:
• Efficient Giants: Дешево и много (Gemini Flash, DeepSeek). Здесь царствует закон Джевонса — снижение цены ведет к взрывному росту потребления.
• Premium Leaders: Дорого и качественно (Claude 3.7/4 Sonnet, GPT-5 Pro). Спрос здесь неэластичен: профи готовы платить любые деньги за топовое качество рассуждений.
Ключевые выводы McKinsey из отчета The State of AI in 2025 о применении AI агентов
1. Большинство организаций всё ещё находятся на стадии экспериментов или пилотных проектов: две трети респондентов говорят, что их организации пока не начали масштабировать ИИ на уровне всей компании.
2. Высокий интерес к ИИ-агентам: 62% участников опроса отмечают, что их организации как минимум экспериментируют с ИИ-агентами.
3. Позитивные ранние сигналы влияния ИИ: Респонденты сообщают о выгодах по отдельным сценариям применения — снижении затрат и росте выручки — и 64% говорят, что ИИ помогает инновациям.
4. Лидеры используют ИИ для роста, инноваций и снижения затрат: 80% респондентов говорят, что их компании ставят повышение эффективности целью ИИ-инициатив.
5. Перепроектирование рабочих процессов — ключевой фактор успеха: половина наиболее успешных компаний в ИИ намерена использовать ИИ для трансформации бизнеса, и большинство из них пересматривают рабочие процессы.
Цифры крутые! Но потом читаю юмористические посты
Вити Тарнавского /channel/singularityfm/375
Леши Хахунова /channel/aihappens/392
И складывается картинка как их внедряют😀😀😀
🔫 GenCode Mini Gallery Bench
LLM Arena совместно с Сергеем Курбановым (руководитель направления RnD в компании MWS) рады представить новый бенчмарк.
📈 LLM стремительно эволюционируют и выходят на уровень AGENT-поведения, где модели решают задачи от анализа данных до полноценной разработки. На этом фоне особенно интересно посмотреть на то, как модели в режиме реального времени справляются даже с такими, на первый взгляд, простыми задачами вёрстки.
GenCode Mini Bench не содержит выводов — только чистый эксперимент и результат работы моделей.
Да, это не совсем привычный бенчмарк, но надеемся, что вам понравится его формат. Кроме того, там подключена форма обратной связи, где вы можете прислать собственные промпты, а мы каждые 2 недели будем обновлять его содержимое.
Генерации обновляются каждые 6 часов, поэтому заглядываете периодически, чтобы посмотреть на результаты различных моделей.
❗️ Модели, используемые для генераций доступны по API на VSELLM
♾ Вкладка с бенчмарком доступна на https://llmarena.ru/ или напрямую по ссылке https://clocks.llmarena.ru/.
📸 Ждем вашего мнения и обратной связи.
Поделюсь обновлениями проекта VseLLM!
Кроме того, что это удобное единое окно API-доступа к различным передовым моделям (с ценами ниже Openrouter), теперь еще и наши юзеры получают бесплатный доступ к настроенному и готовому n8n-серверу. Достаточно иметь просто ключ с положительным балансом и запросить приглашение прямо в боте.
С нашей платформой и n8n можно быстро собирать собственные AI-пайплайны на стабильной платформе с высокой отказоустойчивостью.
Если вы работаете с LLM или автоматизацией — ошибкой будет не попробовать самому тут — /channel/vsellm_bot.
Но это прошлогодний доклад 🥲
За год ландшафт бенчмарков заметно изменился!
Если хотите узнать, как и на каких бенчах замеряются сейчас новые LLM модели — заходите во вторник в 11 на наш вебинар!
Расскажу про GPQA-Diamond, 𝜏-Bench, OSWorld и другие популярные бенчмарки. Регистрация тут.
Alignment ИИ: как научить машину быть безопасной
Современные языковые модели умеют писать код, сочинять стихи и отвечать на сложные вопросы. Но как гарантировать, что ИИ-помощник не создаст инструкцию по изготовлению взрывчатки или не начнёт давать опасные медицинские советы?
Мы попросили экспертов из Data Light и «Авито» рассказать об очищении данных и работе с "выравниванием" модели.
1️⃣ Как работать с данными? (Александр Громов, CBDO Data Light)
Современные опенсорс-датасеты вроде Common Crawl содержат миллиарды веб-страниц – и там есть всё: от научных статей до токсичных комментариев. Без качественной очистки модель впитает весь этот хаос. Основные этапы следующие:
▪️ Удаление дублей. Это многоступенчатый конвейер. Сначала приводят данные к единому виду. Затем чистят точные копии через криптографические хэши. Самый трудный этап – поиск семантических дублей, переписанных разными словами текстов. Здесь используют векторные представления.
▪️ Поиск токсичности. Классификаторы на основе решений вроде fastText, быстро находят явные проблемы, также работают модераторы.
▪️ Синтетические данные. Берут сильную модель-учителя, генерируют пары «опасный запрос → безопасный отказ», применяют Constitutional AI (самостоятельная оценка ответов). Долю синтетики держат ограниченной – обычно не больше 20-30%, иначе модель переобучается на собственные шаблоны.
▪️ Визуальные данные. Используют специальные детекторы, создают "цифровые отпечатки" изображений и видео, извлекают текст из мемов и скриншотов. разметчиков.
2️⃣ Выравнивание модели (Анастасия Рысьмятова, руководитель разработки LLM в «Авито»)
“Сырая" модель ведёт себя непредсказуемо. Alignment – это искусство научить модель "хотеть" то же, что хотим мы.
▪️ Первый этап – SFT (Supervised Fine-tuning). Модель учится на тщательно подготовленных кураторских диалогах "человек-ИИ", где показаны примеры правильного поведения.
Для масштабирования процесса также используют автоматизированную генерацию диалогов, когда одна модель играет роль пользователя, другая – ассистента. Доменные эксперты проверяют фактическую точность, специалисты по безопасности контролируют соблюдение принципов.
➖ Мы также применяем DPO (обучение на парах плохих-хороших ответов). Используем датасет из 40 тысяч небезопасных запросов разного уровня. Для оценки создали специальные бенчмарки безопасности, в которых судьёй выступает другая модель (оценивает провокации и попытки джейлбрейка).
▪️ Второй этап — RFHL (обучение с обратной связью от человека). На основе человеческих предпочтений обучают отдельную модель-судью. Финальный этап – научить основную модель зарабатывать своими ответами высокие баллы.
Если оценка судьи высокая – внутренние настройки модели слегка подкручивают в сторону такого стиля ответов. При этом добавляют штраф за сильное отклонение от изначального поведения, чтобы модель оставалась "похожей на себя".
➖ Альтернатива — Constitutional AI. Дать модели явный список правил и научить самостоятельно оценивать свои ответы. Процесс выглядит так: модель генерирует ответ, критикует его согласно встроенным принципам и переписывает. При конфликте принципов используют иерархию с заранее определенными приоритетами.
❓ Главная дилемма alignment'а: как сделать модель максимально полезной, не жертвуя безопасностью? Для этого применяется контекстная модерация. Технология задаёт разные уровни строгости — от условно детского до профессионального. Ответ строится соответствующе, без совсем глупой цензуры и отказа от ответов.
@anti_agi
🚀 Вакансия в VseLLM — Middle Python Backend Developer
Привет! Мы команда VseLLM — авторы LLM Arena, самого популярного бенчмарка нейросетей в России.
Недавно запустили наш новый продукт — vsellm.ru — удобный доступ ко всем ИИ без прокси и VPN.
Сейчас расширяемся и ищем бэкенд-разработчика уровня Middle, который поможет нам развивать:
• Админку vsellm.ru
• Telegram-бота @vsellm_bot
🧩 Мы ожидаем
• Опыт Python 3+ лет
• Знание FastAPI, PostgreSQL
• Умение проектировать системы и писать тесты
• Опыт с Docker / Docker Compose
• Бонусом будет опыт разработки Telegram-ботов и работа с Kubernetes
⚙️ Условия
• Удалёнка и гибкий график
• Можно part-time (от 20 часов в неделю)
• Минимум бюрократии, максимум влияния на продукт
• Оплата — по договорённости, обсуждается индивидуально
📨 Хочешь присоединиться?
Отправь CV → @roman_kucev
Всем привет! Хочу анонсировать бета-запуск нашего нового проекта VseLLM!🥳
Вместе с командой LLM Arena мы решили собрать информацию про все LLM в одном месте: какие модели доступны у российских провайдеров, сколько стоит использование, скорость и пропускная способность, и другая прикладная информация для интеграции моделей в ваши проекты.
❗️Помимо агрегатора данных о LLM мы делаем единый API-доступ: через один ключ можно работать и с ChatGPT, и с Гигачатом. На текущий момент доступно 20 моделей. Всё это — с оплатой в рублях и закрывающими документами для юрлиц.
Как это устроено:
— У каждой модели есть основная версия с SLA на уровне 99%+ за счет прямых подключений (минимум сбоев, SLA высокого уровня, рекомендовано для задач, где важна максимальная стабильность и высокий отклик).
— Дополнительно для некоторых моделей доступны noSLA версии — более гибкий SLA из альтернативных каналов (~95% доступности), при этом качество работы моделей остаётся на том же уровне при более низкой цене.
Мы открываем бета-тестирование и дарим 500 ₽ по промокоду SPECIALGIFT на баланс первым пользователям.
Хочешь попробовать? Забирай свой API-ключ в @vsellm_bot.
Чтобы избежать накруток, можем запросить дополнительные данные для модерации перед начислением бонуса
Дал Анфисе небольшое интервью, рассказал как AI помогает в реальной жизни.
С Анфисой знаком уже много лет, в своё время я почти проинвестировал в ее 18+ компанию feelpurpur.com, но это уже совсем другая история🙃
В последний месяц активно изучал рынок использования API LLM, а рынка не оказалось😢
Если кратко, то в РФ есть 3 типа клиентов:
1. Большой бизнес. Это огромные компании (Сибур, Русал, РЖД и т.д) с выручкой 10+ миллиардов рублей. Вижу, как эти компании активно внедряют LLM и GenAI в свой бизнес, но девиз у них "все on-prem, все внутри контура". Причины: безопасники не разрешают, слишком большие риски утечки данных.
2. Малый бизнес. Это шаурмичные, салоны красоты, небольшие конторы численностью до 100 человек. При внедрении LLM собственник в первую очередь смотрит на оптимизацию прибыли, а не на риски. Поэтому в ход идут n8n, AI тг боты, а для инференса юзают зарубежный openrouter.ai, и чхали они на штрафы за трансграничную передачу перс. данных.
3. И остается небольшая прослойка среднего бизнеса. Они не такие большие, чтобы закупать на десятки миллионов рублей свои стойки с GPU и платить девопсу 500к в месяц. Но и не такие маленькие, чтобы творить что угодно и не следовать законам. Их выбор — облака. В основном используют Сloud.ru, да Yandex Cloud.
Вот и весь рынок🤷♂️
Но я верю, что спрос на LLM в РФ будет сильно расти. Только посмотрите, какие иксы сделал openrouter.ai за последний год по использованию. А вы как считаете?