-
Интересное про технологии и не только Для связи: @slokyton
Знакомьтесь, FRIDA. Или про то, как мы лучший ru embedder делали.
Секрет успеха кратко:
1. Языковой трансфер знаний и расширение ru-en пары, как в rosberta.
2. Contrastive pretrain, по стопам bge/e5 и др. Сетик, кстати, выложили.
3. Contrastive fune-tuning. Ну тут по классике.
4. Больше префиксов: 6 против 3 у ru-en-rosberta.
Читаем, образовываемся, качаем и радуемся.
https://habr.com/ru/companies/sberdevices/articles/909924/
OpenAI Codex - по ощущениям похоже на Deep Research в своих проектах
Подключаешь к Github, даешь доступ к проекту и запускаешь задачи. И оно что-то там крутит и копошится, примерно как o1 pro / Deep Research. Только вместо поиска в сети оно работает с кодом в контейнере - запускает утилиты и пытается прогонять тесты (если они есть). Цепочку рассуждений можно проверить.
По результатам - создает Pull Request с изменениями, который можно просмотреть и отправить обратно в Github.
Потенциально выглядит весьма интересно. Deep Research и планировщику OpenAI я доверяю. А тут прямо можно поставить в очередь ряд задач и переключиться на другие дела.
Ваш, @llm_under_hood 🤗
Nathan! (n8n) лоcallьная связка vLLM + SO + API tools работает отлично на 7b модели с 9 навыками, но масштабирование требует более гибкого решения чем ручная настройка через Claude и это боль
Большую часть времени потратил на написание и стабилизацию роутинга на базе LLM (работает!)
3-ю неделю продолжаю мучать локальные модели на предмет агентского workflow в связке vLLM + SO + API tool по http реквестам
Да, вышло добротно теперь у агента на 7b модельке есть целых 9! навыков
Теперь умеет:
1) Просто поболтать
2) Сходить в интернет
3) Найти погоду по названию города
4) Найти что-то в RAG
5) Прислать календарь
6) Поставить встречу в календарь
7) Гуглить по картинкам
8) Ходить в RAG и искать по картинкам
9) Может описать картинку
И всё это на одном ПК (4090+3090) звучит достигаемо
Но всё ещё такой системе не хватает быстрого масштабирования
Да, я завязался на SO + генерацию json + его парсинг
Роутинг работает, он иногда ошибается в интентах, но проблема в том, что я недостаточно чётко прописал фью-шоты внутри tool
Проблема таких инструментов для workflow в одном если я хочу прыгать по таким решениям как
Тут мне нравится xgrammar
Тут мне нравится outlines
А тут я вообще подключил кастомный бэк, который скачивает записи звонков из Zoom
Тут я подключил VL модель
Или вообще взял и замутил касмтоную схему с CoT
И как я не старался ни одна из стандартных нод мне этого не дала (пришлось писать на js да в n8n нет python он в бэте)
Каждый чих заставляет меня идти в интерфейс к Claude и грузить туда скрины, как выглядит схема
Брать контекст кода предыдущих нод
Объяснять, что же за логику я хочу реализовать, попутно загружая как в n8n работает обращение к типам и данным
В целом, если бы сейчас я сел делать такое же, но копию сделал бы за день,
но это не масштабируется
Пошёл копать, есть ли "адекватный коннект Cursor к n8n" — на текущий момент нашёл крохи (назревают полезные мысли)
PS
Из крутого обучил системного аналитика за сутки собирать таких же агентов на базе локальных моделей
Сезонные тренды на запросы к чат-LLM
Выгрузил 16к запросов в неавторизированной зоне к gpt-4o-mini
Academia лидирует в запросах к LLM (3641 из 16к за 2 дня), но не спешите создавать образовательные AI-продукты
Раскопав глубже, я увидел скучную реальность — большинство запросов примитивны: "решить задачу", "ответить на тест", "проверить домашку"
Студенты не ищут инновационные образовательные платформы нужен самый короткий путь: сфотографировал → загрузил → получил ответ еще и бесплатно в нашем сервисе gptdaisy.com можно это сделать без регистрации
И уже существующие функции форматирования в markdown и LaTeX закрывают их базовые потребности
Стоит ли бежать в эту сферу? Сомнительно.
Я оцениваю что пользователям не нужен специализированный инструмент им достаточно прямого доступа к LLM с минимальной обработкой результата
Вместо создания нового продукта, рациональнее улучшить существующие боты: оптимизировать распознавание учебных задач и ускорить получение ответов
Что подтверждает органический рост наших текущих чат-LLM без особых усилий и инвестиций
Аналитика подтверждает скучную истину: инновации не всегда нужны, когда пользователя устраивает простое и работающее решение
PS: кстати аналитику сделал на базе qwen2.5.-7b-instruct(t-lite) огонь! На двух 4090 заняло 11к секунд
LLM от Antropic сама решает когда пойти в интернет!
По моим тестам добавили возможность анализа есть ли знания внутри LLM и если нет она сама идет через tool искать знания в интернете
Для меня фича новая если было то извеняйте!
Но работает действительно лучше! Скипаю этап поиска и скармливания документации!
Смотрите чё выпало из недр моей тумбы, тогда мне точно было не до AI
Аж олдскулы свело на моменте покупки рингтонов через sms
UI-Browser LLM automation песочница для автоматизация браузера на базе LLM
Давно обещал вылить свой форк тут показывал прошлые наработки browser-use-web-ui да еще и в одном из чатов попросили
Все внутри просто
docker compose up -d
Почему я считаю, что RAG это call?
Пару часов назад Александр на своем канале Dealer AI снова обратил внимание на RAG-системы с точки зрения важности тестирования и оценки метрик до внедрения указанных систем в продакшен.
Я полностью разделяю эту точку зрения и всегда прошу заказчиков, по возможности, предоставлять хотя бы общий тестовый датасет, на базе которого можно будет выполнить предварительную оценку точности работы проекта и произвести его тонкую настройку до публичного релиза.
Как-то раз общался с заказчиком по одному проекту и пытался объяснить ему важность предварительного сбора бенчмарков для оценки качества системы. Логика у меня была простая: если предположим, некая RAG-система состоит из трёх последовательных звеньев (эмбеддер, ретривер, LLM), каждое из которых имеет точность, скажем, 90%, то интуитивно кажется, что и общая точность будет примерно на том же уровне. Однако на самом деле всё сложнее.
Согласно теории надёжности, в последовательных системах ошибки наследуются, и итоговая точность определяется перемножением точностей всех звеньев. Если каждый из трёх модулей даёт точность 90% (0.9), то реальная точность системы будет равна:
0.9 = 0.9
0.9 * 0.9 ≈ 0.81 (81%)
0.9 * 0.9 * 0.9 ≈ 0.729 (72.9%)
0.9 * 0.9 * 0.9 * 0.9 ≈ 0.656 (65.6%)
0.99 * 0.9 * 0.7 ≈ 0.623 (62.3%)
Smart Platform - наша on-premise RAG платформа
Врываюсь с двух ног почти готовым релизом нашего внутреннего продукта (а за плечами 7 месяцев исследований реальных интеграций и разработки)!
Нет ничего приятнее рабочих якорей (ссылок на источники, которые подсвечивают информацию, использовавшуюся при ответе LLM), которые показаны на нативной интеграции с Confluence в закрытом контуре
И еще больше кайфую, что это уже работает не только в теории, но и на наших внутренних тестах на демо стенде!
Всё на моделях до 10b (LLM), а значит, сервер для корпоративного RAG начинает стоить адекватных денег
Целая цепочка router-агентов и долгий путь изучения лучших подходов и фреймворков для Q&A и диалоговых RAG-систем для закрытого контура
За всеми апдейтами по продукту предлагаю следить тут в канале нашего CPO Леши Жданова
Почему бизнес уходит от универсальных AI-решений к мультиагентным системам
Подключить LLM, загрузить базу знаний, настроить поиск по документам — кажется, что этого достаточно. Но на практике сложные запросы выходят из контекста, ответы размываются, а вместо решений система предлагает «посмотреть документацию». Там, где бизнес ждёт точности и конкретики — универсальный AI не справляется.
Вместе с руководителем направления искусственного интеллекта в red_mad_robot Валерой Ковальским разбираем, как мультиагентная архитектура закрывает эти пробелы: помогает обрабатывать сложные запросы, снижает нагрузку на команды и даёт измеримый эффект в бизнес-процессах.
↗️Читайте свежий кейс на Habr
#AI_moment
@Redmadnews
MoscowJS 64 x red_mad_robot⚡️
15 мая встречаемся на митапе в Робохранилище в Москве.
Поговорим про качество кода, стандарты и то как это влияет на разработчиков и команды. Будем постепенно рассказывать про наших спикеров — следите за обновлениями здесь и в чате сообщества @moscowjs
🕔15 мая, четверг, стартуем в 19:00
📍Москва + онлайн
🔗Регистрация по ссылке.
До встречи 🟥
Супер подборочка, чтобы почитать на следующей неделе (если еще не читали)
Prompting Guide – Google
Building Effective Agents – Anthropic
Prompt Engineering Guide – Anthropic
A Practical Guide to Building Agents – OpenAI
Identifying and Scaling AI Use Cases – OpenAI
AI in the Enterprise – OpenAI
🤗 И еще немного с HuggingFace:
Vision Language Models
How to Build an MCP Server
Agents Course (can get certified)
Using AutoRound for Quantization
Лайк / share / репост 😎
@alexs_journal
Встретились как то два Дяди поболтать за жизнь LLM и GuardRails
Я тут конечно в лице девушки а Дядя как всегда брутален!
Посидел я послушал разговор еще раз и наконец то открыл notebooklm
И сделал вот такую красоту для вас чтобы вы тоже могли послушать
Еще лайфхак как делать тайминги)
00:00 - Введение: безопасность и надежность LLM
00:29 - Входной контроль (фильтры, списки, BERT-классификаторы)
00:52 - Умные отказы вместо блокировок для поддержания UX
01:20 - Выходной контроль генерируемого контента
01:26 - Alignment (тонкая настройка модели)
01:45 - Стратегии: Alignment vs внешние фильтры
02:13 - Метрики: FPR и F1 score
02:32 - Проблема галлюцинаций в RAG
02:49 - "Размытие + быстрая проверка" для борьбы с галлюцинациями
03:28 - Малые модели (TinyBERT) для быстрой классификации
03:41 - Имитация обдумывания для естественности
03:55 - Тюнинг эмбеддеров (BERT, E5, BGE)
04:28 - Токен хилинг: предсказание и откат проблемных токенов
05:01 - Резюме: комплексный подход к надежности
05:29 - Вопрос о "разумности" vs хорошей инфраструктуре
Принял эстафету по мифам и разоблачениям LLM
от Just AI которую мне передал Рома основатель llmarena.ru
Как Head of AI в red_mad_robot, уделяю большое время экспериментам с локальными моделями и решениями для бизнеса.
Вот про это и расскажу 🔼
Эстафету передаю Паше Злому
Слайды для презентаций на HTML?
А почему бы и нет
Раньше я промышлял тем, что просил LLM генерировать всё на React, и часто были потом проблемы в переносе таких слайдов куда-то в другой инструмент демонстрации я практикую сборку достаточно подробного контента в чате с LLM и для визуализации в Claude юзал этот трюк с описанием всех хотелок
Сейчас я приноровился генерировать слайды в HTML
Плюсы: это то, что он сразу хорошо фитится под артефакт
Его можно скачать и сделать очень хороший скриншот
Всё лучше и лучше стал понимать, как располагать элементы и как это промптировать, чтобы слайд был не перегружен и информативен
Часто использую теперь их как рыбу для передачи дальше в работу дизайнеру в Keynote
И да, выложил все примеры и описания, самое главное промпт на Git
В комментах примеры слайдов, которые я использую собрав добротно контент (при использовании промпта теперь не парюсь с тем, что слайд будет читаемый и почти всегда с первого раза)
Присоединяюсь к поздравлениям моего собутыльника Леши Жданова
Миша получил грант от Yandex Open Source (оч круглую сумму я скажу) за свой проект faster-coco-eval
— ускоренную версию оценки детекции объектов 🚀
Почему это важно?
— Опенсорс делает технологии быстрее и доступнее.
— Такие проекты, как этот, помогают исследователям и разработчикам экономить время.
— Поддержка компаний вроде Яндекса мотивирует развивать open-source.
Миш, поздравляю тебя
Подборка сервисов для быстрой оценки и сравнения LLM
Открытых моделей становится всё больше, а универсального ответа, какую ставить в продукт — нет. Одним важна точность, другим — стоимость, масштабируемость или устойчивость на длинных запросах.
Сравнительные сервисы упрощают этот выбор: они фиксируют поведение в реальных сценариях, агрегируют пользовательские оценки и показывают, какие решения уже в продакшене. Собрали подборку таких платформ.
1️⃣ OpenRouter: рейтинг LLM по реальному использованию
OpenRouter публикует открытый рейтинг моделей, основанный на частоте их использования в реальных продуктах. Это не лабораторные тесты, а фактические данные из прикладных сценариев: кодинг, маркетинг, финтех, технологии.
Рейтинг можно фильтровать по задачам и периоду: за день, неделю, месяц или по росту популярности. Это рыночный барометр: если модель стабильно удерживает лидерство в вашей категории — её используют в продакшене.
2️⃣ Chatbot Arena (LMSYS): парные сравнения моделей
Платформа предлагает формат арены: пользователь задаёт вопрос, а две модели отвечают параллельно. После этого выбирается лучший ответ. По итогам сравнений формируется рейтинг по системе Elo — как в шахматах, только для LLM.
Для моделей на русском языке есть аналог — LLM Arena. Сервис также поддерживает сравнения, голосование за лучший ответ и динамический рейтинг. Включены YandexGPT, GigaChat, MTS AI и другие модели.
3️⃣ Hugging Face: рейтинг по независимым бенчмаркам
В отличие от рейтингов популярности или пользовательских голосов, Hugging Face оценивает модели по результатам стандартных тестов: MMLU (общие знания), BBH (логика), IFEval (следование инструкциям), кодингу, математике и другим. Каждая модель получает баллы по ряду метрик, по которым можно отсортировать модели.
4️⃣ MERA: открытый бенчмарк для русскоязычных LLM
Лидерборд ранжирует модели по результатам фиксированного набора задач: логика, код, знания, этика. Оценка проходит в равных условиях: стандартизированные промпты, единые параметры, открытая методика.
Подходит, если вы работаете с русскоязычными моделями, и вам важна применимость и эффективность в конкретной области.
Какие выводы?
Выбор LLM — это управленческое решение с последствиями для качества, стоимости и скорости продукта. Сравнительные платформы не заменяют пилоты, но позволяют действовать быстрее и точнее:
📍 Отсекать слабые решения до интеграции
📍 Фокусироваться на моделях, которые уже работают в продакшене
📍 Оценивать зрелость open-source вариантов без риска потерь в качестве
Если вы внедряете LLM в продукт, рейтинги помогают действовать не по наитию, а по обоснованным критериям. Но важно не полагаться на один источник — первичную кросс-оценку стоит строить на данных из разных сервисов.
#AI_moment
@Redmadnews
Международный вояж #безвотэтоговотвсего продолжается и мы возвращаемся в наш любимый Баку!
На нашей пятой встрече сообщества в этом прекрасном городе мы решили взять тему, которая точно не оставит равнодушным никого из тех, кто хоть чуть-чуть связан с технологиями (а есть ли другие в 2025 году?).
Тема нашей встречи - “Мир после GPT: как AI меняет рынок IT и продуктов навсегда?”. Ведь здесь, помимо хайпа, просто море интересного:
⁃ Что именно изменилось в работе IT и продуктовых команд с приходом AI?
⁃ Что теперь значит "быть профессионалом"? Раньше — знания и опыт. Сейчас — умение работать с ИИ?
⁃ Что произойдет с ощущением профессиональной идентичности? Кто я, если мои навыки заменяемы моделью?
⁃ Какие новые этические дилеммы появляются с развитием AI? Если GPT написал код с багом — кто виноват?
⁃ Почему middle-специалисты стоят как senior, если GPT делает их работу?
⁃ и многое другое )
На эту тему собрались поговорить прекрасные эксперты:
⁃ Сергей Рыжиков, основатель Битрикс24
⁃ Иван Самсонов, CPO of AI, MTS Web Services
⁃ Валерий Ковальский, Head of AI red_mad_robot
⁃ Валех Набиев, CDO at Pasha Holding
Состав уникальный и точно позволяющий разобрать вопрос с разных сторон.
Обязательно регистрируйтесь и сохраняйте билеты.
Встречаемся 03 июня в 18:30 JW Mariott Absheron (674 Azadliq Square).
Будет огненно!)
Smart Platform - наша on-premise RAG платформа
Врываюсь с двух ног почти готовым релизом нашего внутреннего продукта (а за плечами 7 месяцев исследований реальных интеграций и разработки)!
Нет ничего приятнее рабочих якорей (ссылок на источники, которые подсвечивают информацию в нужной вам интеграции, использовавшуюся при ответе LLM), которые показаны на нативной интеграции с Confluence в закрытом контуре
И еще больше кайфую, что это уже работает не только в теории, но и на наших внутренних тестах на демо стенде!
Такой RAG может работать и на моделях до 10b (LLM), а значит, сервер для корпоративного RAG начинает стоить адекватных денег
Целая цепочка router-агентов и долгий путь изучения лучших подходов и фреймворков для Q&A и диалоговых RAG-систем для закрытого контура
За всеми апдейтами по продукту предлагаю следить тут в канале нашего CPO Леши Жданова
Материалы по Cursor
🔥 Рекомендуемые ресурсы:
• My LLM codegen workflow
• Как заставить ИИ работать в устаревших кодовых базах
• Видео-гайд по Cursor
📚 Дополнительные материалы:
• Awesome Cursor Rules
• A Structured Workflow for "Vibe Coding" Full-Stack Apps
• Гайд по вайб-кодингу от Anthropic
💡 Мнения:
• Почему я перестал использовать редакторы кода на основе ИИ
• Как заставить AI писать качественный код?
• Вся правда про Cursor
🔗 Официальные ресурсы:
• Документация
• Форум
Почему бизнес уходит от универсальных AI-решений к мультиагентным системам
Подключить LLM, загрузить базу знаний, настроить поиск по документам — кажется, что этого достаточно. Но на практике сложные запросы выходят из контекста, ответы размываются, а вместо решений система предлагает «посмотреть документацию». Там, где бизнес ждёт точности и конкретики — универсальный AI не справляtтся.
Вместе с руководителем направления искусственного интеллекта в red_mad_robot Валерой Ковальским разбираем, как мультиагентная архитектура закрывает эти пробелы: помогает обрабатывать сложные запросы, снижает нагрузку на команды и даёт измеримый эффект в бизнес-процессах.
↗️Читайте свежий кейс на Habr
#AI_moment
@Redmadnews
n8n + Qwen 2.5 7b instruct + vLLM + SO = Мощный диджитал твин на своем железе!
Всем привет!
По следам экспериментов я решил собрать небольшой пост старт по тематике n8n здорового человека
Что это такое?
Low-code подход через n8n для построения логики "диджитал твина"
vLLM для оптимизации инференса модели на локальной инфре + под капотом есть xgrammar
Qwen 2.5 7b instruct(t-lite) - неожиданно эффективная для SO и классификации интентов под такие задачи
Интеграция с RAG Smart Platform как "знаниевый агент" в наборе инструментов
Как это работает?
Structured Output вместо встроенных агентов которые работат на tool которые ломаются чаще российского автопрома для классификации намерений
Гибкая архитектура инструментов через n8n ноды(пришлось попотеть через js Vibe Coding спасает)
Маршрутизация запросов на основе четкой классификации где нет места гибким условиям если есть только flow!
Интеграция с внешними API и базами знаний
Что сейчас умеет такой спрут? Причем n8n стоит локальной на моем сервере
Выбор инструмента на основе намерения пользователя
Роутинг между различными исполнителями задач
Универсальный метод для разных типов запросов (часто без необходимости переобучения модели)
Форматирование запросов от каждой внешней АПИ типо погоды или календаря под тот формат который я задумал для визуализации пользователю!
Система не идеальная, но уже можно автоматизировать множество процессов!
Если вам интересно то этот пост байт на коменты и реакции
Хочу понять стоит ли пилить отдельный пост разбор + выложить код всех нод на гит для повторения!