14528
Канал про разработку продуктов на базе LLM/ChatGPT. Выжимка важных новостей и разборы кейсов.
Вот такой AI ускоритель нам высылают из Канады, 2шт.
Это первое поколение карточек от Tenstorrent - Grayskull™ e150. Каждая карточка стоит $799. На борту:
- 120 Tensix Cores (в каждом - 8 мелких ядер и ускорители)
- TFLOPs (FP4): 332
- 8GB LPDDR4 @ 118.4 GB/sec
Всякие BERT, ResNet, Whisper там работают из коробки. Их инженерная команда обещала мне, что Falcon/Mistral 7B на такой карточке можно запустить тоже.
Все жутко экспериментальное, довольно старое и только начинает выходить на рынок.
Все делается с прицелом на их следующие поколения карт, где и память побыстрее, и ее побольше, и карточки сами собираются в большие кластера (поколения Wormhole, Black Hole и Grendel).
По цене и энергомотреблению запуск LLM должен быть привлекательнее, чем у NVidia 🤑 Ну или дешевле, чем покупать Mac Studio для inference на домашних проектах.
В Европе мы получаем эти карточки первыми. Будем альфа-тестерами.
Ваш, @llm_under_hood 🤗
Помните я писал про адаптивного ассистента и RAG архитектуру с динамическими индексами?
Для валидации идей я позавчера написал прототип такого ассистента. Он работает как журнал, в который я отправляю все подряд мысли, идеи и заметки. Такой аналог "Saved Messages", который автоматически раскладывает по папочкам (индексирует) всё входящее.
Сегодня я уже смог его использовать, чтобы прошерстить весь мой поток сознания (54 заметки на разные темы общим размером в 44Kb) и получить отчет по состоянию самого ассистента. Сам отчет - в комментариях.
В общем, концепция динамических индексов (пусть и в полу-ручном режиме) работает весьма приятно. Если всякие rewind.ai позволяют удобно из коробки делать такое, то надо будет их посмотреть.
Ваш, @llm_under_hood 🤗
Кто хочет, чтобы LLM нормально умела читать таблицы?
Ребята из JPMorgan придумали модель для работы с документами, где расположение текста очень важно для понимания: формами, инвойсами, чеками, отчетами итп. Это все те вещи, за работу с которыми бизнес готов хорошо платить.
В отличие от моделей с image encoders, в DocLLM используются bounding boxes для разметки местоположения. Говорят, что в некоторых случаях они побили SotA.
Они обучили 2 модели - на базе Falcon-1B архитектуры и на базе Llama2-7B.
Paper
Это JP Morgan, поэтому открытой модели пока нет. Ждем, пока кто-нибудь не повторит исследование.
Ваш, @llm_under_hood 🤗
Я придумал себе подарок на НГ - личный адаптивный RAG #weekend
Хочу себе такую систему, чтобы можно было кидать на вход все мысли, файлы, ссылки и контакты. А еще из телеграма пересылать, почту форвардить и из браузера сниппеты кушать.
Чтобы можно было потом общаться с системой на предмет извлечения нужной информации в структурированные базы знаний. Например:
• Когда нужно писать отчет по проекту - “А пройдись-ка по последним записям и сформируй список достижений по проекту X за неделю”
• Когда хочется поддерживать список контактов - “Заведи список людей, которые хотят пилить свои продукты. Прошерсти мои последние переписки на эту тему”. Или “Апдейтни этот список людей на основе последних переписок”
• Когда нужно побрейнштормить в пару шагов на основе личных данных: “Предложи мне пару инсайтов в мире RAG из моих заметок для обсуждения с клиентом X завтра” или "Кого из моих контактов может заинтересовать участие в выводе на рынок продукта Y"
• Когда нужно найти старую информацию - “Какие у меня были удачные промпты при генерации кода для Kubernetes?”
И чтобы каждое действие и мой отклик сохранялись в качестве feedback для обучения полностью личной и приватной модели в будущем.
И чтобы если команда “переформатируй список самых часто используемых промптов” накосячила и удалила все к щебеням - можно было откатить на прошлую версию. Да и вообще всегда можно было откатить все состояние системы на любой момент времени.
Лучший подарок, как известно, сделан своими руками. Поэтому я буду делать такую систему сам.
У меня уже было нечто подобное, в до-ChatGPT эру. Сначала я формализовал подход к работе 3-5 проектами одновременно [1], а потом написал свою личную систему для организации данных по этому подходу [2]. Правда ей очень неудобно пользоваться, когда число проектов превышает 100 - слишком все сложно и неудобно. Но это было до того, как я встретил ChatGPT, научился использовать его для разработки проектов, и создавать ассистентов.
Поэтому, в новом году есть шанс сделать что-то лучшее и наворотить свой адаптивный RAG.
А какие у вас хотелки и планы на новый год?
Ваш, @llm_under_hood 🤗
[1] My workflows at Trustbit during quarantine
[2] Статья про pyJournal
Вы переиспользуете ChatGPT промпты?
Например, когда надо:
(1) снова получить очень стабильный вывод модели в каком-то формате
(2) передать коллеге удачный промпт для классификации отзывов пользователей
(3) найти старый разговор с ChatGPT, где вы просили его написать письмо кому-то, дополнить его новой информацией и попросить написать ответ.
(4) да и просто сказать ChatGPT в старом разговоре: “смотри, я тут попробовал применить твое решение, но всплыли такие-то косяки. Просмотри отзывы, подумай и улучши свое решение!”
Ваш, @llm_under_hood 🤗
Меньше чем через час выступаю на вебинаре про LLM в бизнесе и маркетинге.
Будет интересно тем, кто:
⁃ пилит свой продукт с LLM под капотом;
⁃ хочет использовать возможности generative AI в своем бизнесе;
⁃ интересуется - “а как оно используется в других компаниях?”
Вебинар - бесплатный. Вход - открытый. Язык - английский. Начало - 12:00 MСК. Ссылка - http://abdullin.com/now
Ваш, @llm_under_hood 🤗
OpenAI добавили logprobs в Chat Completions API!
Что это значит? Теперь API может возвращать не один token, а 1-5 наиболее вероятных кандидатов вместе с их вероятностями.
Это позволяет определить уверенность ChatGPT модели в своем ответе, сделать auto-complete или классификацию.
Ссылка на официальные документы.
Ваш, @llm_under_hood 🤗
Во всех моих последних созвонах повторяется одна тема - LLM/AI встраивается в существующие человеческие процессы, радикально меняет и улучшает их.
Например, RAG системы могут частично заменять экспертов и кучу документации. В специфических отраслях вроде авиастроения тут просто нет альтернатив. Топовые эксперты уходят на пенсию в ближайшие годы. А без них, встает все.
NVidia и та бросилась оцифровывать документы, строить RAG, и файн-тюнить на них модели.
Аналогичные проблемы есть и в более "скучных" компаниях. И они решаются теми же "скучными" инструментами - AI/LLM встраиваются в человеческие процессы. Они помогают там, где не хватает людей, либо люди лезут на стенку от глупых и повторяющихся вопросов.
А насколько далеко может зайти такая интеграция?
Channel 1 выложила подборку новостей, которая полностью рассказана с помощью аватаров. И это крышесносно! Смотреть тут: https://www.channel1.ai
Ваш, @llm_under_hood 🤗
#клиентспросил А покажи пример использования ChatGPT для написания промпта?
Теория звучит красиво - выкинь RAG на простых случаях и дистиллируй знания, но как-то оно абстрактно и непонятно, верно? 🤔
Поэтому вот пример из сегодняшнего проекта (текст ниже, скриншот - в комментах). Я прямо сейчас работаю над улучшением текущей версии нишевого поисковика клиентов. Это там, где у нас выкачано много гигабайтов годовых отчетов компаний.
Мне нужно улучшить механизм поиска релевантной информации о потенциальных лидах, к которым можно найти хороший подход. Существующая система ищет хорошо, но клиенту хочется еще больше лидов! А кому их не хочется? 😁
Для этого нужно копаться в информации глубже, выискивать красивые зацепки для контакта. Думать и расписывать промпт для всего этого не хочется. 21 век на дворе! Поэтому я прошу ChatGPT набросать план поиска информации о компании "для ассистента" 😉
I want to analyse companies that could be good customers for COMPANY (the %%%% company). Description of CUSTOMER and its business model is included below, for reference.
Analysis process works like this:
1. Pick an promising lead company
2. Learn more about the company by researching it on the internet.
3. Summarise the findings and look for potential cases where the company would benefit from working with CUSTOMER (partnership, customer or something else).
I want you to write a list of bullet-points (questions/ideas) for the second step. My assistant will use it to research the company.
If possible, steer the findings towards the recent events, current problems and the other things that could help to understand the current state of the company (a la JTBD)
# Findings about COMPANY products and services
(skipped)
Причем весь контекст якорится к общей задаче (чтобы была перспектива и общее понимание ситуации) и конкретному клиенту. Методичка получается заточенная под конкретную задачу. При этом ее можно проглядеть глазами и отредактировать.
Потом по этой методичке будет работать не какой-то "ассистент", а сам ChatGPT.
Ваш, @llm_under_hood 🤗
PS: Другие посты из серии #клиентспросил:
- Кейс про агента, который программирует себя.
- Ринат, клиент хочет работать с AI продуктом конкурента. Что делать?
- словарик с краткими описаниями самых важных терминов (labs)
Вам не нужен RAG! И fine-tuning тоже не нужен!
Простите, это крик души после сегодняшнего воркшопа для европейской компании 😤
Если вы автоматизируете бизнес процессы при помощи AI/LLM/GPT, то не обязательно начинать проект с использования "тяжелой артиллерии": RAG, fine-tuning, RLHF и векторных БД. На использование и разворачивание подобных вещей могут уйти недели. А ведь можно показать бизнесу готовый к использованию прототип за считанные дни.
Для начала стоит выжать все возможное из обычного prompt engineering с дистилляцией знаний. Например:
1. Начать собирать входы и выходы на шагах процесса, который мы автоматизируем (Capture Feedback). Разметить вручную пару десятков кейсов
2. Сесть с экспертом и сгрести в кучу все релевантные документы на тему.
3. Сесть с ChatGPT и синтезировать краткие методички про то, как данный кейс автоматизируется.
4. Посмотреть, как ChatGPT (или локальная модель) справляются с известными кейсами на базе методичек. Собрать feedback и оценки
5. Попросить ChatGPT проверить оценки, категоризовать их и дополнить методичку.
6. Выкатить первую версию
7. Повторять шаги со сбором фидбэка и обновлением методичек.
Такое подходит к разнообразным кейсам от написания статьей по продуктам (да, там нет embeddings!), экспорта типовых запросов из email переписки, написания ключевых слов для продуктов, или создания отчетов по работе международного customer support за день.
Да, если речь идет про генерацию лидов из тысяч годовых отчетов по 20-200MB каждый, то там без RAG уже будет тяжело. Но ведь и мы начинаем не с таких сложных кейсов?
Пар выпустил))
Ваш, @llm_under_hood 🤗
Нас внезапно стало больше 1000 человек в канале. Давайте знакомиться и обрастать связями!
Networking всегда полезен, а во времена перемен - особенно. 🤝 Вдруг кому пригодится новая интересная работа или нужен будет человек в проект?
Три простых шага:
1. Вот мой linkedIn профиль: https://www.linkedin.com/in/abdullin/. Добавляйтесь - я добавлю всех!
2. Пишите свой профиль и два слова о себе в комментарии к этому посту. Добавляйте остальных, кто уже отписал выше
3. Время от времени поглядывайте в LinkedIn и отвечайте на заявки
Ваш, @llm_under_hood 🤗
Бенчмарк ChatGPT и прочих LLM моделей за Декабрь!
- Тут есть наш первый мультиязычный бенчмарк, который сделали вместе с лингвистами из Код Один. Нам прислали 17 языков, каждый из которых был заполнен носителем языка.
- В продуктовый бенчмарк добавили Orca 2, Starling и Mistral 7B Notus-v1. Чудес не произошло.
- Все модели пересчитаны заново. Это - 12150 запросов всего. А если вспомнить про включенный везде beam-search=4 то и того больше.
Ваш, @llm_under_hood 🤗
Как "завалить" ChatGPT 4 на простейших вопросах?
Достаточно задать вопросы, которые очевидны для человека, но не для текстовой модели. Например, вопросы про рифму или ударения.
Задним числом это очевидно - словарей и букварей с фонетикой не так много в текстовых данных для обучения. Текстовая модель будет тут плавать. А вот голосовые модели будут "знать" это гораздо лучше.
Именно поэтому вопрос про рифму, который изначально был в языковом бенчмарке для LLM, мы оттуда убрали.
Ваш, @llm_under_hood 🤗
Как хорошо ChatGPT-4 Turbo говорит по-русски? А GPT-3.5?
Вот черновая версия языкового бенчмарка для GPT/LLM! Спасибо всем, кто прислал свои языки!
Еще не все формы с языками обработаны, я буду добавлять их по мере возможности. Но можно продолжать присылать новые языки, которых тут нет! Присылайте их в группу "Языки разные - код один".
Локальные open-source модели тоже позже добавлю в бенчмарк.
Ваш, @llm_under_hood 🤗
PS: Ноябрьский бенчмарк LLM моделей на продуктовых задачах (включая GPT-4 Turbo)
Amazon повышает цены в два раза на Claude (Amazon Bedrock Edition).
Они повышают цены на "Provisioned Throughput Hourly Price" (Часовая cтоимость предоставляемой пропускной способности). Похоже, что Сlaude пользуется хорошей такой популярностью при пережевывании больших объемов информации 👍
Интересно, не было ли это вызвано массовым переездом компаний с OpenAI на что-то более политически стабильное в свете недавних событий? 😆
Source: только что пришел email от aws.
Ваш, @llm_under_hood 🤗
Все хотят себе локальный AI, но мало кто готов платить
Клиенты постоянно спрашивают у меня про запуск языковых моделей на собственных серверах. Ведь так удобнее и спокойнее. Меньше опасений с утечкой данных, и клиентам приятнее. Особенно, в зарегулированных отраслях с кучей бумажек, большими штрафами, compliance и legal отделами.
Но при этом часто недооценивают стоимость такого запуска.
Я на прошлой неделе писал оценку стоимости запуска Llama 70B для рабочей нагрузки у клиента в юридической сфере (RAG система), без какой-либо отказоустойчивости. Увидев ее, у CEO вырвался вопрос: “😲 Это столько нужно вложить, чтобы обучить свою LLM с нуля?”
На это он получил логичный ответ “Нет, это для запуска умного ассистента на всех данных. Для обучения с нуля нужно этак в 1000-10000 раз больше”.
Думаю, в итоге они таки согласятся на мой первоначальный план - сначала быстро строить прототип на защищенных виртуальных машинах в облаке, а потом уже считать юнит-экономику и, быть может, вкладываться в собственное железо.
В свете этого интересны любые новости про более эффективный и более дешевый запуск моделей на своих машинах.
Так вот, ребята из MK1 делают свой собственный inference engine, который позволяет запускать модели на AMD-MI210 - достаточно редко используемом GPU от AMD. Они сравнивают производительность с NVidia A6000 (старее, чем 4090, но больше памяти). Сам пост (прочитать тут) - это реклама их inference движка (библиотеки для запуска языковых моделей), который сильно быстрее vLLM на AMD железе.
Выбор карт странный, но они оптимизируются на окупаемость и TOC.
В посте самое интересное, что:
(1) Текущая производительность vLLM - это еще не предел, можно выжимать из него сильно больше.
(2) GPU карты для запуска LLM не от NVidia - становятся все более применимыми и востребованными. Просто ради экономии.
В комментариях - график из поста и текущие цены на эти карточки, для наглядности.
Ваш, @llm_under_hood 🤗
OpenAI запускает GPTStore на следующей неделе 🚀
Такое письмо они рассылают тем, кто создавал свои GPTs:
Dear GPT Builder,
We want to let you know that we will launch the GPT Store next week. If you’re interested in sharing your GPT in the store, you’ll need to:
- Review our updated usage policies and GPT brand guidelines to ensure that your GPT is compliant
- Verify your Builder Profile (settings > builder profile > enable your name or a verified website)
- Publish your GPT as ‘Public’ (GPT’s with ‘Anyone with a link’ selected will not be shown in the store)
Thank you for investing time to build a GPT.
- ChatGPT Team
Прочитать побольше про создание своих версий GPT - можно тут (это своя комбинация инструкций, промптов, файлов и скиллов)
Ваш, @llm_under_hood 🤗
Две архитектуры для создания умного поиска.
Верхняя половина рисунка - это то, как RAG системы делаются обычно. Исходные документы нарезаются на фрагменты и сохраняются в векторное хранилище - Chroma, Pinecone, Milvus, Weaviate итп.
Потом, когда нужно ответить на вопрос клиента, мы используем гибридный поиск для нахождения релевантных текстов. ChatGPT потом пройдется по найденным кусочкам, выкинет ненужный мусор и сформирует ответ.
Мне такой подход не нравится, т.к. на выходе может быть чушь, которая опечалит пользователей.
Второй подход - использование динамических индексов. Вместо векторов создаем индексы, которые описывают и связывают сущности в документах. Это немного похоже на графовые базы данных.
Индексы строятся LLM-кой, адаптируясь под запросы клиентов. Если видим, что пользователи начали спрашивать про новый тип товара, тогда автоматом перелопачиваем все документы и создаем нужный индекс.
И локальную LLM загрузим на ночь, и качество ответов вырастет на следующее утро.
Ваш, @llm_under_hood 🤗
#weekend пост про робо-руки, GPT-4 в программировании и перспективные технологии
Хочу рассказать про классное исследование в области LLM и AI. Это статья двухмесячной давности про использование GPT-4 для обучения роботов всяким новым штукам.
Роботы - это один из следующих фронтиров для проектов и исследований. Тут пока не так много шума, как с GPT, но компании продолжают вкладывать в них миллиарды.
Для меня из роботов интересны больше всего не человекоподобные роботы (имхо, больше игрушка), а более простые и прагматичные робо-руки. Они сейчас есть на всех совеременных заводах и конвейерных линиях. Стоят такие промышленные роботы от 25000$-45000$ за штуку.
Дорого? Зато они могут без устали фигачить одну и ту же задачу круглые сутки, без отпусков и создания профсоюзов. Очень выгодно, если так подумать.
Используются они в разных задачах, начиная от сбора товаров в online заказах до сбора всяческих узлов и аггрегатов.
Крутых роботов на заводах Tesla все уже видели. У Amazon есть более 750000 роботов. У Ocado Group есть склад, на котором почти половина товаров собирается в корзины роботами. А сама NVidia в предстоящих выступлениях на CES 2024 акцентировала робототехнику (скорее всего про роботов-хирургов и машины).
Так вот, что с этими роботами достаточно сложно - долгое время никто толком не знал, как их обучать всяким сложным движениям. Например, как научить робо-руку с пятью пальцами вращать ручку? Это может делать каждый достаточно скучающий школьник, а вот с робо-рукой так не получается. Слишком все сложно.
Обычно делали как -
(1) берут физическую платформу (скажем, робо-руку) и создают для нее виртуальную модель
(2) пишут код, который дает оценки поведению такой руки
(3) запускают обучение в виртуальной среде, используя код для оценки (reward function), чтобы двигаться в правильном направлении.
Пункт номер два - это самый сложный. От качества reward function зависит то, будет ли робо-рука завинчивать болт или забивать его.
И ребята из NVidia и университета Пенсильвании придумали как пристроить к делу ChatGPT-4. Да-да, обычная кодо-генерация с feedback loop (см кейс про агента, который программирует себя):
(1) GPT-4 пишет код для reward function. Причем, чтобы не тратить время на объяснения, ему на вход дают прямо основной код виртуальной среды.
(2) Запускают симуляцию и обучение.
(3) Показывают результаты работы ChatGPT и говорят “ну ты посмотри, какую фигню творит робот! давай переписывай reward function для нормального выполнения задачи”.
И это получается прямо RLHF для роботов! Ведь можно модели при обучении говорить не просто “творит фигню”, а человеческим языком указывать на ошибки и просить их исправить. А уж GPT-4 перепишет reward function соответствующим образом.
Это прямо как мое постоянное использование GPT-4 для написания всяческого кода 🤣
Ссылки:
- Eureka: Human-Level Reward Design via Coding LLMs
- Мой цикл статьей про создание робо-руки из простых запчастей (рука не получилась, но получилось поиграть с разными вещами от Lego Technic и до FPGA, 3D-печати и создания своих плат)
С наступающим! Всего самого хорошего в новом году,
Ваш, @llm_under_hood 🤗
PS: Спасибо Айгизу за ссылку на статью.
#видео про галлюцинации ChatGPT и борьбу с ними.
В нем мы рассмотрим несколько простых вопросов, которые вводят в ступор языковые модели. Потом запутаем еще больше, а потом покажем, как отвечать правильно.
Будет интересно если:
- вы используете ChatGPT и хотите лучше понимать, где модель выдумывает;
- вы внедряете ChatGPT в свои бизнес-процессы, стремитесь контроллировать качество и улучшать отачу;
- вы разрабатываете свои продукты с LLM под капотом и хотите делать их лучше конкурентов.
Ваш, @llm_under_hood 🤗
Еще по этой теме:
- Видео про использование log_probs для раскрашивания ответа ChatGPT
- Две методички по продуктам с LLM под капотом
- Кейс с ChatGPT про 10.000 € в месяц 🤑
- Вам не нужен RAG! И fine-tuning тоже не нужен!
Давайте я вам расскажу про то, как обнаруживать галлюцинации в текстах от AI и бороться с ними.
Благодаря logprobs это становится настолько просто, что нам хватит 7-8 минут.
Это незаменимая фича для адвокатов, юридических отделов и всех тех, кому важна корректность фактов.
Ваш, @llm_under_hood 🤗
Вебинар про применение LLM в маркетинге и бизнесе!
Его организует ESSCA School of Management (французский вариант Ivy League университетов).
Мероприятие будет 19 декабря с 10:00 до 12:00 CET (12:00 - 14:00 по Москве). Изначально планировалось только для студентов, но я выпросил ссылку для раздачи 🤗
Подключиться в Teams.
Joannes Vermorel (Lokad.com, CEO) и я - будем обсуждать разные кейсы (агенда в комментариях). Но зуб даю, что нас будет заносить в разные интересные дебри. Особенно, если будут вопросы из аудитории.
Приходите, будет здорово!
Ваш, @llm_under_hood 🤗
PS: Предыдущее видео-обсуждение LLM в бизнесе.
Решил я потестировать Gemini Pro от Google, и вот что из этого вышло.
Модель пока бесплатная. При этом вежливая и скромная. Трезво оценивает свои возможности.
На примитивные запросы отвечает, а что-то чуть более сложное - сразу отказывается отвечать.
Ваш, @llm_under_hood 🤗
Как насчет видео про применение LLM в бизнесе?
Lokad выложил эпизод про Large Language Models in Supply Chain. Мы разговариваем про внедрение LLM не только в Supply Chain, но и в организациях в целом. Проблемы, перспективы и всякие кейсы.
00:00:00: Introduction to the interview
00:01:00: Rinat's Lokad journey and supply chain challenges
00:03:59: Lokad's evolution and simulation insights
00:07:07: Simulation complexities and agent-based decisions
00:09:15: Introducing LLMS and simulation optimizations
00:11:18: ChatGPT's impact and model categories
00:14:14: LLMs as cognitive tools in enterprises
00:17:10: LLMs enhancing customer interactions and listings
00:20:30: LLMs' limited role in supply chain calculations
00:23:07: LLMs improving communication in supply chains
00:27:49: ChatGPT's role in data analytics and insights
00:32:39: LLMs' text processing and quantitative data challenges
00:38:37: Refining enterprise search and closing AI insights
Ваш, @llm_under_hood 🤗
Хотите первыми узнать про модель, о которой будут писать в крупных каналах только на следующей неделе? 😎
Знакомьтесь - к трансформерам пришел милый пушистый зверек по имени StripedHyena-7B.
По цифрам - ничего выдающегося. Чуть хуже, чем Mistral 7B на задачах с маленьким контекстом, немного лучше на задачах суммаризации с большим контекстом.
Но это не трансформер! Ребята из Together.AI заменили convolutions на слой state-space model (SMM), что позволило ускорить работу модели. Да и требования к памяти стали еще лучше.
Потенциально это революция.
Blog | HuggingFace | базовая модель | Github
Вторая интересная модель - это просто ссылка на torrent от Mistral 7B. Там что-то новенькое в виде 8 экспертов на базе 7B моделей (MoE). Никто точно не знает, как это запускать, но все с нетерпением ждут NeurIPS - крупнейшую конференцию по deep learning на следующей неделе!
Andrej Karpathy удивляется, что выложили torrent, без профессионально смонтированного видео про революцию в AI 🤣
Ваш, @llm_under_hood 🤗
Новости про конкурента ChatGPT от Google - Gemini, в сухом остатке.
- Заявлено три модели - Ultra, Pro & Nano.
- Pro & Nano будут доступны в Google Cloud в этом месяце.
- Pro по их бенчмаркам лучше, чем ChatGPT 3.5.
- Ultra, которая по оценкам лучше ChatGPT 4, выйдет когда-то в следующем году.
Имхо, если бы у Google было что-то стоящее, они бы выкатили сразу (как это делают OpenAI или Apple), а не кормили обещаниями.
Ваш, @llm_under_hood 🤗
#клиентпорадовал Кто внедряет AI системы в бизнес? Давайте делиться приятными отзывами клиентов!
И радостью поделимся, и потенциальные клиенты могут увидеть наши результаты 👍
Для анонимизации можно просить ChatGPT пересказать и перевести. Но при этом исходный текст должен быть именно написан клиентом.
Ваш, @llm_under_hood 🤗
Вторая версия языкового бенчмарка LLM моделей включает не только OpenAI ChatGPT. Теперь тут можно посмотреть, как хорошо понимают тот или иной язык локальные модели - те, которые можно скачать и запустить самостоятельно.
Чем лучше понимает язык модель, тем качественней будут ее ответы, и тем меньше будет "галлюцинаций" в них.
Бенчмарк - часть тестов LLM моделей от Trustbit.
Финальная версия и все обновления появятся в первую очередь в этом канале!
Ваш, @llm_under_hood 🤗
#клиентспросил Кейс про агента-писателя, которого научил ChatGPT
Сегодня я зарелизил вторую версию ассистента для маркетолога (описание изначального кейса тут). Теперь хочу кратко рассказать про реализацию технологических новинок под капотом.
Вторая версия отличается от первой:
- может писать на любые темы о продуктах компании (а не только про один продукт применительно к одной области)
- сама умеет выбирать релевантные тексты из базы знаний, мусор не тащит.
- пользователь может контроллировать процесс написания статьи на любом шаге (а может и клацкать Next)
- Базу знаний можно пополнять хоть как, главное следовать общим инструкциям по организации.
Это все фишки. Самое интересное - улучшения под капотом. А там я выкинул почти весь код и абсолютно все промпты. Вместо этого осталась дюжина квантов информации - эссе, конспектов и должностных инструкций на разные темы:
- как устроена база знаний, в какие папки и каким образом складываются тексты
- как правильно искать в базе знаний
- какие методы пробовать при написании плана статей, на какие вопросы отвечать?
- как правильно упоминать продукты компании в статьях
- как по шагам разворачивать план статьи в черновик
Все эти конспекты писал сам ChatGPT-4 с большим контекстом! 🚀
Я просто брал самый мощный ChatGPT, скармливал ему весь контекст, не жалея tokens. И просил ужать всю информацию в очень компактное эссе на заданную тему или должностную инструкцию.
Например, скармливал всю структуру базы знаний с выжимками и просил сформировать инструкции для "младшего ассистента", который будет искать там материалы на какие-то темы.
Либо брал пачку примерных запросов, просил классифицировать их с точки зрения разных подходов к поиску информации. А потом - написать эссе для "младшего ассистента".
Когда у нас есть такие конспекты, промпты превращаются в очень простую цепочку в формате:
Эй, младший ассистент. Дай мне названия файлов из базы знаний для написания статьи на тему X. Мы сейчас на первом шаге процесса написания статьи. См ниже должностные инструкции и гайды на эту тему.
- общее описание всего процесса написания статьи
- гайд про структуру базы знаний
- гайд про поиску в базе знаний на тему
- эссе про компанию и чем она вообще занимается
- краткий каталог продуктов и сервисов компании
Четыре промпта в таком духе и получается рабочий API. Остальные шаги:
- Шаг 2: набросай мне план статьи на тему X. См гайды и релевантные выдержки из базы знаний ниже
- Шаг 3: разверни мне этот план в черновик. Все те же выдержки, а так же статьи про красивое написание статей - ниже
- Шаг 4: вычитай вот этот черновик. Гайды по стилю компании и примеры красиво написанных статей на схожую тему - ниже.
Вот я вам и рассказал все секреты реализации 😊
Кстати, тут получается забавно. На первом и втором шаге LLM планирует свою работу на третьем шаге. Но при этом отталкивается от человеческого запроса и заранее написанных гайдов про выполнение этих запросов. А те планы-то писались все той же ChatGPT. Немножко похоже на агентов? 🤪
В общем, оказывается, не нужно мучаться, писать сложные промпты, городить большие шаблоны и retrieval-логику. Можно просто сесть с мощной GPT-4 и заранее подготовить конспекты, эссе и должностные инструкции, ужав в них всю релевантную информацию.
Вся эта информация и будет основным кодом работающего приложения с LLM под капотом.
А если появятся новые нюансы и моменты, всегда можно поднять старый промпт и попросить переписать эссе с учетом новой информации.
Кто еще использует ChatGPT для компрессии информации и написания промптов для агентов?
Ваш, @llm_under_hood 🤗
PS: В комментариях выложу пример черновика статьи, которую написала эта система, и отзыв клиента.
PPS: Другие посты из серии #клиентспросил:
- Автоматическое исправление ошибок в каталогах продуктов
- Кейс про товары, которые невозможно найти
- Персональный ассистент в компании
Какие сложные проблемы вам помог решить ChatGPT?
Не просто для удобства, но вещи, которые невозможно было бы сделать самостоятельно?
Пишите в комменты!
А вот примеры кейсов, которые люди пишут в этой вдохновляющей ветке OpenAI в Reddit:
- Написать письмо директору школы, где ребенка буллят
- Выторговать скидку на авто, хотя торговаться совсем не нравится
- Продолжать общаться с бывшим мужем/бывшей женой после сложного развода
- Выучить C++ достаточно, чтобы написать сложный продукт
- Выучить Python, чтобы сделать дашборд для отслеживания лечения диабета у ребенка
- Помочь ребенку с трудной задачей по иностранному языку
- Создать software startup с нуля без опыта программирования
- Морально подготовиться к общению с отцом любимой девушки. Отец говорит на другом языке, и голосовой ChatGPT-4 играет его роль.
Ваш, @llm_under_hood 🤗