С ЧЕГО НАЧАТЬ?
Не самый ожидаемый, но поучительный урок на основе графиков: вы можете запустить MVP и начать делать деньги с далеко не самой востребованной фичи. Вы можете ошибиться в исходной формулировке проблемы. Но если вы тесно общаетесь с пользователями и быстро итерируетесь в улучшении продукта, то довольно скоро сойдётесь к правильному распределению внимания между возможными векторами развития продукта.
Прямая аналогия: вы можете инициализировать веса нейронки не самым лучшим образом, взять далеко не самое лучшее начальное приближение, но если вы сделаете back propagation достаточно большое количество шагов, то сойдётесь в локальный минимум. Цель создания MVP не в том, чтобы попасть сразу в сердечко пользователя и идеально угадать решение его проблемы, а в том, чтобы попасть хотя бы в радиус сходимости и как можно раньше начать собирать фидбек, итерироваться, валидировать гипотезы на реальных пользователях, готовых голосовать рублём.
Думаю, проблема многих в том, что они рассусоливают уже на старте, гадая а с чего лучше начать и всё больше отодвигая момент, когда цепочка обратной связи с миром замыкается (итераций общения с пользователями и улучшения продукта). Напоминает знакомство с девушкой и продумывание идеальной фразы, чтобы заговорить, – пока будешь думать, с ней познакомится уже кто-то другой и поведёт её показывать свой новый Quest 3.
Похвастаюсь, у Меня от идеи до первых платных клиентов прошло менее 24 часов (получается, освоил искусство писать код из говна и палок, как и хотел 3 года назад). Как сказал Наполеон, главное, ввязаться в бой – а там видно будет.
Возвращаясь к вопросу в заголовке, с чего же лучше начать? – начинайте хоть с чего-нибудь, замкните петлю обратной связи как можно раньше, и дальше итерируйтесь в гипотезах как можно быстрее (и так по кругу).
Вы просили делиться историями из жизни, а не только всё про работу. Вот вам маленькая кулстори.
С апреля Я живу на Бали, до этого жил в Ташкенте. Долгое время думал, лететь или не лететь (звал с собой лучший друг). Настораживало 2 вещи: вайб Бали и климат Бали.
Что касается вайба, на Бали все живут на чилле на расслабоне, поэтому с первых дней Я со своим 10-часовым рабочим днём чувствовал себя здесь белой вороной. Прошли месяцы, ощущение не пропало, но научился его игнорировать.
С климатом всё интереснее. Меня беспокоило, что в отличие от цивилизации (Ташкента и Москвы) на Бали, как и в других жарких странах, – в костюмах не пощеголяешь. А у Меня был долгий путь поисков себя в том, что касается одежды и стиля. В конце концов, нашёл себя в классике. Рубашки и пиджаки – как вторая кожа. На аватарке канала, сюрприз, тоже Я.
Прилетев на Бали, удивился тому, что в отличие от Тайланда здесь сильно приятнее климат. Температура та же, но за счёт влажности, нет духоты, и главное, Я не сгораю за первый день без противозагарного крема. Что касается одежды, первые месяцы Я стиснув зубы ходил как и все в футболках, шортах. Не могу ничего с поделать со своей природой, но ощущаю себя в футболках (а тем более oversize) как мальчик, а не мужчина.
Выходит, значит, пару месяцев назад DALL·E 3. Мой чуть ли не первый запрос: Я такой-то внешности, люблю классику, но сейчас Я живу на Бали, как Мне одеваться чтобы быть в гармонии с собой? – на что Я сходу получаю совет поиграть с льняной одеждой и несколько вполне резонирующих со Мной прикидов. На следующий день нашёл великолепный магазинчик льняной одежды (кстати, кто на Бали, рекомендую), что оттуда не надень – всё идеально на тебе сидит, люблю такое. С того момента хожу только к ним.
К чему Я обо всём этом вспомнил? Последние недели со Мной всё чаще знакомятся в кафе и ресторанах как девушки так и мужчины, просят Instagram. Первое, на что все обращают внимание, это именно, что Я выделяюсь на фоне всех стилем. Как всегда, нас встречают по одёжке.
Мелочь, а приятно.
Что такое MVP? Вот самое лучшее объяснение, которое Я встречал. Даже в Y Combinator настолько доступно не объясняют.
Не устаю делиться ссылочкой:
https://youtu.be/3rUM5Mzx8CQ?si=JX1j4EKe1ldtcRBm
После этого ролика у вас начнётся MVP головного мозга и на +20% прокачается айкидо-суперскилл создавать продукты из говна и палок, которые работают, тестируют гипотезы и, если повезёт, наносят счастье пользователям.
Задумайтесь, что спустя целый год, всего 1.2% населения Земли пользуется ChatGPT (100M WAU).
Пользователей, у кого есть подписка Plus (и доступ к GPTs) – ещё на 2 порядка меньше.
Сколько возможностей открывают эти два факта? 😈
Лайфхак, как сэкономить деньги и время
Если паттерн использования вашего сервиса таков, что зачастую пользователю нужна повторная генерация чего-либо много-много раз (например, если ваш сервис помогает брейнштормить идеи), тогда имеет смысл воспользоваться правилом оптимизации №1:
Не делай 2 раза то, что можно сделать 1 раз.
Когда мы генерируем много ответов (через параметр n в API GPT), то можем выдавать первый (или лучший, если мы дополнительно прикручиваем оценку), а остальные сохранять в памяти. Когда пользователь нажимает кнопку "перегенерировать", ему мгновенно выдаётся второй вариант, а затем мгновенно третий и т.д. Благодаря этому мы экономим ту часть коста, которая относится к длине входа (например, это длинный промпт с инструкцией и примерами) – и время не повторную генерацию, что улучшает UX.
Здесь есть очевидный трейд-офф:
- с одной стороны, если мы генерируем с запасом 5-10-20 ответов, то пользователь может не расходовать все из них, отсюда деньги тратятся вхолостую;
- с другой стороны, если ему таки нужны эти 5-10 попыток, вероятно гонять каждый раз длинный промпт с инструкцией – выходило бы дороже (и дольше);
- наконец, если у вас есть оценка ответов, на основе которых можно отфильтровать топ-N, то генерацию холостых ответов можно воспринимать как необходимое зло, которое было нужно, чтобы засэмплить ответы лучше по качеству.
По большей части игра стоит свеч, когда у нас промпт сильно длиннее ответа (в десятки-сотни раз).
P.S. Да, и ответы на вопросы из предыдущего поста:
1. На практике считаем, что время генерации O(1) по отношению к числу ответов – за счёт этого при предгенерации десятка другого ответов, мы не добавляем времени
2. Свою интуицию, почему так происходит, описал здесь: /channel/bogdanisssimo/264?comment=3486
#LLMOps
А сегодня важнейшая дата, ChatGPT исполняется 1 годик, Я его искренне поздравляю с днём рождения. Ты такой маленький, а уже такой полезный в работе и в жизни. Нам стало трудно вспомнить, какой была жизнь без тебя 🤗
Желаю тебе дальнейшего роста capabilities, ускорения генерации и удешевления компьюта!
Citius, altius, fortius
Месяц назад Богдан решил уйти с основной работы и основать свой AI-стартап, поэтому в этом блоге будет расти число постов о том как же больно (но увлекательно) играть в фаундера.
Читать полностью…
У Игоря вышел краткий пересказ свежего подкаста с Ильёй Сутскевером про движение к AGI, open source модели, Superalighnment и то, насколько современные архитектуры моделей напоминают пластичность нашего мозга:
/channel/seeallochnaya/821
Рекомендую
Вчера был DevDay от openai, где представили несколько новых любопытных обновлений. Главное из них — GPT-4 Turbo! Еще более умная версия 😎
1. Размер контекста GPT-4 Turbo увеличили в 16 раз по сравнению с предыдущим. Для сравнения Сэм сказал, что это примерно 300 книжных страниц
2. В API завозят json mode аутпуты. То есть теперь не нужно будет выцеживать нужную информацию из текстового ответа, можно ее просто явно запросить
3. Знания модели не будут ограничены 2021 годом, сейчас модель знает про мир до апреля 2023го. И разработчики пообещали поддерживать модель актуальной
4. В API теперь можно будет прокидывать картинки (а не только url как было раньше), в GPT-4 turbo будет интеграция с DALLE-3. Кроме того, обещают скоро открыть Whisper v3, в котором будет еще больше языков
5. Откроют gpt-4 для файнтюнинга в экспериментальном режиме. Заверили, что на данных которые юзеры используют для дообучения они не учатся. Анонсировали b2b дообучение моделей под нужды клиента
6. Повысили лимиты токенов в минуту, сделали более приятный прайс. Если нужны еще более высокие лимиты, можно отправлять запросы
The legend scientist shaping our world. A deep thinker, a designer of the future and a source of inspiration for many of us.
https://youtu.be/9iqn1HhFJ6c
Co-Author 2/3: What?
Дописав мастер-документ, смотрю, значит, на него, перечитываю и такой: "блин... да ведь это же план!"
Когда ты описываешь любой бизнес-процесс целиком, то сразу замечаешь несовершенства, узкие места, паттерны, проблемы. Тут же приходят идеи что можно улучшить и автоматизировать.
В задачах Симулятора, в которых Я выступал исключительно в роли менеджера, самым проблемным местом были идея, план и драфт задачи. Долгое время мы пробовали работать в сетапе 1 человек = 1 задача. Позже (за идею спасибо Адаму Елдарову) мы перешли на сетап когда за разные части задач отвечают разные люди.
Я взял на себя часть с декомпозицией задачи на шаги и первым шагом с завязкой (напомню, задачи в виде многошаговых квестов, после каждого шага ты продолжаешь историю и узнаёшь больше) – она была для ребят самой сложной, занимала больше всего итераций ревью, и была блокером для последующей разработки задачи.
Тут Я пришёл к мысли. На самом деле, то, в чём Я помогаю ребятам, это, хоть и (Мне лично) не сложно, но всё равно занимает время. Эти начальные части задачи (план + завязка) требуют 2 ингредиента: (1) насмотренности в машинном обучении и ML-продуктах, (2) навыков письма. Как известно, ChatGPT умеет писать текст и имеет common knowledge, достаточные для того, чтобы научить новому – не только студентов, но и самих младших авторов. Так они по мере обучения студентов, учатся новому сами (как они признаются, они работают в Симуляторе ML не ради денег, а ради опыта).
Co-Author. Уже месяц как мы тестируем и улучшаем внутренний продукт, который уже сокращает время разработки контента уже на 20-30% для задач уровней Intern и Junior (не говоря уже о том, что он убирает из цепочки Меня). Ожидаемо, что эту долю (в ходе пошаговых улучшений и интеграции с Notion API) нам удастся увеличить, консервативно, до 50%, оптимистично, до 80%.
Показываю демку месячной давности.
#management
Это мы анализируем, какие фичи продукта самые востребованные для пользователей
Полюбил Я DataLens на последнем месте работы: сделано людьми – для людей
В TIME огромная статья с Сэмом Альтманом и 20 его близких людей. Прямо рекомендую почитать, не самый позитивный образ гениального человека вырисовывается https://time.com/6342827/ceo-of-the-year-2023-sam-altman/
Читать полностью…
Вышел мой обзор про LLM агентов на хабре🕺
Скорость появления новых работ и подходов в этом направлении сейчас настолько большая, что тяжело оставаться в курсе, даже работая в сфере DL/NLP. Поэтому постарался описать прогресс относительно небольшой статьей и проиллюстрировать работами, вышедшими за последний год. Также хотелось сделать это не сильно техническим языком, чтобы было понятно максимальному числу людей не из машинного обучения. Так что если вы не связаны напрямую с ML, то не бойтесь, возможно будут непонятны какие-то части, но их можно пропустить (или спросить в комментариях)
response_format={"type": "json_object"}
Вам квиз со звездочкой на подумать, что-то из серии вопросов для собесов по LLM:
1. Как меняется время генерации при разном N?
2. Интуиция, почему так происходит, и как технически это реализовано?
Ожидаю рассуждения и обоснования. Предпочтительно чтобы ответ был с графиком.
Разыскивается толковый дизайнер который рисует иконки/логотипы как господь
Если вы таковым являетесь, либо есть кого-то порекомендовать, напишите пожалуйста в лс @uberkinder
Желательно сразу портфолио и стоимость
https://twitter.com/sama/status/1727207458324848883
Читать полностью…
Если вчера вы проснулись утром и open ai заблочил доступ к вашему API — вот что можно сделать.
Хотфикс инструкция на 5 минут:
1) купить европейский прокси (например тут: proxy.market)
2) подключить в нем socks5 (в коменте инструкция)
3) в определении клиента прописать креденшлы прокси
client = OpenAI(
api_key="sk-...",
http_client=httpx.Client(
proxies="socks5://username:password@ip_address:port"
),
)
4) Profit, теперь ваш трафик ходит в open ai
PS Эту инструкцию не воспринимать как секьюрную. Может ли снифить ваш траф провайдер — я не знаю. После норм решения (деплоя в евро сервер) лучше обновить api key
Илья Суцкевер рефлексирует о том, как зарождался OpenAI: как случилась легендарная встреча с Илоном, Сэмом и Грегом, его личные мысли о миссии OpenAI, про его Vision, а также о трудном решении покинуть Google Research.
https://youtube.com/watch?v=j_JW9NwjLF8
UPD для разработчиков: лимит запросов для GPT-4-Turbo существенно повысили, до 10,000 запросов в сутки (было 200). Лимит сохранился для vision-модели, обрабатывающей изображения.
За новость спасибо Богдану @bogdanisssimo
Co-Author 3/3: How?
Как работает Co-Author? Это простой streamlit-сервис, где ты можешь вписать какую задачу нужно создать (подходит сырая формулировка запроса от студентов), он выписывает ключевые уроки которым мы хотим научить, далее мы прокликиваем в каком домене и какой сложности хотим задачу, какого она типа (одношаговая "one-shot" задача / задача-challenge / длинный квест / и т.д.) – и Co-Author сперва декомпозирует задачу на шаги, затем пошагово генерирует каждый шаг (суммаризуя предыдущие страницы), включая решение, требования к решению и тесты в проверяющей системе для решения.
Пока это работает на уровне драфта и нуждается в большом объёме последующей редактуры, но костяк, фундамент задачи это уже закладывает, поэтому дальше – легче. Ребята (как непосредственные пользователи) сами находят, в чём им сейчас Co-Author неудобен, где хочется перейти в ноушен или ChatGPT, и сами же совершенствуют этот инструмент (что является вполне боевой практикой работы с LLM).
P.S. Через пару-тройку месяцев мы расскажем, как поживает наш AI-инструмент, вероятно со временем он из генерации контента эволюционирует в copilot-помощника для контент специалистов. Нам будет интересно почитать и ваши пробы пера с LLM внутри EdTech'ов, делитесь опытом в комментариях.
#LLMOps
Co-Author 1/3: Why?
Один из навыков, которому Меня научила книга Валеры и Арсения, – это "видеть лес за деревьями": смотреть на систему целиком (в контексте, а не в вакууме); думать о дизайне системы (и это касается не только ML-сервисов); да и вообще, документировать дизайн систем, с которыми работаешь или которые строишь. В частности, перенос этих знаний так или иначе происходит на менеджмент.
Я развиваю Симулятор ML почти 2.5 года, за это время мы с командой младших авторов (@avalexey @unipply0 @redpf) и project-менеджерами успели перестроить процессы несколько раз, попробовать много разного и прийти к некому более-менее устоявшемуся флоу, которого придерживаемся по сей день, и который продолжаем совершенствовать. Об одном недавнем кардинальном улучшении Я не могу умолчать...
Значит, решили мы в августе систематизировать весь процесс разработки контента от идеи до релиза. Мы написали Мастер-Документ на 7000 слов, который содержит, например:
• Какими принципами мы руководствуемся при написании задач? Каким мы дизайним опыт (UX) для студента?
• По каким метрикам мы определяем качество продукта? – у нас есть целая иерархия метрик от верхнеуровневых денег / костов – до числа багов, разнообразия по доменам и проектам, проходимости, качества текста / картинок / числа отсылок задач друг к другам (к слову, конкретно к этому подтолкнула глава книги "Loss functions and metrics");
• Какая анатомия задач? Какие подвиды задач? – чтобы вы понимали, задачи состоят из истории (мы в таком-то продукте, вот такая проблема, сходи туда, выгрузи то, подумай какую модель применить здесь), теории (и ссылок), требований к решению, решения и самой проверяющей системы, и наконец, картинок в нашем уникальном стиле;
• Как формируем и приоритезируем беклог спринта? Где берём идеи для новых задач? (часть предлагают студенты в нашем Upvoty, часть придумываем мы);
• Какой у нас Definition-of-Done? Как/когда мы релизим? Что делаем после? Где собираем баги?
...и многое другое.
P.S. В комментариях делюсь парой лайфхаков.
#management