Слепые пятна
Рост стартапа диктуется ростом фаундеров
Чтобы стать следующей версией себя, не важно, кто ты – специалист, руководитель, фаундер – нужно хорошо понимать себя и свой прошлый опыт. Но не только (не столько) для того, чтобы знать свои сильные стороны, а чтобы знать в какой роли, в какой модели мышления ты привык работать – и стараться чаще выходить за её пределы. Глубокое осознание своего бекграунда: за что ты привык получать валидацию от реальности?
Например, будучи студентом, легко привыкнуть мерить свой успех по решенным задачам / средним баллам на экзаменах / полученным сертификатам... а не заведёнными с нуля проектами (где "положительное подкрепление" даётся сильно реже, потому что уже не получится делать что-то под диктовку, много попыток не увенчивается успехом, конечный результат нужно продумать самому – проще сказать себе "я пока не готов" и вернуться к старому). Плохо отплачивает тот учителю, кто навсегда остается только учеником.
Если ты machine learning engineer, легко привыкнуть решать все задачи с помощью ML (где это надо, и где не надо), вместо того чтобы отойти на шаг назад, посчитать цифры, порассуждать from the first principles – и понять, что бизнес-боль закрывается на 90% за пару вечеров простым бизнес-правилом / алертом / классификатором на LLM API и т.д.
К слову, и с переходом от обучения к боевому опыту, и с умением увидеть полную картину бизнес-процессов, не ограниченную машинным обучением – выручает конечно же Симулятор DS (кстати, в прошедшую субботу на Live-coding написал 100-ую задачу, итого, к 1 сентября у нас юбилей).
Короче говоря, всегда следует искать bias-ы своего мышления (где происходит регрессия к своему старому подходу решения той или иной проблемы?). Если ты привык продавать лично – учись маркетингу, оружию массового поражения. Если привык делать под диктовку вышестоящих коллег – учись когда нужно не соглашаться, а также видеть проблемы и предлагать решения сам. Если привык подстраиваться под чужое расписание – начинай проактивно доносить коллегам, что подходит, а что нет для твоей максимальной продуктивности.
Не будь заложником статуса кво и своих старых привычек. Рефлексируй, как ты привык действовать в прошлом, и задавай вопрос, остался ли этот подход актуальным в настоящем.
Мем прислал друг, очень жизненный
При разработке своей #LifeOps (да даже организации процессов в команде) всегда держите в голове «регуляризацию»:
Система, которая создается, чтобы упрощать жизнь в 7 раз, не должна усложнять жизнь в 7 раз
Написал в поддержку Notion, мол, грозит ли удаление, если аккаунт создан в РФ, но ты не живёшь в РФ, говорят это окей. Если твой акк планируется удалять, предупредят заблаговременно.
Кому-то уже писали?
Миграция аккаунта с Individual Developer Account на Organization Developer Account:
1. Получение D-U-N-S Number
Что это такое можно узнать здесь. Кратко, D-U-N-S номер – это международный идентификатор компании, благодаря которому она будет находиться в общем реестре, будет храниться её история, для Apple и других компаний, которые будут с вами работать, будет сообщаться оценка благонадёжности вашей компании.
1.1. Чтоб получить D-U-N-S, нужно зайти на Dun & Bradstreet, кликнуть на Get a D-U-N-S Number.
1.2. С вами по почте на следующий день свяжется организация-представитель, которая работает с вашей страной и с рядом других стран (пример на скриншоте №1). Выдадут анкету, которую нужно заполнить.
Кстати, к этому моменту у вас должны быть домен компании и корпоративный e-mail.
1.3. Заполняете анкету (для точности рекомендую с юристом). Ставите печать, сканируете, отправляете.
1.4. Буквально на следующий день вам сообщают D-U-N-S номер и говорят инструкции, которые понадобятся при заполнении анкеты.
1.5. Ждёте около 1 недели, пока он появится в базе данных D&B (и, соответственно, будет доступен Apple). Проверять здесь.
2. Заявка
2.1. Заходите в Apple Developer, кликаете на Migration to Organization Account.
2.2. Вам приходит письмо (скриншот №2), где просят заполнить заявку. Вводите как вам говорили в шаге 1.4.
2.3. Вас попросят удостовериться, что вы готовы (скриншот №3): 2-факторная авторизация, рабочий вебсайт и т.д. Если готовы, шлёте ответное письмо, мол, "погнали".
На время миграции нельзя будет пушить обновления приложения, даже для бета-пользователей.
3. Финальные подтверждения
3.1. Вам назначат человечка, который вас будет вести дальше. Вам через дня два скажут написать в поддержку, заказать звонок.
3.2. Я лично зашёл, опции оставить номер для обратного звонка не было, было обращение по Email. Собственно, написал номер туда и сообщил в чём затык.
3.3. В следующий рабочий день вам звонит тот самый человечек, уточняет пару вещей (вспомогательные номера, почта и т.д.)
3.4. На почту приходит юридическое соглашение (скриншот №5). Ставите галочки, со всем покорно соглашаетесь.
Конец, вас сразу же переводят.
P.S. Ваша подписка на Developer Program автоматически перенесётся на Organization Account, ничего заново оплачивать не придётся.
#iOS
Перепробовал миллион хаков для продуктивности: от дневников до нейросетей и ноотропов.
Констатирую, что самый действенный — просто вовремя лечь спать 🛌
Vibe is all you need
P.S. Про разницу между Retention и Rolling Retention можно прочитать здесь: https://gopractice.ru/product/nday-retention-rollling-retention/
Одно из самых полезных применений нового StructuredOutput в OpenAI API – это использование Enum в intent classification (с чем отлично справляется gpt-4o mini). Раньше были не редки случаи, когда при всех требованиях порой gpt нет нет, да и придумает новый тег. Теперь конкретно здесь галлюцинации исключены технически. Радует.
#LLMOps
68 за эту неделю
- Ниже дисперсия 👆
- Deep Work заняла 80%
Хорошо
Это мы смотрим https://www.youtube.com/watch?v=B7Le7DEmezI
Читать полностью…
Очень крутая таблица из фреймворков мышления для стартапов/бизнесов разных стадий от Лейлы Хормози (жена и бизнес-партнёр Алекса Хормози)
https://www.youtube.com/watch?v=JiV347H7vNQ
1. $0-$1M годовой выручки (<$100K monthly revenue):
• фокус на 1 аватаре пользователей, 1 продукте, 1 канале привлечения
• консистентность и поиск PMF (строить то, что люди хотят, Алекс называет это "найти starving crowd", голодную толпу – категорию людей, у которых просто горит от какой-то боли; в нашем случае это молодые парни и ежедневный вопрос "что ей написать / что ответить?")
• продажи-продажи-продажи
2. $1-$10M ($100K-$1M MRR):
• наращивать LTV, Retention
• увеличивать маржу, сокращать косты
• тестировать другие каналы дистрибьюции
3. $10M-$50M ($1M-$10M MRR):
• приводить операционку в порядок
• ставить всё что можно на конвейер
• нанимать таланты и т.д.
#startup
Свежее эссе Paul Graham про Founder Mode, стиль управления компанией, отличный от типичных наёмных менеджеров. Пересказывать не буду, да и сам Founder Mode там не описан — видимо, нужно дождаться записи выступления Brian Chesky.
1) Часто фаундеры компаний получают следующий совет для масштабирования бизнеса: «hire good people and give them room to do their jobs» (или подобные)
2) Однако многие ретроспективно оценивают данный совет как негативный
3) Дело в том что те, кто его дают, рассказывают про стиль управления наёмных менеджеров, окончивших бизнес-школы. Они рассматривают поддеревья организационной структуры как черные ящики. Они говорят своим непосредственным подчиненным, что хотят увидеть (какой результат), а те решают, как этого достигнуть. Но C-level не вдаётся в подробности, что и как они делают. Стиль влезания в детали кто-то обзовёт «микроменеджментом» (осуждаю такой ярлык — моё примечание, не Paul'а)
4) Это отличается от стиля ведения бизнеса, если компания с первого дня — твоя
5) Steve Jobs проводил ежегодные выездные отпуски для тех, кого он считал 100 самыми важными людьми в Apple. И это не были 100 самых высокопоставленных человек в организационной структуре. Можете ли вы представить, каких усилий будет стоить ввести эту практику в средней компании? Да половина менеджмента сразу бунт поднимет)
6) Всё вышенаписанное не означает, что нужно избегать делегирования
После подкаста levelsio решил устроить себе мини-челлендж, постить в Твиттор каждый день, даже самый маленький апдейт по Vibe + #LifeOps хаки, которые не тянут на пост в блоге
Сказал что переехал на Supabase, хостинг баз данных (кстати, сам узнал о Supabase от Сереги из нашей команды контента в Симуляторе DS, с которым мы работаем больше 2 лет – сначала ты их учишь новому, затем они тебя)
Не знаю, что там по алгоритмам, но Меня без тегов и чего-то довольно быстро пролайкала / репостнула команда фаундеров Supabase. Мелочь, а приятно 🥹
Буду рад вашей подписке: https://x.com/uberkinder_
Кстати задумался, в ChatGPT, как вы заметили, тоже пропали кнопки лайк / дизлайк
Какие у вас догадки, как OpenAI теперь собирают фидбек (какие генерации хорошие, какие плохие)?
Сходу гипотезы:
- сниппет с кодом скопирован = хорошо
- исполняемый код закончилась с ошибкой = плохо
- генерация прервана = плохо
- повторная генерация = предыдущие плохие
- вернулся к одной из предыдущих = последующие были хуже
Иногда появляется explicit плашка «полезен ли диалог so far?»
А какие у вас еще идеи?
⚡️Notion в России пришёл конец. Все российские аккаунты с 9 сентября превратятся в тыкву, говорится в рассылке компании.
Диджитал-спецы переходят на заметки и блокноты.
Остался финальный босс – пройти AppStore Review
#iOS
Следил за Levelsio благодаря Игорю Котенкову ещё с зимы
Прослушал, пока ехал в поезде. Очень понравилось
https://youtu.be/oFtjKbXKqbg?si=Z8ulUD4mlxTEy6IQ
P.S. Кстати, постил его книгу /channel/bogdanisssimo/281
Implicit Feedback
Одно из маленьких, но важных преимуществ приложения по сравнению с ботом – то, что ты можешь сильно больше ловить действий пользователя и получать сильно "плотнее" фидбек.
К примеру, в боте для сбора фидбека о том, какие ответы плохие, а какие хорошие, под каждым ответом стоят 👍 и 👎. Люди редко ставят лайки и дизлайки, это требует дополнительного действия вне основного флоу использования. К тому же, лайк ставят только когда бот дал ну совсем ебовый ответ.
В приложении в этих кнопках нет необходимости: в нём при нажатии на ответ, он копируется (и это можно трекать, понимая, какой ответ пользователь взял в бой). В боте тоже можно копировать сообщения при нажатии, если оно оформлено моноширным шрифтом, но телега не даёт возможности трекать такие действия.
Есть такая небольшая книжечка, Learning to Rank From Implicit Feedback, которой со Мной как-то давно поделился Саша Сахнов (прикладываю PDF), она рассказывает о том, как строить рекомендательные и поисковые системы, как их валидировать, как собирать фидбек от пользователей.
В ней как раз вводится разделение на explicit и implicit feedback:
• Explicit Feedback – требует от пользователя (или эксперта) действий вне стандартного использования сервиса, например, поставить лайк/дизлайк, пройти опрос, оценить от 1 до 5 и т.д. Это даёт более сильный сигнал, но его собирать крайне сложно (малый % пользователей захочет на это отвлечься).
• Implicit Feedback – это неявные признаки заинтересованности пользователя, например, сколько действий он сделал, до какого места досмотрел видео, перешёл ли по ссылке или на страницу рекомендованного товара, скопировал ли ответ Vibe, переслал ли другу. Отдельно взятый сигнал менее надёжен, однако эти "следы" оставляют практически все пользователи в большой количестве, значит, данных больше и на этом можно обучать/валидировать модели точнее.
Общий вывод, что implicit – круче и на объёме сильно достовернее, хоть и требует большей изобретательности (в то время как explicit сильно разрежен и на него трудно учиться).
Так, в нашем случае, как сказал, сигналом будет копирование ответа и будущая цель, во-первых, чтобы на каждый запрос пользователя был хотя бы 1 ответ, который пользователь скопирует (в поиске и e-commerce это называют Success Rate или CTR), во-вторых, чтобы порядковый номер первого скопированного ответа был минимален (Mean reciprocal rank).
В целом, в любом сервисе (да, в принципе, и в любой работе с людьми) нужно искать способы улавливать предпочтения клиента по косвенным признакам, чтобы максимально упростить себе и пользователю передачу обратной связи.
Как бороться с абьюзом?
За этот пост Меня будут ненавидеть пользователи…
Если у вас LLM-продукт и подписочная модель, есть риск, что на небольшом числе пользователей юнит-экономика не сходится
Среди этих пользователей есть как те, кто пользуется часто, в рамках нормы («активные пользователи»), а есть те, кто буквально спамит запросами («гиперактивные пользователи»), в нашем случае, кидая в Vibe каждый профиль на сайте знакомств и каждую переписку)
Гиперактивных у нас 1%, но денег они раньше ели прилично относительно стоимости подписки, по ним мы были в сильном минусе… пока мы не воспользовались старым советским приемом: временно переводить их на 4o mini, если они сделали больше, чем N запросов за последние M часов. Я бы назвал это «введением мягких лимитов»
Сервис всё ещё остаётся доступен, жестких лимитов на сообщения и кредитов всё ещё не вводится. Да, качество ответов частично падает (хоть и скорость растет). Но для ребят кто хочет «брать количеством», на Мой взгляд, идеальный вариант, который не бьет по нашему кошельку.
И овцы целы, и волки сыты.
Решение, конечно временное, в будущем когда модели будут дешеветь и дальше, в этом отпадёт необходимость.
Но пока нормальная рабочая схема, как срезать косты не обижая 99% пользователей.
Больше фишек по работе с LLM по тегу #LLMOps
У Меня для каждого из вас маленькац просьба (которая займёт не больше 1 минуты) – особенно для тех, кто уже давно со Мной
В этом блоге Я открыто показываю свой карьерный, а теперь и предпринимательский, путь, делюсь находками, извлечёнными уроками, показываю, как Я мыслю
Все полезные посты Я сопровождаю тегами для удобства вашей навигации:
#LifeOps – организация жизни, продуктивность, дисциплина, образ жизни
#LLMOps – о создании AI продуктов, техники, приемы, инструменты
#Startups – о построении и росте стартапов, Мой опыт из серии «почему Я не знал об этом раньше?»
#VIBE и #iOS – история и эволюция нашего продукта, Vibe
(он при нажатии на тег открываются только посты этого тега)
Теперь сама просьба: найдите ровно 1 пост, который был для вас полезен больше всего и поставьте столько звёзд, во сколько вы оцениваете для себя полученные из него знания (это может быть как 1 здезда, так и 200-500)
Это поможет Мне объективно понять, за что вы больше всего любите этот блог, и каких постов здесь должно выходить сильно чаще
Спасибо, что читаете 💫
Запись эфира с Ником Берёзой
https://youtu.be/ylIHg4Q1z78
Мы поговорили про:
• Путь Ника из EdTech в крипту – из крипты в венчур
• Как работает Unimatch AI, как происходит скоринг стартапов?
• Как собрать команду чемпионов? Как мотивировать людей?
• Как поднять Pre-Seed раунд инвестиций при оценке в $5M?
• Чем отличается образ мышления C-level и фаундера?
и о многом другом
Подписывайтесь на блог Ника, там много полезного
Напоминаю, что сегодня в 20:00 по Москве эфир с Ником Берёзой, фаундером Unimatch.AI
Читать полностью…
Поймал себя на мысли, что Мне по вайбу мир стартапов напоминает "Тёмный Лес" у Лю Цысиня
Читать полностью…
Кто кодит с Cursor, поделитесь пожалуйста своим опытом 🙏
Читать полностью…
Весной 2023 мы с командой трансформировали Симулятор Data Science из практикума по ML – в настоящий "инкубатор" AI-стартапов на минималках.
Теперь кроме задач-квестов по всем популярным индустриям и продуктам (кстати, мы доросли уже до 800+ студентов и 100+ задач), ребята уже с первого дня получают возможность присоединиться к одному из командных проектов. Все проекты уникальные и разрабатываются в open-source, поэтому каждый из участников может добавить его в своё резюме, рассказать, за какую часть лично он отвечал в проекте, сопровождая метриками по реальным пользователям, и работодатель сможет увидеть твой вклад в проект и твою консистентность, дисциплину по истории коммитов – настоящая меритократия.
Недавно мы решили пойти на эксперимент и, учитывая что желающих много, начать запускать проекты парами: 2 команды по 3-5 человек, проекты решают ± одну и ту же проблему, но разными подходами, какие выберут в ходе брейншторма и экспериментов сами студенты. Это добавляет соревновательный аспект в обучение, увеличивает вовлечённость, добавляет челлендж. Такой Хакатон-like вайб, но на 1-2 месяца и с целью получить рабочее MVP, с которым можно взаимодействовать, а не просто красивую презу для жюри.
Ранее у нас была пара проектов CyberTolya и KarpovAI, оба из которых помогали находить ответы на свои вопросы по видео с выбранного YouTube-канала. Один на основе TF-IDF/BM25, другой на основе RAG. Как не трудно догадаться, обкатывались оба сервиса прямо на karpovcourses/videos">karpov.courses.
А в начале этой неделе мы запустили 2 проекта: MoodMeter vs. VibeCheck. Оба сервиса решают одну и ту же боль: понимать, как меняется настроение / здоровье / вайб группового чата по дням, неделям и месяцам. Кстати, идею (sentiment score) косвенно подсмотрел на одном из слайдов у Ника Берёзы, с которым у нас в пятницу совместный эфир (см. закреплённый анонс).
Кто ЦА: админы чатов и коммьюнити менеджеры, тимлиды и их рабочие чаты сотрудников, фаундеры с чатами пользователей, авторы онлайн-курсов и чаты студентов.
Собранные сентименты и их динамику в последствие можно выводить на дашборд вместе с разными инсайтами (в какие конфликтные темы периодически скатывается чат? какие топ-N ключевых слов?), на их основе можно кидать алерты (бот может говорить, мол, "чуваки, слишком высокий градус токсичности, а ну завязывайте") и предоставлять закрытую аналитику для админа чата (например, кто из команды или из пользователей чаще всего накидывает на вентилятор в чате? с кем нужно поговорить тет-а-тет?).
Самому интересно, что придумают ребята. Обе команды начали в понедельник, но обе уже написали первичную версию ML Design документа, кто-то уже сделал прототип модели и начинает оборачивать самую сырую версию в Docker. В частности, любопытно, как решат вопрос с User Privacy и как будут минимизировать косты.
Что сами думаете про такого рода сервис? Был ли бы он полезен вам? Делитесь в комментариях.
Присоединиться к Симулятору DS можно уже сегодня, перейдя по ссылке
