6713
I diagnose with data and treat with design. More hardcore materials here – @co_intelligence @martsen | martsen.me | p13n.ru
Свеженький туториал по АБ-тестам от гуру эксперементирования
https://drive.google.com/file/d/18jukd0M4PgHpBKC_uDFQREMyIYSS3qiL/view
Привлекательность легко перепутать с потребностью, но это кардинально различные свойства. Меня привлекает возможность провести полтора месяца на Бермудских островах, но мне это не нужно. Если у меня жёлчные камни, то я нуждаюсь в операционном лечении, но меня это не привлекает. Риэлтор Салли нуждается в том, чтобы продать четыре дома в этом году. А возможность обеспечить четыре семьи счастьем и уютом её привлекает. Она нуждается в МLS-программе, позволяющей опубликовать предложения своих услуг в многочисленных каталогах, но если эта программа будет заставлять её чувствовать себя глупой, то она её не привлечёт.
На короткий срок человек может оказываться под мощным влиянием своих потребностей, но в долгосрочной перспективе его желания могут оказывать более сильное и более выраженное воздействие. Желания людей всегда находят выход после того, как удовлетворены потребности. Когда человеку что-то нужно, он сделает то, что необходимо, чтобы это получить, но если человека что-то привлекает, он предан этому.
Психбольница в руках пациентов. Алан Купер об интерфейсах
В продолжении темы с 2х2 матрицами. Любые инициативы можно раскидать по квадрату "стоимость-ценность". Помогает в сортировке беклога задач.
Читать полностью…
Уже очень давно в моем загашнике полезных материалов пылилась лекция с TED про то, как люди делают выбор. Не помню точно, почему это видео попало в закладки. Вроде бы причиной стал разговор на тему “какие тарифы показывать в разных странах для SaaS продукта”.
Умные мысли из видео
- Мы учимся выбирать с детства, поэтому в разных странах/культурах люди по-разному относятся к проблеме выбора.
Например, в американской культуре дети с детства привыкли к разнообразию услуг и вещей. Они любят сами выбирать.
Бренды подчеркивают, что свобода выбора важна. Например, слоган Starbucks — “happiness is in your choices”.
В азиатской культуре принято прислушиваться к более опытным людям и давать им право выбирать за тебя.
- Много выбора сбивает с толку. Людям сложнее найти оптимальный вариант.
- Если продавец предлагаем широкий набор опций, то для покупателя они могут показаться одной. Клиент может не увидеть разницы.
В видео есть пример, где на территории бывшего СССР проводили интервью со старшим поколением. На нем предлагалось выбрать один напиток из Кока-Колы, Пепси, Миранды и т.д. Всего семь. Когда люди смотрели на это разнообразие, то это для них это сливалось в один вариант — газировка.
- Выбор в безвыйгрышной ситуации негативно сказывается в будущем. Человек затем будем прокручивать в голове вопрос “а если бы я сделал иначе?”. Если в такой ситуации выбор сделают за него (другой человек, “система”, автоматически), то жить будет легче.
В общем, рекомендую выделить 23 минуты жизни и расширить свой кругозор. Ссылка на видео — Sheena Iyengar: The art of choosing | TED Talk.
@mrtsn
Какие есть аналитики? Чем полезен продуктовый аналитик? Задаем аналитику правильные вопросы @ получаем на выходе исайнты и крутые продуктовые решения.
Читать полностью…
Q&A с автором блога "Go Practice!". В беседе Олег рассказывает про опыт в играх, аналитике и продуктоводстве.
Выжал воду из 2-х часового интервью и добавил картинок, т.к. их иногда не хватало.
"Не внедрённый полностью или частично внедрённый продукт — точка кратного роста." Из конспекта вы узнаете почему просто разработать фичу/продукт недостаточно и как правильно провести внедрение.
Читать полностью…
Миссия, Видение и Стратегия
Недавно на работе была дискуссия про продуктовые планы на следующий год. В ходе диалога мы обозначили единый понятийный аппарат, чтобы все участники понимали о чем речь.
Миссия отвечает за вопрос “зачем мы делаем это?”. Она описывает ценности и смысл существования компании. Миссия не должна никогда меняться (в идеале) .
Например, миссия Facebook:
Give people the power to build community and bring the world closer together.
Видение отвечает на вопрос “что мы получим в итоге?”. В каком-то роде — это мечта основателей и топ-менеджмента. В литературе Миссию и Видение бывает меняют местами или вовсе не различают.
Вот как это понимают в Facebook:
People use Facebook to stay connected with friends and family, to discover what’s going on in the world, and to share and express what matters to them.
Стратегия отвечает на вопрос “как мы этого добьемся?”. Это последовательность больших инициатив, которые должны привести нас к заветной мечте (видению).
Обычно про стратегию обсуждают на годы вперед. Для молодого стартапа будет нормальным работать со стратегией в рамках 1-2 лет. Для “китов индустрии” стратегическое планирование обсуждается в перспективе 10 лет и больше.
Запомнить
- Mission = Why
- Vision = What
- Strategy = How
Перевод отличной статьи про HEART с комментариями.
https://library.gv.com/how-to-choose-the-right-ux-metrics-for-your-product-5f46359ab5be
Вернулся из отпуска и готов вернуться к конспектированию лекций Яндекса.
А пока предлагаю почитать конспект лекции основателей "Модульбанка" о ключевых слагаемых идеального продукта и препятствиях на пути его создания.
Схема попаданий пуль по фюзеляжу американских самолетов, которые возвращались с миссий во время второй мировой.
Читать полностью…
Приоритезируем продуктовые изменения отталкиваясь от A/B-тестов
Ребята из Intercom знают, сколько нужно данных и времени для получения статистически значимых результатов в A/B-тесте.
Предлагают использовать это знание при планировании работ над продуктом.
Пример из статьи:
Проект А будет в разработке 30 дней. Ожидаем рост целевой метрики с 10% до 15%. Для получения достоверных результатов потребуется собрать 599 “событий”. На сбор данных потребуется 2 дня. Итого - 32 дня.
Проект Б будет в разработке всего 2 дня. Ожидаем рост целевой метрики с 10% до 11%. Чтобы уловить такой незначительный эффект потребуется собрать 14313 события. На это уйдет 47 дней. Итого - 49.
Статья — A/B tests that do more than validate - Inside Intercom
Полезные инструменты для подсчета размера выборки — Evan’s Awesome A/B Tools - sample size calculator, A/B test results, and more
А кто ты?
Забавная nbabaeva/%D0%BF%D0%BE%D1%80%D1%8F%D0%B4%D0%BE%D0%BA-%D0%B2-%D1%88%D0%BA%D0%B0%D1%84%D1%83-%D1%81-%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%BA%D1%82%D0%B0%D0%BC%D0%B8-99d732aa101d?source=linkShare-a193b2037c01-1508355713">классификация продактов и что они умеют.
Измеряем эффективность интерфейса
Самый известный и, наверное, старый способ измерения удовлетворения от интерфейса - это опросник System Usability Scale (SUS).
Респондент проходит опрос, по проверенной годами формуле считаем ответ. Получаем на выходе число от 1 до 100, которое характеризует сложность:
- 1 - непонятно, от слова "совсем"
- 100 - "божественный" UX
Одна проблема - 10 вопросов. Если показать SUS неподготовленной аудитории, то конверсия в заполнение будет маленькой. Просто так на сайт не вставить.
Поэтому лучшие умы трудятся не покладая рук, чтобы изобрести более емкий опросник и при этом не потерять в качестве.
Последнее достижение в этой области - это опрос UMUX-Lite (Usability Metric for User Experience Lite). В нем всего два вопроса, которые оцениваются по 7-бальной шкале:
- [This system’s] capabilities meet my requirements.
- [This system] is easy to use.
Джефф Сауро говорит, что штука очень многообещающая и хорошо коррелирует с SUS. Сам он нашел этот опрос полезным при оценке внутренних IT-продуктов. Притом он предложил использовать 5-бальную шкалу, что еще немного упрощает прохождение теста.
Когда следущий раз задумаетесь о редизайне продукта, то можете доказать его эффективность подобной метрикой.
Почитать можно тут - https://measuringu.com/umux-lite/
Сейчаc идет конференция про ошибки и грабли, которые собирают на своем пути продуктологи и аналитики при развитии продукта. Выбирайте для себя интересное и смотрите онлайн.
Читать полностью…
Ну и немного юмора из той же книжки
В компьютерной индустрии широкое хождение имеет такой анекдот: человек, пилотирующий небольшой самолёт, заблудился в облаках. Он снижается и замечает офисное здание неподалёку. «Не подскажете, где я нахожусь?» — кричит он человеку в открытом окне. Человек отвечает: «Вы в самолёте, примерно в тридцати метрах над землей». Пилот немедленно ложится на верный курс, находит аэропорт и совершает посадку. Его пассажиры в изумлении интересуются, как он определил, куда лететь. И пилот говорит: «Ответ этого человека был абсолютно точен и правдив, однако совершенно бесполезен, поэтому я сразу понял, что это разработчик программного обеспечения из Microsoft, а я знаю, где находится здание Microsoft по отношению к аэропорту».
Продолжаю конспектировать видео школы менеджеров Яндекс. На этот раз предлагаю пробежаться по 9-й лекции. В ней тезисно перечислены ошибки и советы для менеджеров проектов. Без откровений, но полезно.
Читать полностью…
Матрица результатов исследований по типам. Берем во внимание два типа данных: данные от пользователей (UX) и данные бизнеса ($). И разбивает по типу источника знаний.
Читать полностью…
Как докопаться до сути проблемы в интервью с пользователем?
Итак, вы захотели провести интервью с потребителями. “Хочу собрать инсайты и услышать потребности клиентов” — типичная мотивация в голове неопытного продакта. Эта цель слишком расплывчата. Она ведет к расплывчатым результатам. С таким подходом из интервью мы узнаем только очевидные вещи.
Чтобы получить инсайты из интервью, мы должны “протаранить” стену очевидных ответов пользователей.
В 1963 зоолог Нико Тинберген получил нобелевку за изучение поведения животных. Он предложил рассматривать поведение с четырех сторон:
1) для чего оно нужно?
2) как оно работает?
3) как оно было выработано?
4) как оно эволюционировало?
Давайте используем это на людях…
Пример: почему мы останавливаемся на красный свет светофора?
Функция: защищаемся от травм и проблем с ГИБДД
Как работает: мозг распознает красный свет, сигнал передается в нервную систему и останавливает шаг
Онтогенез: этому учат в школе и так поступают родственники/друзья/по ТВ
Филогенез: с 1868 года красный свет используется в светофорах
По такому принципу можно рассматривать любые вопросы поведения, в т.ч. и пользователей на сайте и в приложениях.
Алгоритм разговора:
1) задаем наводящий вопрос юзеру
2) слушаем ответ
3) копаем вглубь вопросами Нико Тинбергена
4) записываем ценную информацию
5) задаем следующий наводящий вопрос
Почитать подробнее и посмотреть примеры вопросов для продуктового исследования можно в статье “Going Beyond the Obvious”.
Красочная презентация от Гуглера про ML и прочее. Приятно посмотреть. Есть теория и показаны примеры использования ML в "бою".
@mrtsn
ProductSense
15 и 16 марта 2018 года в Москва планируют провести продуктовую конференцию на 500 человек.
Будет три трека:
1. Развитие продукта
2. Маркетинг
3. Монетизация
Большие презентации, маленькие доклады, круглые столы и просто общение в кулуарах.
Программа формируется. Почитайте подробнее по ссылке. Там можно и зарегистрироваться.
Другая интересная новость — можно предложить свой доклад. Я уверен, что вам есть о чем рассказать на публике. Подумает об этом.
Я сам хочу предложить свою тему и прошу вас помочь мне определиться с ней через голосовалку. Ну и пишите в личку (@martsen).
🤖 — Что такое аналитика? Виды аналитики (для новичков)
🎃 — Миксуем качественную и количественную аналитику (продвинутый уровень)
🎱 — Выстраиваем процесс продуктовой аналитики (продвинутый уровень)
@mrtsn
9 декабря в офисе Avito прошел митап по продуктовой аналитике.
Посмотрел 3 доклада из 5, которые наиболее “продуктовые”. Даю выжимку первого выступления:
Доклад “Кросс-продуктовые эффекты, или как мы оценивали вклад «Электричек»” от Екатерина Лосевой из Туту.ру поведал историю об эволюции подходов компании к понимаю вклада одного продукта в другой.
“Электрички” не приносят денег напрямую. Там нельзя купить билеты. Основная ценность раздела для пользователей — это просмотр расписания. Аудитория очень активная и совершает покупки в других разделах-продуктах.
Первый подход: добавка к конверсии
У Туту.ру есть аудитории “Электричек” и “ЖД-билетов”. Составили гипотезу, что пользователи обоих разделов более лояльны и лучше покупают. Конверсия пользователей “Электричек” и “ЖД-билетами” выше чем просто пользователей “ЖД-билетов”. Изучая метрику конверсии оказалось, что она неверно отображает суть. Аудитории этих разделов разные, что ведет к противоречивым результатам.
Второй подход: сценарии
Стали изучать сессии пользователей. Там, где пользователи заходили в “Электрички” считаем, что они внесли вклад. Но нечестно присваивать всю славу только “Электричкам”. Пользователь заходит в другие разделы и нужно оценить их вклад в покупку. Появилась задача распределения прибыли по продуктам в зависимости от “лояльности” пользователя.
Перед разработкой метрики в компании ответили на главный вопрос — для чего на нее будут смотреть и какие решения будут принимать? Если перераспределять долю принесенных денег по продуктам, то это не принесет суммарно больше денег. В долгосрочной перспективе компания хочет получать больше прибыли и ей нужно больше лояльных пользователей. Следовательно, продуктовые команды будут работать над лояльностью аудитории. И метрика должна отображать этот вклад.
Третий подход: индивидуальная атрибуция
Суть: прибыль от заказа распределяется по всем продуктам, которые внесли вклад в лояльность пользователя.
Сценариев и продуктов очень много. Факторы и их веса при создании модели выбирали экспертной оценкой. Посмотреть подробнее можно здесь.
Резюме
- Вклад немонетизируемого продукта можно оценить
- Нужно стремиться к объединению аудитории своих продуктов
- Решая задачу нужно понимать, как будут использовать ее результаты
@mrtsn
Собрала в одну заметку перевод статьи от Google Ventures и мои комментарии на тему "Как выбрать метрики продукта" 💪
buldakova/%D0%BA%D0%B0%D0%BA-%D0%B2%D1%8B%D0%B1%D1%80%D0%B0%D1%82%D1%8C-%D0%BF%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5-%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B8-%D0%B4%D0%BB%D1%8F-%D0%BF%D1%80%D0%BE%D0%B4%D1%83%D0%BA%D1%82%D0%B0-7a76a2e1c6c5" rel="nofollow">https://medium.com/@buldakova/%D0%BA%D0%B0%D0%BA-%D0%B2%D1%8B%D0%B1%D1%80%D0%B0%D1%82%D1%8C-%D0%BF%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5-%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B8-%D0%B4%D0%BB%D1%8F-%D0%BF%D1%80%D0%BE%D0%B4%D1%83%D0%BA%D1%82%D0%B0-7a76a2e1c6c5
Прочитал статью Julie Zhuo про подход разработки продуктов в Facebook.
Он состоит из четырех разделов:
- Фрейминг — определение проблемы.
- Исполнение — разработка решения.
- Оценка успеха — цели и метрики.
- Динамика команды — отношения в коллективе.
Больше всего со мной резонирует раздел “оценка успеха”. Я много раз осознавал на опыте, что правильная цель объединяет команду и делает ее труд эффективнее.
Самые продуктивные спринты в собственном стартапе были тогда, когда мы ставили цель, с которой была согласна вся команда. Неважно какой был результат. В конце мы получали знание: это сделали правильно, а это — нет. Общая цель и понимание “успеха” давали силы идти дальше.
Сейчас я работаю в компании с сотнями людей, но этот принцип неизменен. Понимание цели и внятные метрики успеха снимают большую часть вопросов в разговоре с командой и стейкхолдерами.
Инвестируйте время в формирование целей, метрик и их объяснение. Это сложно, но чертовски полезно.
Ссылка на статью — Building Products – The Year of the Looking Glass – Medium
@mrtsn
Ошибка выжившего
Во время второй американцы изучали как были обстреляны самолеты, которые возвращались с миссий. Большинство попаданий приходилось в фюзеляж около двигателей.
Они хотели решить проблему оптимизации: как достичь компромисса между защитой и маневренностью? Большее количество брони приводило к снижению маневренности.
Армейские офицеры решили, чтобы улучшить шансы на выживание, бронь самолета должна быть сосредоточена на местах, где самолет был поражен больше всего, т.е. на фюзеляже. С меньшим количеством брони самолеты получат большую маневренность.
Абрахам Вальд из Statistical Research Group (SRG) не согласился с этим решением. Он предположил, что поверхность самолета должна быть равномерно поражена пулями. Искать ответ нужно не в самолетах, которые вернулись обратно, а в тех, которые не смогли. Вальд утверждал, что если бы в фюзеляж было больше попаданий, то самолеты все равно бы вернулись, т.к. пилоты выживали. Схема попаданий пуль не отображала всю картину.
В результате он рекомендовал установить дополнительную защиту на те участки, где количество пробоин было минимальным. Рекомендация была основана на выводе, что защищать нужно от тех попаданий, которых Вальд не видел, — самолеты, которые их получили, не возвращались.
К чему я это? Старайтесь поговорить с клиентами, которые решили отказаться от вашего продукта (не выжили). Возможно, вы узнаете много интересного.
Видео и презентации с AIC. Analytics Day: Fail Compilation.
Читать полностью…
Спасибо за отзывы по моим конспектам. Буду продолжать. Также спасибо за критику, некоторые места в конспекте я написал обрывисто. Планирую под конец этого “марафона” все перечитать, поправить и выложить исправленный сборник.
Сегодня посмотрел часть лекции №3. Лекция огонь, но больше предыдущих в 2 раза и не такая структурированная. Поэтому конспекта по ней сегодня не будет. Постараюсь выложить завтра.
Взамен предлагаю почитать вот такую статейку…
Недавно Яндекс опубликовал курсы для менеджеров продуктов. Все рекомендуют их посмотреть. А я взял и посмотрел. Как результат - сделал для вас небольшой конспект первого урока.
Читать полностью…
Вот так я понял, что старею.
Когда я начал заниматься дронами, они были только в начале цикла. Сейчас они уже сползают вниз. А машин-лернинг все также на высоте.
Подробнее тут.
Я тут осознал, что уже два раза ссылался на AirBnB и их Data University, но так и не дал ссылку на оригинал материала. Восполним же этот небольшой пробел.
В своем блоге они рассказывают про подноготную этого мероприятия. Рекомендую почитать на досуге и вдохновиться.
