6713
I diagnose with data and treat with design. More hardcore materials here – @co_intelligence @martsen | martsen.me | p13n.ru
Данные — это необработанные наблюдения пользователей.
Выводы отражают закономерности между точками данных.
Аналитические данные (инсайты) — это практические рекомендаии, основанные на исследованиях и бизнес-целях.
https://www.nngroup.com/articles/data-findings-insights-differences/
Широко известный а узких кругах продуктовый дизайнер работает над созданием ассистента, который обучен на тонне статьей и выступлениях автора.
Вот, думаю, это интересное применение оцифровки своего опыта и предоставления его людям.
https://ask.lukew.com/chat
Много таких жизненных наблюдений постепенно начинают использоваться в продуктовой аналитике.
В больших компаниях даже открывают отделы бехевиористики, которые работают над объяснением данных из аналитики и экспериментов.
Вот, например, как устроен такой отдел в Uber
https://www.uber.com/en-EE/blog/applied-behavioral-science-at-scale/
Хороший пример, когда недостаточно просто предсказать идеальную скидку. Надо не забывать и про субъективное восприятие ценности предложения.
Читать полностью…
I asked Twitter to help define "Product Thinking". I finally got around to grouping the 120 odd responses...
John Cutler
Src
Еще бенчмарки по метрикам от a16z. На этот раз для социальных приложений.
https://a16z.com/2023/03/03/how-to-benchmark-your-social-app/
https://steveblank.com/2023/02/14/startups-that-have-employees-in-offices-grow-3-%c2%bd-times-faster/
Офис или удалёнка?
Алгоритм по составлению тезисов для презентаций :)
Читать полностью…
Каждый год Бэн Эванс выпускает свой обзор трендов индустрии. Он занимается аналитикой рынков для венчурных фондов 20+ лет и специализируются на медиа, e-com и технологиях в целом.
Презентация на 104 страницы. Много фактов и мыслей. Конечно же, пишет про турбулентность экономики и генеративные модели.
Если выбирать что-то одно, то акцентирую внимаю на этом:
У пяти миллиардов человек есть смартфон
10 лет назад 3/4 графика шло из "развитых стран". Теперь ситуация другая -- 75% мобильного трафика генерируются в Китае, Индии, Африке.
Западные рынки уже не такие массовые в плане людей/трафика и высококонкурентны. Точки роста различных интернет-бизнесов теперь связаны с этими странами.
Если вы думаете про развитие бизнеса за пределами родного рынка, то посмотрите на развивающиеся страны.
Пирамиды ценностей от Bain - интерактивные версии
В 2018 году консультанты из Bain структурировали ценности для людей и для компаний.
А буквально недавно я обнаружил их интерактивные версии, которые дают расшифровку определний и показывают примеры.
Как посмотреть:
1. Заходим по ссылкам: Elements of Value (b2c) и Explore the B2B Elements of Value
2. Нажимаем на skip, чтобы сразу перейти к самим пирамидкам (ну или можно пощелкать слайды)
И код есть!)
https://anonymous.4open.science/r/b25ed0d0-5759-4a13-a65a-a02c80cbcb8a/simulation4_1.R
Ресерчеры и аналитики из Мордакниги установили, что меньшее количество нотификаций в долгосрочке обеспечивает лучшую возвращаемость в продукт. Хотя поначалу продуктовые метрики и просели.
И выводят два тезиса:
* Результаты эксперимента в короткосроке и долгосроке могут сильно отличаться
* Меньше нотификаций, но более качественных полезнее в долгосрочной перспективе.
Вроде ясно и очевидно, но представляю сколько моральный и волевых усилий потребовалось для запуска такой инициативы. На масштабах Фейсбука, потеря сессий выливается в гигантские недополученные суммы от показа реклам.
Чтобы этот эксперимент провести и защитить использовали данные из опросов и фактического поведения аудитории.
Еще один хороший пример как смешивание разных типов данных и методов помогают в сложных бизнес-ситуациях.
AnalyticsAtMeta/notifications-why-less-is-more-how-facebook-has-been-increasing-both-user-satisfaction-and-app-9463f7325e7d" rel="nofollow">https://medium.com/@AnalyticsAtMeta/notifications-why-less-is-more-how-facebook-has-been-increasing-both-user-satisfaction-and-app-9463f7325e7d
Попросили новомодный ChatGPT объяснить что такое products led growth. Вот ответ:
"Product-led growth is a way to get more people to use and like a product. We make the product really good and easy to use, and then people will want to tell their friends about it. That's how we grow."
А потом попросили объяснить этот же термин для студентов и ученых и там какая-то слишком заумная речь. Можно почитать на LinkedIn.
Я люблю давать простые объяснения, но сам читаю душные большие тексты. В них все же зачастую больше полезных нюансов и уточнений.
Вышел новый тренд-репорт от Fjord/Accenture. Последние два года у них там попсово все расписано, но интересно полистать, чтобы понять куда ветер дует.
https://www.accenture.com/us-en/insights/song/accenture-life-trends
Гайд по немодермруемым ЮТ от разработчиков платформы :)
Из гайда вы узнаете:
1. Какие есть виды немодерируемых тестов и когда такие тесты применяются.
2. Как подготовиться к их проведению.
3. Как проанализировать результаты.
https://pthwy.design/guide
Как продуктовая команда фитнесс аппа применила «модель крючка» для дизайна приложения формирующего привычку.
Статья, к сожалению, поверхностная. Не хватает метрик или каких-нибудь деталей принятия решений. Но пролистать, освежить в памяти модель hooked и посмотреть релевантные ссылочки можно.
https://www.nirandfar.com/hooked-example-gatorade-app/
Оптимизируй это немедленно
Прочитал книгу Георгия Нанеишвили “Оптимизируй это немедленно”. Георгий отвечал за развитие партнёрской сети Qlik в России. Кто не в теме Qlik — популярная BI-платформа, которая на рынке РФ входила в большую тройку иностранных BI: Power BI, Tableau и Qlik.
Звезда Клика на рынке РФ закатилась — Qlik покинул рынок России. Но кейсы остались. Собственно, книга построена на кейсах автоматизации разных компаний (в основном крупных). И надо сказать, это самое интересное описание кейсов, которое я до этого встречал.
Понравился кейс с моцареллой. Перескажу своими словами.
Крупному дистрибутору пищевых продуктов показывали BI. Делали в режиме прототипа: подключили систему к боевым данным.
И вот, на показе увидели, что “столбик” сыра моцарелла выбивается относительно других остатков — его дофига. Почти 10 тонн. Директор, которая увидела этот столбик, сказала, что такого быть не может — это дорогущий сыр и его везут напрямую из Италии. Его в месяц от силы 100 кг продают. Внедренцы сказали, что подключены к реальным данным.
Короче, позвонили на склад, и правда — 10 тонн моцареллы. Оказалось, что Итальянцы точку в заказе расценили как разделитель и выставили счёт за 10 тонн. Никого это не смутило (видимо, финансовые дела шли хорошо), счёт оплатили — самолётом привезли 10 тонн.
В итоге, прямо на показе BI-системы компания получила инсайт — побежали распродавать остатки моцареллы хотя бы по себестоимости, чтобы не попасть на убытки. Когда всё распродали — купили BI по полной, так как увидели в этом показе знак судьбы.
И таких кейсов в книге Георгия полно.
В общем, b2b-продактам и маркетологам рекомендую почитать, чтобы поучиться представлять кейсы автоматизации в приличном виде.
#продакту
В чате игровых аналитиков сегодня весь день обсуждаем нейронки для выдачи офферов (и в целом системы рекомендаций). Одна мысль мне показалась весьма интересной, процитирую здесь:
Одно из неожиданных для меня открытий, которое мы сделали при внедрении системы офферов - пользователю нельзя всегда показывать хорошие предложения. Наоборот, надо показывать обычно плохие, чтобы, увидев хороший, он его купил. И поэтому мы специально модифицировали систему, чтобы она показывала разные предложения. И в этом смысле простой рандом вообще то очень неплохо работает.
В монетизации, построенной на офферах, мы по умолчанию предполагаем, что цены за инапы в магазине (банке) — это своего рода бейслайн, относительно которого пользователи и определяют выгоду оффера. Однако меня всегда смущала мысль, что пользователи могут вообще не заходить в банк и закупаться сугубо по офферам, в результате у них нет сравнения. И в таком смысле неинтересные / невыгодные офферы как раз могут задавать более наглядный бейслайн. А попутно — показывать вариативность предложений, заставлять пользователей сравнивать и, в результате, формировать осознание ценности оффера.
Единственный минус всей идеи — пользователи не резиновые и количество офферов, которые им можно показать в единицу времени, ограничено. А план по выручке никто не отменяет. Но это все можно проверять аб-тестами, как и эффективность полностью случайного набора офферов.
Про психологию и эксперменты с ценами и тарифами на примере Netflix
Ключевые слова: поведенческая экономика, когнитивные искажения, когорты, эксперементы.
https://builtformars.com/case-studies/netflix-ads
UX в эпоху AI. Как изменяется UX в эпохи последних релизов ChatGPT?
Вероятно, что эта массовая волна переоценена, но, в конечном итоге, революционна с точки зрения изменения продуктивности на рабочих местах, эффективности труда, контроля знаний на местах, а также долгожданное изменение на рынке ассистентов знаний. Gartner вручил премию компании onereach.ai с формулировкой “лучшая унифицированная платформа разговорного ИИ, обмена сообщениями и телефонии контакт-центра среди более чем 12”. Ок, поверим, хотя я не фанат консалтеров из Gartner
Взглянем подробнее: стартап под капотом предлагает своеобразный конструктор диалогов для автоматизации с гибкими настройками - под фигму рабочее пространство. https://onereach.ai/portfolio/roadsideassistance-multimodalvoice/
Кейсы: антифрод, медицинские ассистенты, колл-центры, автоматизация труда, новые места, сельское хозяйство (прямая связь с фермерами в полях).
Одновременно, оттачивается экспертиза путем написания книг: наняли автора из О,Рейли для посевов путем ревью и упоминаний в медиа (снимаю шляпу, в Сбере, например, так не умеют в пиар своих NLP-платформ)
https://onereach.ai/invisiblemachines/
Давайте оценим opus magnum:
В книге «Эпоха невидимых машин: практическое руководство по развитию гиперавтоматизированной экосистемы интеллектуальных цифровых работников» знаменитый технический лидер Робб Уилсон предлагает поразительно честный и проницательный план использования диалогового ИИ. Когда эти технологии стратегически упорядочиваются в интеллектуальной экосистеме, они становятся множителями силы, переводя компанию в состояние гиперавтоматизации и делая ее практически невозможной для конкуренции.
С помощью этого руководства вы сможете сделать свою организацию самоуправляемой, создавая и развивая взаимосвязанные средства автоматизации, ускоряющие все аспекты вашего бизнеса».
Тем не менее, несмотря на некоторый прозерлитизм, в книге достаточно много ссылок, которые верхнеуровнево представляют определенный интерес: например, гайдлайны IBM для разговорных ИИ
https://www.ibm.com/design/ai/
Ну и да, боюсь, что «Planning an Ecosystem of Intelligent Digital Workers» - это то, что последние несколько лет называли цифровыми фабриками в банках, только вместо сотрудников занимают те или иные решения на уровне CRM. Впрочем, жду «Ecosystem of Intelligent Digital Workers» в презентациях консалтеров.
Наконец, есть и неплохие схемы, которые представляются рабочими фреймворками для контроля и чека основных паттернов и решений в области Conversational AI — это действительно важно, чтобы иметь перед глазами чекер/шпаргалку в рутине UX задач
Отдельной темой является блог вопросов «human-in-the-loop» для проектирования ботов или других вещей, но об этом была отдельная книга на канале (/channel/gulagdigital/1871 ). Вкратце, это устойчивое название менеджерских практик и стратегий для повышения точности модели машинного обучения. Проще: контроль разметчиков данных. В конце идет милый перечень принципов, каждый из которых может быть интерпретирован как регулятивное правило коммуникации в духе пресловутой прагматики Пола Грайса и его принципа Кооперации (да, я старый дед)
Посмотрел вебинар про conversion rate optimization (CRO), который организовала команда @usabilitylab.
Тема не новая, но пока не очень известная на просторах рунета. Интересно послушать как специалисты из разных областей используют и определяют термин “персонализация”. Буквально в рамках этого выступления было несколько вариантов:
1. Адаптация продукта, услуги или коммуникации под потребности определенной аудитории на основании данных этой аудитории.
2. Когда пользователю покажут релевантный контент в релевантное время в релевантном месте. Нативно.
3. Персонализация нужна, когда у тебя контента больше чем внимания пользователя.
Не забыли и про кастомизацию:
>> Кастомизация — это когда пользователь сам собирает себе продукт. Например, способ как Apple продает Macbook — продукт один, но покупатель может его настроить: цвет, процессор, память и на выходе получить компьютер под свои требования. Пользователь участвует в сборке и создается “эффект Икеи”.
В целом, интересный доклад на два часа для тех, кто только начинает разбираться с персонализацией и CRO. Подготовил для вас выжимку от ChatGPT, чтобы ознакомится с основными тезисами: product_science/cro-usabilitylab" rel="nofollow">https://teletype.in/@product_science/cro-usabilitylab
Повстречалась прекрасное от General Partner A16Z и LeadEdge Capital — алгоритм раскрытия информации от стартапов:
• Если компания получила хорошую чистую прибыль, она отчитывает по ней.
• Если этого не произошло — приводит показатели скорректированной чистой прибыли.
• Если скорректированая чистая прибыль тоже не очень, то компания рассказывает о валовой прибыли.
• Если и валовой прибылью нельзя похвастаться, докладывается о выручке.
• Если приличной выручки нет, то в ход опять идут скорректированные индикаторы (например, GMV).
• Если GMV низкий, компания отчитывается о ежемесячно активной аудитории (MAU).
• Если показатели MAU плохие — говорит о подписчиках.
• Если подписчиков мало — рассказывает о числе скачиваний.
• Если и загрузки не впечатляют, то ссылается на статистику по просмотрам страниц.
• А если даже посещаемость низкая, , компания докладывает, что вошла в рейтинг «Лучшие места для работы в городе N».
Формула рабочая (сам наблюдал за ней неоднократно), но несколько поверхностная. Хотя детализировать использование пресловутых LTV, ARPU, CAC и прочих квази-финансовых метрик можно очень долго.
Сергей Тихомиров приоткрывает завесу «Общей Модели», которая помогает систематизировать знания и навыки продакта. Ждем-с подробностей. Заинтриговал :)
Читать полностью…
Как сделать, чтобы исследовательский отчёт сам заходил в голову и там легко усваивался?
Особенно если это качественное исследование. Инсайты, драйверы, барьеры, персоны, работы - все это текст.
Как это показать наглядно? Что сделать, чтобы стена текста не отделяла вас от читателя?
Помогает визуализация.
Есть сайт «A Periodic Table of Visualization Methods»
(адаптирован только под компьютер).Сайт не новый, но его премущество в том, что в одном месте собрано очень много способов визуализации - в том числе не очень известных.
Счетная Палата опубликовала статью с обзором алгоритмов выбора оптимального решения из множества альтернатив. Классическая проблема, с которой на работе встречаешься каждый день. Класс таких алгоритмов называется "мультикритериальными методами".
Кроме теоретической части, которая, на удивление, написана человеческим языком, прилагаются jupyter-ноутбуки с кодом на python.
В принципе, думаю стоит почитать внимательнее, что там есть такого. Слышал об этом много раз, но как-то руки не доходили...
https://ach.gov.ru/news/kak-reshat-zadachu-prioritizatsii
Как использовать суррогатные метрики, чтобы не ждать долго?
Попался под руки пейпер от 2019 года от LinkdeIn, где они рассказывают подход по поиску суррогатных (прокси) метрик для более быстрого проведения экспериментов, если целевая метрика – north star. Как заверяют авторы, зная что прокрасилась суррогатная метрика, значит прокрасится и north star (например, north star – ltv, суррогатная – retention).
В статье куча интересных формул для расчета ошибки, дисперсии, статистики и т.п., чтобы отвалидировать суррогат. Если коротко, то TLDR такой:
1. Определите свою north star. Метрики определяют успех/неудача эксперимента (можно считать, что это OEC)
2. Разработайте суррогатную метрику, предсказав north star. Фичи предсказанной north star должны быть уловимыми в течение всего эксперимента.
3. Используйте суррогатную метрику в эксперименте. Обратите внимание, что при расчете статистической значимости мы должны скорректировать дисперсию, чтобы учесть ошибку прогноза в модели. Формулы там даны
Читать здесь
Концепция XAI (Explainable AI). Она помогает рассказать пользователям и специалистам о принципах работы систем с ИИ.
Читать полностью…
Способ получить бенчмарк по основным бизнес-метрикам для SaaS-компаний от небезызвестного венчурного фонда.
https://a16z.com/growth/guide-growth-metrics/
Пока выдаёт числа только для b2b/b2e, но думаю и b2c завезут рано или поздно.
Про MaxDiff (спасибо переводчику Яндекса):
❓На какие типы вопросов может ответить maxDiff?
✅ Какую следующую функцию мы должны создать
✅ Какие проблемы в продукте больше всего влияют на пользователей
✅ Каковы наиболее важные аспекты продукта для пользователя
❓В чем преимущества maxDiff?
✅ Простая просьба пользователей оценить элементы по их важности часто приводит к низкой дифференциации, поскольку все считается важным. maxDiff обычно приводит к хорошо дифференцированным спискам, потому что респонденты вынуждены выбирать.
✅ Вопросы maxDiff легко понять и на них легко ответить
✅ maxDiff также дает нам относительные степени предпочтения различных элементов
✅ Исследования показали, что вы можете запускать maxDiffs при скромных размерах выборки (100-300)
Оригинал и подробности тут:
https://www.linkedin.com/posts/inna-tsirlin-phd-6114374_datascience-ux-uxresearch-activity-6999025059096920064-xuKl
