Если кто-то давно собирался на наш большой курс по исследованиям или на модули по CX-интервью или по анализу качественных данных - мы начинаем завтра вечером - 13.01.

Расписание и программу можно посмотреть на сайте:
https://qual.education/

Читать полностью…

💽 Мы сняли видео, в котором подробно рассказываем о нашем курсе "Качественные исследования: от планирования до отчета" и о том, что в нем нового.

9-й поток курса начинается 13 января 2026 года.
В этот раз все занятия - вечерние, с 19.00 до 21.00 по МСК.

Осталось 9️⃣ мест из 20

Если вы уже покупали наши курсы, напишите мне, и мы дадим скидку.
Есть оплата как для физлиц, так и юрлиц. Для физлиц есть рассрочка.
Приходите, будем рады вас видеть.

🎫 Купить билет можно из любой страны

Читать полностью…

КАК АНАЛИЗИРОВАТЬ ИНФОРМАЦИЮ: ИНКУБАЦИЯ ИДЕЙ
(это фрагмент главы про анализ из нашей книги)

Когда исследователь анализирует данные, он делает некие предположения о поведении людей. Эти предположения (инсайты) часто складываются помимо его сознательной воли.

Можно ли как-то влиять на продуктивность анализа? Как-то управлять своей способностью обобщать, интерпретировать и предлагать полезные для бизнеса решения на основании того, что сказали респонденты?

Самые известные истории о творческих озарениях – это истории про сны и химиков: Дмитрий Менделеев во сне увидел итоговый вариант своей таблицы, а Фридрих Кекуле – хоровод обезьян, которые воплотили формулу бензола.

Именно так, во время отдыха, работает дефолт-система (Default Mode Network, DMN) - сеть пассивного режима работы мозга, которая отвечает в том числе за генерацию идей и творческое мышление. DMN интегрирует наш опыт, память и знания в связный внутренний нарратив – основу нашего сознания и творчества.

Процесс, когда мы «заряжаем» нашу дефолт-систему на аналитическую работу, называется «инкубацией»: мы как бы откладываем работу над задачей, а решение приходит само.

Что конкретно мы можем сделать для «инкубации» идей:

1️⃣ «Правильная загрузка»: дайте мозгу материал, соберите исходные данные, которые вы будете обобщать.

2️⃣ Обсуждение с командой: рассказывая другим людям, которые заинтересованы в исследовании, предварительные результаты, вы «наводите порядок» в своих представлениях о том, что происходит с вашими респондентами – и еще раз ставите задачу своей дефолт-системе.

3️⃣ «Продуктивное блуждание мысли» (mind-wandering): встраивание простых монотонных занятий в рабочий день, во время которых вы позволяете мыслям течь свободно. Это могут быть: прогулки, бег, душ, мытьё посуды, вождение по привычному маршруту. Мэрили Опреццо и Дэниэл Шварц в своем исследовании 2014 года установили, что ходьба повышает креативность генерируемых идей на 60% (креативность измерялась с помощью тестов). Прогулки используют «для выработки идей» очень многие известные люди.

4️⃣ Разделяйте задачи по когнитивной сложности в течение дня. В более продуктивное для вас время дня – для кого-то утреннее, для кого-то вечернее - делайте сложную аналитическую работу, а в другое время – занимайтесь рутинными делами: отвечайте на письма, контролируйте запуск проекта и т.д. Писатели чередуют интенсивное сочинение с редактированием своих текстов.

5️⃣ Делайте перерывы и меняйте обстановку и тип работы.
• Короткий перерыв (5–15 мин): встаньте из-за стола, пройдитесь, сделайте легкий воркаут, помедитируйте, взгляните в окно.
• Длинный перерыв (несколько часов): переключитесь на другую задачу иного типа (рутинную, если основная – творческая, или наоборот). Либо прогуляйтесь, сходите пообедать вне рабочего места, поболтайте на отвлечённую тему.
• Инкубация на ночь или на день: если время терпит, «спите на этой задаче». Запланируйте заняться ею завтра с утра, а остаток дня сознательно займитесь другими делами. Длительные перерывы на пару дней также могут вам помочь.

Если паузы не дают эффекта, поэкспериментируйте с их длительностью и видом деятельности. ВАЖНО: не заменять паузы brainrot-активностью или мультитаскингом. Поиск и заказ корма для кота в перерыве – это не отдых. Выбор стиральной машинки – это не отдых. Чтение статей для саморазвития в перерыве – и это тоже не отдых. Не используйте смартфон и не читайте ничего во время паузы.

6️⃣ Сон. Не забывайте соблюдать режим дня и иметь полноценный сон. Перед сном вы можете еще раз вызвать в памяти задачу, над которой работаете, чтобы поставить себе задачу.

7️⃣ Имейте возможность сразу записать пришедшую в голову идею: надиктовать ее голосом, или записать в заметки, в блокнот. Вы облегчаете себе работу, «выгружая» идеи, а затем возвращаясь к ним. Не надейтесь, что если идея стоящая, вы точно ее запомните, не записав.

📖 книга «Качественные исследования в бизнесе»
🤖 записаться в лист ожидания: @postpostbook_bot

Читать полностью…

Вы наверняка знаете Станислава Хрусталёва, автора канала @hardclient и базы интерфейсных решений и лучших практик UX/UI в e-Сommerce.
Сегодня Станислав запустил продукт, который изменит подход к разработке: крупнейшую базу референсов с фокусом на e-com приложениях: ScreenHunt
Подробнее 👇

Читать полностью…

КАК ПРОВЕРИТЬ ДОСТОВЕРНОСТЬ В ХОДЕ ИНТЕРВЬЮ
(отрывок из книги "Качественные исследования в бизнесе")

Сигналы того, что человек говорит неискренне, действительно существуют – но распознать их сложно.

Есть очень много работ, в которых сообщается, что правдивые истории отличаются от неправдивых – но не невербальным компонентом, не тем, что человек, который врет, отводит взгляд, ерзает и крутит в руках предметы - а именно особенностями рассказа.

Отличить достоверные сообщения от недостоверных можно по следующим признакам:

1️⃣ Насыщенность нарратива. Нарратив о фактах подробный, насыщенный, богатый конкретными фактами, которые человек часто приводит спонтанно, без просьбы исследователя. Придуманный нарратив, который человек создает, а не вспоминает - бедный и часто стереотипный.

Если исследователь просит привести конкретные факты или рассказать о конкретных событиях: «Вы сказали, что вы обсуждали это с командой. А кто конкретно был на встрече?» - то человек, придумавший факт обсуждения, затрудняется или дает шаблонные ответы, меняет интонацию.

Конечно, не всегда бедный деталями неконкретный рассказ будет означать, что человек сообщает не то, что было с ним на самом деле.

Но если вы видите, что рассказы на какие-то из тем явно менее детальны, чем интервью в целом, и человек затрудняется привести конкретные факты из своей жизни, даже когда вы об этом просите, можно предположить недостоверный рассказ. И наоборот, подробный рассказ о своем опыте, детальное и нешаблонное описание событий, говорят о том, что, скорее всего, так все и было.

2️⃣ Вовлечённость человека в то, о чем он рассказывает. Когда человек говорит о том, что с ним на самом деле было, по тому, как он говорит, видно, что рассказ затрагивает его лично. Рассказ о реальных фактах, как правило, более эмоционален, чем в случае придуманных историй.

Критерий вовлеченности работает только в одну сторону - невовлеченность совершенно не обязательно означает, что человек вводит вас в заблуждение. Нет, он просто не вовлечен.

Важно: иногда человек может намеренно «питчить» - говорить более эмоционально и напористо, чтобы «продать» свою историю. В этом случае эмоциональность будет признаком неискренности.

3️⃣ Встроенность фактов в контекст жизни человека, который об этом говорит. Рассказ о том, что было на самом деле, согласуется с другими фактами из жизни человека. Рассказ о том, чего не было, отрывочный, не согласуется с другими фактами: «у меня нет никаких сотрудников, на моем (финансовом) проекте работают только волонтеры, я им ничего не плачу, они работают из желания мне помочь» - отсутствие оплаты не согласуется с профилем проекта.

Человек может сообщать в одном интервью разные версии своего опыта: «чаще всего я покупаю лекарства в аптеке рядом с медицинским центром, после консультации, только те, которые предписал врач», и «чаще всего я заказываю доставку в аптеку рядом с домом». Такое рассогласование стоит проверять вопросом о фактах: «Как это было в последний раз?» и «Как это было в течение последней недели/месяца?».

4️⃣ Человек примерно одинаково себя ведет на протяжении всего интервью. Если в течение интервью он приводил факты о себе, а в некоторых темах явно затрудняется это сделать. Или есть темы, на которых он начинает сбиваться, отвечать уклончиво, испытывать явное напряжение (нервно смеяться, играть предметами, накручивать волосы на палец) или усиливать напор, стараясь создать у исследователя определенное впечатление – на общем достаточно ровном фоне интервью – его высказывания на эти темы могут быть недостоверны.

При этом изменение поведения – это не доказательство неискренности. Это момент интервью, в котором информация требует уточнения.

Проверка достоверности – это сложно. Никто не может определить достоверность высказывания с точностью 100%. Даже тот один процент людей, которых Пол Экман называл truth wizards – те, кто был наиболее точен в определении неискренности, верно распознавали только 80% лжи.

Исследователю помогает то, что люди, как правило, не стремятся ввести его в заблуждение – а значит, в целом им можно верить.

Читать полностью…

Книга «Качественные исследования в бизнесе»: лист ожидания

Мы (Константин Ефимов и Анастасия Жичкина) пишем книгу-руководство по качественным методам исследований.
Она готова на 90 процентов, и мы надеемся, что она выйдет в январе 2026.

Эта книга - для тех, у кого есть уже некоторое представление о том, что такое исследования. Для тех, кому недостаточно кастдева, проблемных и решенческих интервью, а Квале, Страусс, Белановский и Штейнберг - недостаточно практико-ориентированы. Для тех, кто ищет обоснованную и работающую методологию.

Содержание книги - ниже.

(нажмите, чтобы посмотреть содержание)

ВВЕДЕНИЕ: ЧТО ТАКОЕ КАЧЕСТВЕННЫЕ ИССЛЕДОВАНИЯ?

1. НУЖНО ЛИ ПРОВОДИТЬ ИССЛЕДОВАНИЕ
1.1. Стоит ли сразу говорить с людьми?
1.2. «За» и «против» исследования

2. ПЛАНИРОВАНИЕ ИССЛЕДОВАНИЯ: С КЕМ ГОВОРИТЬ?
2.1. Формирование выборки: как понять, кто нам нужен
2.2. Откуда берутся респонденты
2.3. Интервью: сколько респондентов достаточно?
2.4. Платить или не платить респондентам?
2.5. Вознаграждения в b2b: что дать человеку, у которого все есть?

3. ВЫБОР МЕТОДА КАЧЕСТВЕННОГО ИССЛЕДОВАНИЯ
3.1. Глубинное интервью
3.2. проблемное, решенческое и jtbd-интервью
3.3. UX-тест
3.4. Фокус-группа
3.5. Этнография
3.6. Проективные методы
3.7. Интервью, наблюдение, дневники – как выбрать метод изучения сх
3.8. Выбор метода и роли исследователя

4. ГАЙД ИНТЕРВЬЮ: ХОРОШИЕ И ПЛОХИЕ ВОПРОСЫ
4.1. Нарративное интервью: расскажите это как историю
4.2. Готовые вопросы
4.3. «Задавайте только открытые вопросы»
4.4. Вопросы о чувствах
4.5. Отборочные вопросы в сценарии интервью
4.6. «Не задавайте вопросы про будущее»
4.7. Структура гайда
4.8. Гайды для конкретных случаев: изучение потребностей, тестирование концепций и ценовых ожиданий
4.9. Короткий или подробный гайд?
4.10. Чеклист: работающий гайд

5. ПРОВЕДЕНИЕ ИССЛЕДОВАНИЯ: СЛЫШАТЬ ИСТОРИИ ЛЮДЕЙ
5.1. Как начать интервью
5.2. Неискренность респондента: как повысить достоверность данных
5.3. Как уточнять?
5.4. B2B интервью: драматургия эмпатии
5.5. Ведение интервью: когда ошибки не играют роли

6. АНАЛИЗ КАЧЕСТВЕННЫХ ДАННЫХ: EXPECTED OUTCOME
6.1. Что писать в отчете? Дескриптив vs аналитика
6.2. Извлечение сути: кодировать или рассказывать?

7. ПОПУЛЯРНЫЕ ФРЕЙМВОРКИ: КАЖДОЕ ПОКОЛЕНИЕ ДУМАЕТ, ЧТО ИМЕННО ОНО ИЗОБРЕЛО СЕКС
7.1. JTBD: инструмент для инноваций
7.2 JTBD как потребностная модель
7.3. JTBD: эволюция фреймворка
7.4. Почему JTBD и почему не JTBD
7.5. Персоны, роли и сегменты
7.6. Сторителлинг как синтез подходов к анализу качественных данных

8. КАК СОЗДАТЬ РАБОТАЮЩУЮ СЕГМЕНТАЦИЮ
8.1. История попыток: маркетинговые типологии людей
8.2. Человек или ситуация: от чего зависит то, что люди делают с продуктом?
8.3. Так сегментация или ситуация? Каждый раз определяем заново
8.4. Основа сегментации – различия в использовании продукта
8.5. Чеклист: требования к работающей сегментации

9. ПОЧЕМУ ЛЮДИ ВЕДУТ СЕБЯ ТАК, А НЕ ИНАЧЕ: АВТОРСКИЙ ФРЕЙМВОРК Х-RAYS
9.1. Давление ситуации: обстоятельства непреодолимой силы
9.2. Опыт: привычка как броня, компетентность как третий глаз
9.3. Личностные черты: продукт как индивидуально подобранное оружие
9.4. Идентичность: с помощью продукта я становлюсь лучше

10. ИССЛЕДОВАНИЯ И БИЗНЕС-ПРОЦЕСС: ОТНОШЕНИЯ С ЗАКАЗЧИКОМ.
10.1. Необычные ожидания заказчика
- «дайте цифры»: заказчик просит количественные данные
- «ваши данные нерепрезентативны»
- «это декларативно»
10.2. Тандемное интервью: когда вас много, а респондент один
10.3. Польза от исследований: чья это ответственность

ЗАКЛЮЧЕНИЕ

Будет очень много кейсов, разбор исследовательских ошибок, практические рекомендации и чек-листы.
По стилистике это руководство будет близко к нашему каналу @postpostresearch: с иронией, базой, примерами из практики и неочевидными решениями, но систематичнее и подробнее.
Мы постараемся, чтобы книга была доступна и в России, и во всем мире.

Если у вас есть знакомые, которым может быть полезна такая книга, перешлите им это сообщение.

Нам важно понять, какой тираж печатать. Если вы планируете купить книгу, запишитесь у бота:
@postpostbook_bot

Читать полностью…

В далеком 2006 году мы с Иваном Безденежных впервые в России использовали асинхронную коммуникацию для проведения исследования.

Мы создали закрытое сообщество в ЖЖ и переписывались в нем с тренсеттерами. ЖЖ - это было тогда очень модно, в нем было удобно собрать продвинутых людей и знакомиться с ними, чтобы потом приглашать некоторых из них на интервью.

Это был очень интересный опыт, потому что ребята начали задавать сообществу свои вопросы тоже. Пришлось включить премодерацию, потому что заказчика дискуссия на темы, которые к нему не относились, не интересовала. А один раз на интервью мы позвали мальчика с анимешной аватаркой, а пришла девочка.

Потом практика письменной коммуникации с пользователями/потребителями распространилась повсеместно, и появились специализированные отечественные платформы. Но отраслевой опыт письменной коммуникации не рефлексировался.

Поэтому большой респект коллегам из VK: Юлии Кингсеп, Павлу Мальченко и Виктории Вершиной за то, что обобщили свой опыт по использованию переписки в качестве инструмента исследований.

Вот две статьи:

1️⃣ Чатик с пользователем: как провести UX-исследование в переписке

2️⃣ Модераторы против ботов и анкет

Кто раздумывает, стоит ли в такое исследование идти, обязательно почитайте.

Читать полностью…

💽 Открываем продажу билетов на осенний курс "Анализ качественных данных".

На курсе будем обсуждать:

● Как понять, почему люди ведут себя так, а не иначе?
● Какой фреймворк выбрать для анализа причин поведения людей? 
● Что это вообще могут быть за причины, и откуда о них узнать, если я – не психолог и не социолог?
● Когда использовать персоны, а когда – JTBD?
● Как разобраться в разных версиях JTBD?
● Как обобщать данные: таблицы или сторителлинг?
● Как подать полученные данные, чтобы это было понятно и убедительно?

🔥Мы очень любим вести именно этот курс. Анализ, почему люди ведут себя так, а не иначе - это самая интересная часть исследования. На эту часть курса обычно приходят люди, которым интересно докопаться до сути.

Отзывы на курс можно посмотреть здесь.

🌛Группа стартует 2 сентября.
Занятия проходят вечером: с 19.00 до 21.00 по вторникам и четвергам.

В курсе 11 занятий по 2 часа.

Стоимость: 50 000 ₽ / 570 €

Из России билеты можно оплатить прямо на нашем сайте. Если вы хотите оплатить через юрлицо - заявку можно оставить там же.

Не из России курс можно оплатить, написав мне в личку. Я сообщу реквизиты.

🎫 Купить билет

Читать полностью…

Памятка «Ошибки в UX-тестах и как их избежать» (финал).

5/5. Ошибки на фазе завершения теста

Все посты памятки:
1/5. Ошибки в UX-тестах на этапе подготовки.
2/5. Структура UX-теста. Ошибки во время проведения теста: вводная часть.
3/5. Содержательная часть. Ошибки, связанные с вопросами.
4/5. Содержательная часть. Ошибки, связанные с процессом тестирования.
5/5. Ошибки на фазе завершения теста


💽 @PostPostResearch

Читать полностью…

Памятка «Ошибки в UX-тестах и как их избежать» (продолжение).

3/5. Содержательная часть. Ошибки, связанные с вопросами.
(пожалуй, наиболее серьезные ошибки)

Все посты памятки:
1/5. Ошибки в UX-тестах на этапе подготовки.
2/5. Структура UX-теста. Ошибки во время проведения теста: вводная часть.
3/5. Содержательная часть. Ошибки, связанные с вопросами.
4/5. Содержательная часть. Ошибки, связанные с процессом тестирования.
5/5. Ошибки на фазе завершения теста

💽 Продолжение памятки

Читать полностью…

Памятка «Ошибки в UX-тестах и как их избежать» - теперь в виде карточек.

Памятка очень объемная, поэтому мы разделили карточки на пять постов. Публикуем первую серию из пяти.

1/5. Ошибки в UX-тестах на этапе подготовки

Все посты памятки:
1/5. Ошибки в UX-тестах на этапе подготовки.
2/5. Структура UX-теста. Ошибки во время проведения теста: вводная часть.
3/5. Содержательная часть. Ошибки, связанные с вопросами.
4/5. Содержательная часть. Ошибки, связанные с процессом тестирования.
5/5. Ошибки на фазе завершения теста

Памятка создана Константином Ефимовым и Анастасией Жичкиной.
Спасибо Юлии Кингсеп, Михаилу Хананашвили, Кириллу Улитину и Виталию Болатаеву за комментарии и дополнения.
И Михаилу Саранскову за проверку финальных карточек.

🧾Скачать памятку полностью для печати в PDF

💽 Продолжение памятки

Читать полностью…

Чем заменить JTBD

15 мая выступал на митапе в Kolesa Group, рассказывал про ограничения JTBD.
И мне там задали идеальный вопрос: «А чем заменить JTBD?»
Идеальный он потому, что за простым на вид вопросом стоит большая проблема - КАК НАЙТИ ФРЕЙМВОРК, В КОТОРОМ ЕСТЬ:

1️⃣ общий язык, на котором можно говорить с командой (как договориться с коллегами?)
2️⃣ идеи вопросов, которые нужно задавать в интервью (что спрашивать у людей?)
3️⃣ идеи структурирования информации (что писать в отчете?)

То есть, нужен универсальный инструмент - который направил бы исследования на помощь продуктовой разработке.

В JTBD это есть, но очень путано.
И чем же мы можем заменить JTBD?

Для работы с командой, общего языка для обсуждений подходит сторителлинг. 
Исследователь расспрашивает респондентов про их истории, а команде рассказывает историю о пользователях.

В каждой истории есть встроенная защита от абьюза фреймворка: если вы расскажете ее плохо, вам просто не поверят, как, например, работе формата «когда я мужик, я хочу мяса и пива, чтобы быть сытым и довольным».

Сторителлинг не дает спрятаться от  простых вопросов за табличками и терминами. Почему  Вася, черт возьми, купил именно это мороженое? Из-за контекста - потому, что стояла жаркая погода?  А почему он выбрал из 5 марок именно «Магнат»? В рамках JTBD нам будет сложно объяснить его выбор, а в рамках сторителлинга его выбор будет понятен из истории его покупки. И если история, которую мы расскажем про Васю, будет неправдоподобной - по ней это будет сразу очевидно, в отличие от таблицы и в отличие от шаблона работ - потому что при виде «когда я мужик, я хочу...» в любом здравомыслящем человеке проснется внутренний Станиславский.

Люди рассказывают друг другу истории тысячи лет.
В исследованиях сторителлинг применяется, конечно, не настолько давно) Но Шюце придумал нарративное интервью еще в 1975 году.
А в 2010-х годах сторителлинг активно внедряли международные исследовательские компании. Примерно тогда же был бум на фильмы по мотивам исследований, «seeing is believing» – видео обеспечивало более глубокое погружение заказчиков в проблему.

Со структурированием информации в отчетах сложнее. Потому что единого понятийного аппарата нет даже в социальных науках (а мы его ждем от JTBD!).  Поэтому вам поможет читать психологическую и социологическую литературу. Начать можно с «теории деятельности» А.Н. Леонтьева. У нее много общего с JTBD, есть даже своего рода Expected Outcome. Слабые стороны у нее примерно те же, что и у JTBD, за исключением жуткой терминологической путаницы - в теории деятельности по крайней мере есть четкие определения потребности, мотива и цели. Социология и психология в целом хорошо прокачивают понимание разных сторон человеческой природы – нам, например для объяснения поведения людей в видеосервисах очень помогла ресурсная теория внимания.

Для понимания, какие вопросы лучше задавать в интервью - предполагая, что поведение человека связано с его опытом, или личностными чертами, или его ценностями, или с давлением ситуации, в которой он находится – вам пригодятся нарративное интервью и наш фреймворк X-Rays, в котором нет ограничения либо «человек», либо «контекст» - а есть всё многообразие человеческой натуры + учет ситуации.

Но чтобы в одном фреймворке совпали вот эти три вопроса, с которых мы начали этот пост - как договориться, что спрашивать и как структурировать отчет - чтобы в одном совпали эти три, этого не будет никогда.

Поэтому пробуйте разные концепции и подходы, и будет вам счастье.
💽 @PostPostResearch

Читать полностью…

Почему не надо вносить отборочные вопросы в сценарий интервью?

В этом году несколько студентов нашего курса почему-то включили в гайд вопросы, которые нужно выносить в отборочную анкету: возраст, род деятельности и т.п. Мы дали фидбек, что так делать не нужно, и забыли об этом.

А на прошлой неделе мне снова принесли такое, уже в рамках запроса на проработку гайда. И я узнал, что так вести интервью учит Иван Замесин. Что это «квалифицирующие вопросы, из которых вы узнаете психологические особенности респондента и его прошлый опыт, чтобы уточнять описания работ».

Почему мы так не делаем? Потому что когда ко мне приходит на исследование человек, я уже знаю его соц-дем из отборочной анкеты. А «что это за человек?» в начале интервью и вне контекста использования продукта выяснять смысла нет (позже напишем, почему нет).

Есть два подхода к проведению исследований:

1️⃣ «Энергоэффективный»
Подходит, если вы готовы планировать исследование и вам нужен результат в четкие сроки
Вы заранее обсуждаете ЦА с командой и планируете выборку: сколько и каких людей вам надо пригласить. Вы заранее описываете их пол, возраст, использование продукта и другие характеристики, которые могут повлиять на использование продукта в критериях рекрута. Вопросы об этом попадают в отборочную анкету (скринер). Поэтому, когда человек к вам приходит, вы обычно уже знаете, сколько ему лет, каковы его семейное положение и род деятельности.

Потому что если вы узнаете все эти важные вещи только на интервью – есть ненулевые шансы, что вам попадется «не тот» респондент. Например, продуктовый дизайнер на тесте прототипа. Или человек без детей на тесте сервиса «срочная няня». И вы попросту сожжете свое время и время респондента.
Lifehack: в ту же отборочную анкету можно внести те вопросы, на которые в личной беседе человек постесняется отвечать, а на самом интервью уже вернуться к ним. Это снизит напряжение.

2️⃣ «Ленивый пирог»
Подходит, если вы не готовы заморачиваться с выборкой и не торопитесь: например, вы академический исследователь или основатель стартапа
Вы ничего не знаете о вашей аудитории и не можете строить выборку, отталкиваясь от гипотез о факторах, влияющих на потребительское/пользовательское поведение. Поэтому вы говорите со всеми, кто согласился поговорить (выборка «по удобству»). После первых интервью вы дополняете свою картину мира, а затем ищете еще респондентов и говорите с ними, меняя гайд с учетом того, что вы узнали у предыдущих.

(Гайд можно и нужно дорабатывать с учетом полученной информации и в первом варианте исследования. Просто в случае «ленивого пирога» ваш результат не привязан к жесткому таймингу, а респондентам и рекрутерам вы не платите вознаграждение, так что потеряете только время, если вам попадутся не те респонденты).

❌ Проблем тут четыре:
1. в спринт такое исследование встает очень плохо
2. не имея изначальной разбивки выборки на группы (сплиттинг), вам сложнее анализировать ваши данные
3. выборка «по удобству» может привести к системному смещению, которое повлияет на собранные данные.
4. Без вознаграждений вы ограничены людьми, которые любят ваш продукт и готовы его обсуждать – но тех, кто ушел к конкуренту, вам будет сложнее опросить.

Поэтому тем, кто ценит свое время, мы рекомендуем первый способ. Случай, когда мы и правда ничего не знаем, и как в этом случае строить исследование – достоин отдельного поста.

Хорошо, спросите вы. Но зачем же тогда на интервью вообще просить человека рассказать о себе? Мы же в первом случае все про него узнали заранее!
Очень просто – фаза знакомства нужна совсем для другого. Когда вы рассказываете о себе и просите вашего респондента тоже о себе рассказать – это помогает установить контакт. Да, если человек расскажет о себе что-то, связанное с темой исследования – будет супер. Но спрашивать его специально про возраст и род деятельности – сродни заполнению личного дела в полиции.
Так делать не надо.
Вынесите все эти вопросы в отборочную анкету, и будет вам счастье.

💽 @PostPostResearch

Читать полностью…

Ловушки анализа качественных данных: инсайты и иллюзии

15 апреля я (Константин Ефимов) расскажу про то, где и как ошибаются исследователи при анализе.

Стрим 15 апреля в 19:00 по МСК прямо в канале BiasConf. Все подробности — здесь.

Читать полностью…

Новый пост про синтетических респондентов уже завтра, а пока – анонс конкурса молодых исследователей от ESOMAR.
Есть возможность сделать наш мир немного лучше, проведя исследование для НКО.
Как и раньше, можно подать заявку, даже если у вас нет команды

ESOMAR Research Got Talent.

Читать полностью…

ИТОГИ ГОДА: НЕ AI

691 943 символа, 96 871 слово и 385 стандартных страниц занимает наша книга.
Не считая глоссария - который, как мы выяснили, нужен - в котором мы будем пояснять такие слова, как "джоба", "фича", "фреймворк" и много других слов.

Пока мы ее писали, стало понятно, что у гейм-девелопмента и писательства очень много общего:

1️⃣ Некоторые главы тянут за собой другие, которые изначально не планировалось писать, но в процессе становится понятно, что без них обойтись нельзя.

2️⃣ Некоторые главы, которые хотелось сделать очень подробными, приходится сокращать, чтобы успеть к дедлайнам.

У меня (Константина) всё это уже было в конце 90-х, когда я как художник-аниматор работал над игрой "Петька и Василий Иванович спасают галактику", рисуя Анку-Пулеметчицу (сцену в бане рисовал не я, а Олег Захаров).

Отдельной задачей было найти баланс между книгой и нашим обучающим курсом по качественным исследованиям.
В итоге они дополняют друг друга: необходимая база есть в книге - а на курсе мы учим применять ее на практике.
В книге есть кейсы, которые слишком объемны для нашего курса.

Настоящим испытанием было сделать обложку - как найти образ, который передавал бы суть качественных исследований в бизнесе? Как это бывает при тестировании дизайна, буквально каждая концепция не оставляла людей равнодушными, то есть, сильно не нравилась, - а при обсуждении вариантов именно рисунку художницы, сделанному в период "до ИИ", чаще всего приписывалось, что это ИИ.

Спасибо всем, кто отвечал на вопросы по поводу дизайна обложки на количественнике, а Николаю Захарову - за платформу и подсчет. Спасибо художнику Илье Викторову (diliago) за отличную работу и пасхалки. На наш взгляд, ему удалось передать стиль журнала Economist и общий дух обложек-головоломок World Ahead, который мы взяли в качестве отправной точки.

Отдельно мы хотим поблагодарить Виталия Болатаева, Юлию Кингсеп и Ирину Пасхину - за вдумчивое чтение, кейсы, идеи и обратную связь по всем главам книги. Это очень большое участие и огромный труд.

Спасибо тем людям, кто так или иначе внес вклад в содержание книги - кто экспертным интервью, кто обсуждением, а кто - обратной связью по избранным главам.
Всех, кто нам так или иначе помог - больше 30 человек - мы перечислим в книге в благодарностях.

Спасибо вам огромное! Без вашей поддержки эта книга была бы невозможна.
Увидимся в новом году!

Читать полностью…

🤖 AI В ИССЛЕДОВАНИЯХ: ИТОГИ ГОДА

Внедрение AI: доклад «3 шага к внедрению ИИ в команде исследователей» Татьяны Коваль на ResearchExpo заслуженно стал одним из победителей.
📺 Смотреть на VK Видео
📹 Смотреть на Youtube

Институционализация AI в исследованиях: в этом году на конференции ResearchExpo в UX/CX-секции было много докладов об AI в исследованиях. Интересно будет посмотреть доклады следующего года на эту тему: насколько заметным будет использование AI в других типах исследований.

Синтетические респонденты: не оправдали надежд
📝 Тестируем синтетических респондентов
📝 Синтетические респонденты наносят ответный удар
Мы предложили способ проверки работоспособности синтетических респондентов через «нет-тест». Для этого мы взяли концепцию продукта, о которой было известно, что она провалилась, и попросили синтетического респондента, релевантного целевой аудитории, сначала рассказать о своих практиках в категории (чтобы у модели был контекст ситуации), а затем оценить концепцию. Синтетический респондент должен был отвергнуть эту концепцию, что совпало бы с реакциями респондентов из плоти и крови. Однако результаты пока не впечатляют из-за конформизма моделей: даже провальные концепции получили поддержку синтетических респондентов.

Анализ качественных данных: пока только как вспомогательный инструмент
Вместе с Михаилом Боде поставили эксперимент, сравнив анализ спонтанных ассоциаций 52 респондентов:
• только исследователями,
• исследователем+AI,
• только AI.
Результаты интересные, но чистый AI на апрель 2025 года показал себя довольно слабо:
📝 Заменит ли AI маркетинговых исследователей?

Проектирование и UX: первая в отрасли статья Виталия Болатаева об использовании LLM для проверки макетов интерфейсов на соответствие UX-эвристикам - систематичный и подробный обзор:
📝 Как увеличить производительность и экономическую эффективность UX-исследователя? Эвристики, демонология и нейросети

Разочарование года: модель GPT-5o - ожидался прорыв, но надежды не оправдались.

Откат года: появились свидетельства, что некоторые клиенты требуют не использовать AI на проектах.

Инициатива года: при разработке стандарта ОИРОМ по UX тестам один из коллег предложил добавить в этот стандарт блок об использовании AI.

Слова года:
• Slop – человек, который "верит на слово" всему, что сказано LLM-моделями
• Метапромптинг – создание LLM промпта для самой себя.

💽 @PostPostResearch

Читать полностью…

⠀
В каждой из 90+ своих статей по теме e-commerce я старался донести одну простую истину: насмотренность решает, а сравнение подобного с подобным дает огромный потенциал для улучшения продукта.

Но есть один важный нюанс: регулярно тратить часы и дни команд на то, чтобы пройтись по рынку, собрать референсы по нужному интерфейсу и отыскать ценные идеи, для многих – непозволительная роскошь.

Поэтому мы создали ScreenHunt – крупнейшую базу референсов с фокусом на e-com приложениях и акцентом на российском рынке, призванную в разы сократить время ваших команд на анализ рынка и поиск новых идей.

Сейчас ScreenHunt – это база из 60+ тыс экранов и видео по 80+ паттернам и 14 стадиям customer journey, которая растет на 6+ тыс новых референсов в месяц.

В ней 160 e-com приложений. Референсы по ним обновляются каждый месяц, позволяя вам отслеживать историю изменений. К декабрю их станет 200.

Работаем только в B2B-сегменте. Проведём демо для ваших команд: всё покажем, расскажем и обсудим ваши потребности.

Welcome to 💎 ScreenHunt

P.S. за репост – отдельная благодарность: я ценю и помню добрые дела.
⠀

Читать полностью…

🔥13 января 2026 начинаем 9-й поток нашего большого курса "Качественные исследования: от планирования до отчета".
В этот раз все занятия - вечерние, с 19.00 до 21.00 по московскому времени.

Всего в курсе 4 модуля. Можно пройти его целиком или выбрать любые модули из четырех:
1. Планирование исследования: как определить целевую аудиторию и метод
2. Проведение CX интервью: как взаимодействовать с респондентами + практика ведения интервью
3. Анализ качественных данных: как понять вашу аудиторию и что с ней делать
4. Влияние: как интегрировать исследования в бизнес-процесс.

Модуль "Анализ" дополнен практикой - которая связана с практикой в модуле "Интервью".
Если вы придете на практику интервью не со своим кейсом, а возьмете одну из наших тем, то вы получите дополнительно практику по анализу: по транскриптам интервью по этим темам вы будете строить сегментацию.

Как это будет:
🌜 Занятия проходят вечером: с 19 до 21.00 🕙 Время московское.
🗓 2 раза в неделю по 2 часа в зуме (вторник и четверг), 13 января – 14 апреля 2026.
👥 20 человек в группе
📺 Записи занятий и презентации лекций доступны участникам неограниченное время.
💬 Есть телеграм-чат, где можно задать вопросы и обменяться материалами.

Если вы уже покупали наши курсы, напишите мне, и мы дадим скидку.
Есть оплата как для физлиц, так и юрлиц. Для физлиц есть рассрочка.
Приходите, будем рады вас видеть.

🎫 Купить билет можно из любой страны
Осталось 16 мест из 20

Читать полностью…

Сегментация с помощью ИИ: кейс Galeries Lafayette

Обычно мы не очень высоко оцениваем самостоятельные решения искусственного интеллекта - вот пример, где LLM считает, что Сбербанк близок к природе, потому что зеленый, весенний и муравейный - но, когда мы готовили главу про сегментацию для нашей книги, мы нашли совершенно замечательный кейс.

ИИ-аналитика количественных данных помогла вырастить доход "Галери Лафайет" от определенных рекламных кампаний на 34% (!).

Как это было?
В статье о том, что традиционные сегментации умрут, а за ИИ-сегментациями будущее, мы нашли скупое упоминание о том, как компания "Галери Лафайет" (Galeries Lafayette, сеть универмагов премиум-класса) в 2017-2018 годах внедрила AI-платформу Tinyclues для анализа количественных данных о покупателях - и оказалось, что на мужские рекламные компании в большинстве случаев (80%) откликаются женщины, а на женские в 25% случаев откликаются мужчины. Изменение таргетинга - соответственно, таргетирование мужских компаний преимущественно на женщин и женских - в том числе на мужчин - помогло увеличить доходы на 34 %, число клиентов на 32% и CTR на 25%.

Рост дохода и метрик впечатлял - но мы не могли понять суть этого кейса.

В магазинах Галери Лафайет продается премиальная одежда, обувь, нижнее белье, парфюм, аксессуары, товары для дома и бытовая техника.

Какие товары для женщин из этого ассортимента привлекали мужчин, и какие товары для мужчин привлекали женщин?

В статье с описанием гибели традиционных сегментаций об этом скромно умалчивалось.

Мы нашли - оказалось, что это было нижнее белье (кто угадал верно, напишите в комментариях).

И тогда у нас появился следующий вопрос - ПОЧЕМУ нельзя было это предположить без помощи ИИ? Особенно в 2017 году, имея все инструменты маркетинговых исследований?

Есть много данных о том, что люди покупают одежду и косметику не только для себя, но и для близких. Мужчины вообще не очень любят покупать себе одежду, очень часто это делают женщины. Маркетологи и маркетинговые исследователи не могли об этом не знать:
•  McKinsey, 2021: "The State of Fashion" — около 25–30 % покупок одежды совершаются не для себя, а для других членов семьи.
•  Google Retail Study, 2019: женщины совершают >50 % покупок мужской косметики и аксессуаров.
•  Statista, 2020: до 60 % женатых мужчин в Европе заявляют, что их одежду «часто выбирает или покупает жена».

В конце концов, можно было провести исследование ситуаций покупки.

Можно. Но для этого нужно было мыслить хотя бы немного out of the box. Хотя бы на два миллиметра.
Потому что, строго говоря, даже если в качественном исследовании выяснится, что женщины покупают ЭТО мужчинам, а некоторые мужчины - женщинам, то это тенденция может не подтвердиться на количественнике. Кроме того, по количественнику нельзя точно понять, что когда женщина покупает одежду мужчине, она откликается именно на мужскую рекламную компанию - и наоборот.

Силы, которые заставляют маркетологов не смотреть в сторону очевидных вещей, тоже очень мощные. Даже крупные ритейлеры могут жить в парадигме «если в корзине есть мужская одежда, значит покупатель — мужчина», и никакие исследования рынка им не указ. Особенно если это ритейлер из люксового сегмента, который считает, что он знает своих клиентов, потому что он же их и формирует. А в фокус CRM-аналитики вопрос «для кого вы покупаете?» не попадал в принципе.

Если ИИ, в отличие от человека-исследователя, может мыслить за рамками - такой исследователь действительно не нужен.

Пусть люди, которые закрыты и предубеждены, не работают исследователями - от этого все только выиграют.
Пусть аналитику, которая делается не для галочки, от которой зависит многое, делает человек, который любит и умеет это делать.
Умеет - это значит, видит закономерности в неочевидных данных. Использует открытые данные по отрасти. Думает над полученными данными и сомневается в принятых практиках.

Это кейс даже не про роль ИИ - а про способность аналитика, человеческого или искусственного, учитывать реальность и учиться на фактах.

💽 @PostPostResearch

Читать полностью…

Что будет с продуктовыми исследованиями дальше?
Олег Чулаков написал матерный программный пост о том, как поменялась сфера продуктового дизайна:

Еще через 5 лет рынок цифровых продуктов пришел к насыщению. Буквально все приложения лидеров рынка во всех сферах выглядят консистентно и хорошо, успешно решая ту самую бизнес-задачу, о которой любят рассказывать продуктовые дизайнеры на конференциях.
Посмотрим на банковские приложения, цифровые платформы, крупный ecom и т. д. Все бизнес-задачи решены. Потребность пользователя закрывается быстро и просто.

Растущий рынок перешел в зрелый. Теперь и в digital, а не только в FMCG. Больше никакого увеличения продаж коктейлей в семь раз.
Мы писали об этом здесь, в контексте перехода от MVP к MLP.

Когда у тебя первое удобное банковское приложение или единственные хорошие условия – ты собираешь все сливки с рынка. Когда таких приложений больше 10, а условия у всех плюс-минус одинаковые, надо выделяться чем-то еще.

Олег видит такое уникальное предложение в эмоциях:

Эмоции на сегодня — это главное отличие интерфейсов и наше главное конкурентное преимущество в дизайне с 2015 года, когда я начал читать лекции о важности эмоций и выстраивания эмоциональной связи между брендом и человеком, интерфейсом и пользователем.

Все так и есть – когда невозможно выделиться ни продуктом, ни функционалом, остается выделяться смыслами и эмоциями. Йогурты – это не только полезный кальций и пробиотики, а счастливая семья. Недостаточно спросить человека про желаемый функционал и приоритизировать фичи по Кано.

И вот тут-то и возрастает роль исследователей. Когда все низко висящие фрукты уже собраны, а для того, чтобы сделать что-то прорывное, нужна информация более глубокого порядка. И чтобы найти ее, понадобится не кастдев и не JTBD, а что-то, что цепляет сильнее. Смыслы, ценности, идентичность – все то, чем занимались маркетинговые исследователи. Парадигма изменилась: функционал стал гигиеническим минимумом, для роста метрик его уже не достаточно.

Собственно, видя этот разрыв между продуктовыми и маркетинговыми исследованиями, мы и разработали наш фреймворк X-Rays, который позволяет работать как с коммуникацией, так и с функционалом.

Очень сложно представить неудобный тариф сотовой связи, который соответствует твоим ценностям. Но представить вкусный шоколадный батончик, на упаковке которого ничего не написано и не нарисовано – еще сложнее.

На нашем курсе, где мы этому учим, осталось 2️⃣ места.
Начинаем сегодня вечером.
Вы можете записаться в лист ожидания.

Читать полностью…

«Опять нейросети!» - подумали мы, увидев эту картинку впервые.

Но нет, это реальный интерфейс чашек для людей с пышными усами.

Moustache cup изобретена около 1870-х годов британцем Харви Адамсом.
Внутри чашки находился полукруглый выступ с вырезом для губ — он поддерживал усы и не давал им намокать от чая

Есть статья в Википедии. Более того – такие кружки даже сейчас можно купить за 43 евро.

Ранее в рубрике #интерфейсы
🚪Первая адаптация интерфейса под состояние алкогольного опьянения
📋 Список покупок в «железе»

Читать полностью…

Заменит ли AI маркетинговых исследователей?

Может ли AI в аналитику качественных данных?

Проверяем на спонтанных ассоциациях.

Вместе с Михаилом Боде (канал @beyondresearch) мы попросили респондентов назвать как можно больше прилагательных, с которыми у них ассоциируется Сбербанк.

Мы собрали 390 спонтанных ассоциаций от 52 человек и построили карты ассоциаций вручную и с помощью AI.

Проверить себя, угадав, какие карты делал AI, какие - люди, а какие - человек с помощью AI, можно по ссылке.

Промпты от Михаила Боде прилагаются.

https://qual.education/will_ai_replace_marketing_researchers

Читать полностью…

Памятка «Ошибки в UX-тестах и как их избежать» (продолжение).

4/5. Содержательная часть. Ошибки, связанные с процессом тестирования.

Все посты памятки:
1/5. Ошибки в UX-тестах на этапе подготовки.
2/5. Структура UX-теста. Ошибки во время проведения теста: вводная часть.
3/5. Содержательная часть. Ошибки, связанные с вопросами.
4/5. Содержательная часть. Ошибки, связанные с процессом тестирования.
5/5. Ошибки на фазе завершения теста

💽 Последняя часть памятки

Читать полностью…

Памятка «Ошибки в UX-тестах и как их избежать» (продолжение).

2/5. Структура UX-теста. Ошибки во время проведения теста: вводная часть.

Все посты памятки:
1/5. Ошибки в UX-тестах на этапе подготовки.
2/5. Структура UX-теста. Ошибки во время проведения теста: вводная часть.
3/5. Содержательная часть. Ошибки, связанные с вопросами.
4/5. Содержательная часть. Ошибки, связанные с процессом тестирования.
5/5. Ошибки на фазе завершения теста

💽 Продолжение памятки

Читать полностью…

«Только открытые вопросы»
(в копилку 🚩«красных флагов» / индикаторов некомпетентности)

Ранее в сериале: «пять почему?», «не задавайте вопросы про будущее», «проблемное и решенческое интервью».

Есть прекрасная рекомендация для интервью: «задавайте только открытые вопросы».

Прекрасная она, потому что предполагает, что ответ должен звучать развернуто. И это – то здравое зерно, что там есть.

Но тут возникает проблема: если вы просто задаете открытый вопрос – это не значит, что респондент ответит вам содержательно:

- почему вы не заказываете нашу доставку здорового питания?
- приелось

Или:

- что вы заказывали на бизнес ланч на прошлой неделе?
- не помню, было много суеты на работе

То есть, наличие открытого вопроса – это не гарантия развернутого ответа.
В хорошем случае исследователь уточняет у респондента, что именно он имел в виду, и что стоит за первыми, часто декларативными ответами (рассказывали об этом в видео про то, как задавать уточняющие вопросы).

А что с закрытыми вопросами? Правда ли, что их нельзя применять на интервью?
Нет, их НУЖНО применять

Они оживляют интервью, делая его похожим на беседу. В обычной беседе вы ведь задаете закрытые вопросы? Так и здесь – они позволят сделать интервью менее скучным.

- Вы раньше использовали МТС?
- Да.
- Расскажите про ваш опыт?

(это как раз тот случай, когда вы можете использовать вопросы из скрининговой анкеты, в целях поддержания беседы («коммуникационные вопросы» по Крюгеру)

Если пытаться представить это в виде открытого вопроса, то получится неестественная конструкция со «склейкой» двух вопросов в одном:

«Если вы использовали МТС ранее, то расскажите про ваш опыт?»

На фокус группах закрытые вопросы незаменимы для приоритизации высказываний респондентов:

- Кто-то использовал МТС? Поднимите руки.
👋 👋 👋
- Отлично, с вас мы и начнем. Николай, вам слово

Закрытые вопросы можно использовать как уточняющие/дополнительные, валидирующие, и структурирующие беседу.

Что правда, так это то, что закрытые вопросы не должны подменять собой основные – там, где вы хотите получить развернутые ответы.
Или как фреймящие/наводящие – «вы перестали пить коньяк по утрам?»« Вам понравился наш новый прогрессивный дизайн?»

Но когда вы видите рекомендацию «только открытые вопросы» - знайте, что это «слово копипастыря», потому что своего знания у этого человека нет.

💽 @PostPostResearch

Читать полностью…

Как применить продуктовый подход в изучении языков?

На первых майских я прочел книгу Елены Кочевой «Лингво-хакинг».

И я увидел в ней очень органично использованный продуктовый подход.

В ней описаны три героя – три персоны – у каждой из которых своя мотивация к изучению языка.

Первый учит язык (английский), чтобы работать в международной компании.

Вторая учит язык – тоже английский – по принципу "вдруг что случится, например, путешествие – а я так и не знаю английский".

Третья учит язык страны, в которую она переехала - чтобы не чувствовать себя нелепо в разных жизненных ситуациях.

(Я, конечно же, узнал себя в последней персоне. С 2021 года я учу словацкий. Я учу его до сих пор. Могу сносно объясниться в школе, у врача, в кафе и в магазине. А прогресса, несмотря на занятия и погруженность в языковую среду, уже долгое время нет.
Думал, отчего так происходит, но ничего, кроме стресса и лени, в качестве причин в голову не приходило. Ругал себя за лень, потом думал - ну, говорить же могу, и ладно, как-нибудь потом решу проблему).

Эти персоны основаны на том, как человек предполагает использовать язык. И эффективный подход к изучению языка для каждой из них - тоже разный.

И даже техника «пять почему?», которую мы критиковали за навязчивость, здесь совершенно на своем месте. Потому что автор предлагает задать этот вопрос себе – в этом формате она становится методикой «предельных смыслов» А.Н. Леонтьева. Леонтьев, правда, задает вопрос «зачем?» - но суть та же. Зачем я учу язык? Чтобы что?

Вам важно понимать свою внутреннюю мотивацию к изучению языка.

Как человек, который учит словацкий язык уже пятый год, я многое понял. И если бы я прочел эту книгу в 2021 году, то я бы существенно сократил свой путь.

Искренне советую.

Автор книги, Елена Кочева - полиглот (6 языков), автор Forbes, консультант по эффективному изучению языков для топов Яндекса и Х5, ведущая канала "Изучение языка как стратегия".

💽 @PostPostResearch

Читать полностью…

Какие ошибки совершают исследователи в анализе качественных данных — и почему это не всегда зависит от их опыта.

Выложили видео доклада про ошибки исследователей.
💽 @PostPostResearch

Читать полностью…

Синтетические респонденты наносят ответный удар
Отвечаем на вопросы и проясняем неясности, оставшиеся с прошлого раза.

❓Кому и зачем нужны синтетические респонденты?
Евангелисты предлагают заменить всех – и исследователей, и респондентов – на LLM. Это позволит ускорить проверку гипотез, вынеся ненадежных людей за скобки.

Очевидно, что нынешний уровень технологий пока не позволяет так сделать. И мы вынужденно переходим к более скромной задаче: отбросить заведомо неудачные идеи, гипотезы и концепции (concept-test).

Как мы писали, никакое интервью не даст вам ответа на вопрос, «взлетит или не взлетит» - но оно может помочь отсечь заведомо провальные концепции. А уже прошедшие фильтр концепции могут быть доработаны и проверены на людях. Именно поэтому мы проверяли концепции, которые провалились. Потому что если LLM из роли респондента может в принципе это сделать, то, наверное, у таких концепт-тестов есть потенциал?

И здесь мы сталкиваемся с двумя проблемами:

🅰️ Конформизм
LLM дают характерный вайб ответов. Это типичные «ходоки». Они очень хотят понравиться исследователю и подстроиться под него. Они одобряют все, что вы им предложите, и со всем согласны.
Виталий Болотаев поставил смелый эксперимент с Grok, предложив ему оценить идею пива с заведомо неприемлемым вкусом. Результат эксперимента - безусловное одобрение. Почему это так? Виталий пишет:

«ИИ может выдавать "угодливые" или "полярные" ответы, если в запросе есть намёк на предпочтение определённой точки зрения. Это не осознанное желание "угодить", а следствие статистической оптимизации: модель стремится максимизировать вероятность положительной оценки».

Возникает вопрос: можно ли решить проблему конформизма LLM с помощью промптинга в принципе? Или же нам нужно двигаться в сторону кастомных LLM и забыть условный Chat GPT как страшный сон? Спойлер: возможно, к этому и идет.

🅱️ Неполнота данных
Можем ли мы вообще полагаться на данные, заложенные в LLM? А что, если они неполны или системно искажены? Есть прекрасная статья «Персона, созданная LLM, - это обещание с подвохом» – где авторы ставят эксперименты. Общий вывод: «чем больше контента, созданного LLM, включалось в персоны, тем больше их смоделированные мнения расходились с реальными данными». Эти синтетические респонденты чаще выбирают экологичные машины, гуманитарные специальности, романтические фильмы и голосуют за демократов.

Критика нашего эксперимента:

1️⃣ «У вас неправильные промпты. Правильные должны быть не короче двух страниц»
Странно оценивать промпты по длине, а не по содержанию.
Но, как бы то ни было, повторение экспериментов с расширенным описанием персон и более детальным сеттингом интервью пока не опровергло наших результатов. Кошатница по-прежнему хочет купить Febreze, а айтишник из Сан-Франциско все также хочет попробовать AI-сервис для проверки договоров аренды.
Добавление в промпт инструкций для снижения конформизма не поменяло результат принципиальным образом.

2️⃣ «Role-prompting не подходит для синтетических респондентов в принципе»
Ксения Воейкова пишет, что ролевой промптинг не работает для reasoning LLM, и для таких задач нужно использовать цифровых двойников – отсылая к статье «Генеративные агенты: моделирование 1000 реальных людей». Авторы получили обнадеживающие результаты: точность цифровых двойников при воспроизведении опросников и экономических игр оказалась выше, чем у агентов, обученных на демографических данных или кратких описаниях.

Проблема в том, что авторы не тестировали никакие концепции - ни на людях, ни на цифровых двойниках. Следовательно, мы не знаем, применимы ли эти цифровые двойники для концепт-тестов – где мы должны не воспроизвести установки и ценности, а оценить конкретный продукт с точки зрения возможной покупки.
Если для создания цифрового двойника, который сможет тестировать концепции новых напитков, нам придется проводить U&A интервью с живыми респондентами, то не проще ли сразу опрашивать живых людей?

В третьей части сравним разные LLM между собой и проверим новые провальные концепции.
💽 @PostPostResearch

Читать полностью…

Тестируем синтетических респондентов

Все пишут про синтетических респондентов.

Исследователи, как правило – скептически. Не заменит живых людей, или заменит, но только на простых кейсах.
Евангелисты – восторженно. Вот он, золотой век, когда не надо ждать, пока исследователи разродятся. Хоть по гипотезе в минуту тестируй.

Обе позиции - теоретические.

Мы решили проверить на практике концепцию синтетических респондентов, используя реальные примеры – кейсы, в которых мы знали судьбу идеи, продукта или гипотезы. Мы убрали результат проверки под спойлер, чтобы вы могли проверить себя.

Кейс 1.
Ситуация: из-за смены алгоритма в сервисе у пользователя меняется цифра кредитного рейтинга. Нам нужно понять восприятие этой ситуации нашими пользователями.
Респондент: Сорокалетний мужчина из России, работающий на государственной службе. Есть семья, один ребенок. Доход - средний. Некоторое время назад брал кредиты, платежи по этим кредитам были просрочены. Как следствие, кредитный рейтинг не очень высок. В данный момент все кредиты погашены, задолженностей нет.
Результат: огромное разочарование ситуацией:

«Честно говоря, сначала был в шоке. Я же, наоборот рассчитывал, что рейтинг должен расти, а он вдруг упал. Первая мысль — какая-то ошибка или сбой в системе. Потом пришло раздражение: вроде бы закрыл все долги, больше никаких просрочек не было, а рейтинг почему-то снизился.
Начал прокручивать в голове, что могло повлиять. Может, банки пересмотрели какие-то свои критерии или обновилась база данных? Или, например, недавний запрос на проверку кредитного рейтинга как-то повлиял?
Но самое неприятное — это ощущение несправедливости. Получается, сколько ни старайся, система все равно тебя не прощает сразу. И это напрягает, ведь я же собирался брать кредит на машину, а теперь боюсь, что условия будут хуже»

На самом деле: ✅ на исследовании всё так и было. Но во многом это самоочевидный кейс: поставьте себя на место пользователя, и вы придете к тем же выводам быстрее, чем сформулируете промпт.

Кейс 2.
Концепт: стартап в Сан-Франциско, проверяющий договоры аренды недвижимости с помощью AI.
Респондент: айтишник из Сан-Франциско, недавно снявший квартиру.
Результат: Восторженный интерес со стороны синтетического респондента.
На самом деле: ❌ договоры аренды - типовые, по одному шаблону, соответствующему закону штата. Кроме того, в Калифорнии законы штата защищают арендатора лучше, чем арендодателя. Мы провели ровно одно исследовательское интервью в 2018 году, чтобы понять, что идея не взлетит. Любопытно, что в начале интервью наш синтетический респондент воспроизвел те факты о рынке аренды в Сан-Франциско, о которых мы уже знали (договора - типовые), однако это не помешало выдать ему интерес к продукту. Хороший исследователь засомневался бы, увидев противоречия между ситуацией и интересом к продукту.

Кейс 3.
Концепт: новое средство для удаления запахов. Это инновационная технология, которая буквально связывает запахи, а не заглушает их другим ароматом. Например, этим спреем можно опрыскать пиджак курильщика, и запах табака уйдет совсем. Спрей подходит не только для одежды, но и для пола, мебели и ковров.
Респондентка: американская домохозяйка, одиночка, 45 лет, у нее в доме 9 кошек разного возраста, которых она очень любит.
Результат: Восторженный интерес со стороны синтетического респондента, с вопросами о безопасности для кошек.
На самом деле: ❌это известный кейс Febreze. Исследование причин провала первого запуска выявило, что и курильщики, и кошатницы привыкли к запахам, и то, как пахнет у них дома – проблема не для них, а для тех, кто к ним пришел.

Два последних эксперимента воспроизводят те же ошибки, что были у людей, придумавших эти продукты: до исследования у команд были предположения о ценности продукта и целевой аудитории, которые совпали с тем, что демонстрировала LLM в нашем мини-эксперименте.

Итог тестирования: пока что «синтетические респонденты» оценивают продукты и идеи примерно так же, как и сама продуктовая команда: с азартом верят в них, игнорируя окружающие факты.

💽 @PostPostResearch

Читать полностью…