Три, п’ять, сім: правило, яке всі цитують і ніхто не читав

Я вже знаю, як це число використають проти мене. Хтось скаже «Ніна каже, п’яти інтерв’ю досить», продакт-менеджер проведе п’ять розмов із тими, хто перший відповів, і на цьому побудують роадмап. Ця людина книжку не читала. Дозвольте покласти пропущену частину туди, де її неможливо не помітити.

Що це за числа

У якісних досліджень немає формули розміру вибірки. Немає аналога довірчого інтервалу, який скаже, коли зупинитись. Замість нього є сатурація: точка, у якій нові розмови перестають давати нові категорії — нові причини, нові патерни, нові способи, якими річ ламається. Три, п’ять і сім — це числа, на яких я навчилась очікувати цієї точки для однієї, більш-менш однорідної групи людей, що говорять про одне, більш-менш окреслене питання. Три показують, чи ви питаєте те, що треба. П’ять зазвичай показують форму. Сім — підтверджують або ламають.

Це все, чим вони є. Очікування з досвіду про те, де зазвичай настає сатурація. Не правило.

Звідки береться число — це і є весь метод

Числа щось означають лише після трьох речей. Пропустіть будь-яку — і число стане чужою лінню з моїм іменем.

Вирішіть, що має відрізнятись. Очікування «три-п’ять-сім» — на групу, а групи визначає те, що, на вашу думку, може змінити відповіді. Якщо ви вивчаєте підписний продукт і маєте підстави думати, що нові й давні користувачі скасовують з різних причин, — це дві групи. Якщо ще думаєте, що має значення, прийшли вони з реклами чи від друга, — чотири. Три вікові групи і дві статі — шість. Тепер множте: шість груп, три-п’ять розмов у кожній — і ваші «п’ять інтерв’ю» стали вісімнадцятьма-тридцятьма. Числом ніколи не було п’ять. П’ять було одиницею.

Вирішіть до початку, як виглядає сатурація. Сатурація — не відчуття, що ви вже наслухались. Це спостереження: останні дві розмови не додали нічого, чого ви ще не закодували. Для цього кодувати треба по ходу, а не після — вести список категорій, які ви чули, оновлювати після кожної сесії й бачити, як список перестає рости. Я веду трекер сатурації для кожного дослідження. Це нудна таблиця. І це єдина чесна відповідь на «звідки ви знаєте, що досить».

Шукайте людину, яка це зламає. Перш ніж зупинитись, свідомо йдіть шукати кейс, який зруйнує картину: давнього користувача, який пішов із причини новачка, ентузіаста, який усе одно скасував. Якщо не знайшли, хоч і пробували, — зупиняйтесь. Якщо знайшли — ви не наситились; ви знайшли групу, про яку не знали. Повертайтесь до першого кроку.

Чому я досі цим користуюсь

Бо альтернатива гірша. Команди, які вірять, що їм потрібне «статистично значуще» якісне дослідження, або ніколи не починають, або проводять сорок інтерв’ю без груп і кодування — і тонуть. Лайфхак дає маленькій команді спосіб спланувати, забюджетувати і зупинитись із рівним обличчям — доки вона планує по групах, зупиняється по сатурації і шукає того, хто зламає.

Цитуйте число, якщо хочете. Цитуйте разом із ним три кроки — інакше ви цитуєте те, чого я не казала.

Повний метод із трекером: «Так тобі й збрехали» / So They Lied to You

Ніна Сьомкіна (Nina Somkina) · Founder, Institute for Human Reasoning