Синтетичні користувачі — машина гіпотез, а не докази

У розмові про синтетичних користувачів домінують дві позиції, і обидві ліниві. Одна каже, що мовна модель, якій сказали вдавати вашого клієнта, може замінити дослідження. Друга — що вся ідея іграшка. Перша продає софт, друга — заспокоєння. Жодна не витримує зустрічі з тим, що ці інструменти справді роблять.

Почнімо з розрізнення, яке постійно змазують. Синтетичний користувач — це модель, яка вдає респондента. AI-інтерв’юер — це модель, яка говорить із реальним респондентом. Друге — інструмент збору даних; ми провели сотні таких розмов паралельно з людськими інтерв’ю і побачили, що знахідки сходяться, хоч AI потрібно більше розмов, щоб туди дійти, бо кожна тонша. Перше — зовсім інша річ, і саме про неї тут ідеться.

У чому машина добра

У генерації гіпотез. Попросіть модель відповісти як давній підписник, якому підняли ціну, — і вона видасть правдоподібний набір реакцій: ті, що компетентний дослідник перелічив би на плануванні, плюс кілька, які він міг би пропустити. Вона швидка, дешева й невтомна в цьому. До дослідження вона розширює простір того, про що варто питати. Під час аналізу може запропонувати альтернативні пояснення патерну, до якого команда стоїть надто близько.

Це справжня цінність. Це також уся цінність, і вона закінчується рівно там, де починаються докази.

Де вона перестає бути доказом

Синтетичний респондент не може сказати, що роблять ваші клієнти. Він може сказати, що зазвичай пишуть тексти про клієнтів, схожих на ваших. У цієї різниці чотири гострі краї.

Циркулярність. Модель навчилась на тих самих статтях, звітах і форумних тредах, які ваша команда вже прочитала. Коли вона підтверджує ваше очікування, ви не знайшли друге джерело. Ви знайшли перше джерело іншим голосом.

Валідність популяції. Легко написати в промпті «продакт-менеджерка 34 років із Берліна». Неможливо дізнатись, чи відповідь відображає цю популяцію, чи середнє всього, що модель колись читала про неї, — і найбільше вони розходяться саме на сегментах, про які ви знаєте найменше, тобто тих, які ви сподівались нею закрити.

Перевага проти поведінки. Навіть із реальними людьми те, що вони кажуть, що зробили б, і те, що роблять, — різні вимірювання. Синтетичний користувач дає симульовану задекларовану перевагу — на крок далі від поведінки, ніж найненадійніший реальний метод.

Впевнена вигадка. Відповідь плавна незалежно від того, чи вона на чомусь стоїть, а плавність — саме той сигнал, за яким люди судять про достовірність. Синтетична знахідка приходить одягнена як справжня. Ніщо у форматі вас не попередить.

Складіть це разом — і отримаєте правило. Синтетичний користувач може згенерувати питання. Відповісти на нього він не може. Ставтесь до його відповідей як до списку гіпотез на перевірку — і ніколи як до точки даних у підрахунку.

Як користуватись і не обдурити себе

Промптуйте на діапазон, а не на відповіді: просіть десять способів, якими сегмент міг би відреагувати, а не як він реагує. Тримайте синтетичні відповіді в окремій колонці від реальних даних, підписаній, щоб їх випадково не усереднили. Використовуйте їх для проєктування інструментів — гайдів інтерв’ю, варіантів в опитувальнику, крайніх випадків — і йдіть до реальних людей. Коли синтетична знахідка і реальна розходяться, реальна перемагає без наради. А коли збігаються, спитайте, чи могла модель знати це з інтернету; якщо могла, збіг — не підтвердження.

Питання під усім цим — те, заради якого існує Інститут. Коли машина може видати відповідь миттєво, як людині вирішити, чи заслуговує відповідь на довіру? Синтетичні користувачі — чистий кейс, бо спокуса така видима: відповідь виглядає як доказ, нічого не коштує і підтверджує те, на що ви сподівались. Це не дослідницька проблема. Це проблема судження, і жоден інструмент її за вас не розв’яже.

Institute for Human Reasoning — дослідницька й освітня організація про те, як люди мислять, оцінюють evidence і лишаються авторами важливих рішень у світі технологій.