Наша задача, як продуктових дизайнерів – створити продукт, в якому користувачі досягають своїх цілей.

Коли ви провели експеримент, ви зібрали дані, що можуть бути представлені у вигляді цифрових значень. Коли аналізуємо дані продукту, найчастіше ми говоримо про конверсію.

Конверсія – кількість (чи відсоток) користувачів, що виконали цільову дію на яку ви сподівалися. Наприклад:

• Відповіли певним чином на запитання
• Пройшли певний крок клієнтського шляху

Коли ми аналізуємо конверсію в продукті

Нам цікаво:

• Скільки користувачів було взагалі?
• Скільки виконали очікувану або ж цільову дію?
• Якщо у нас були попередні значення, наскільки вони змінилися?
• Чи мав наш дизайн вплив на цю дію? Або ж словами статистики чи статистично значущі результати експерименту?

Де ми побачимо результат?

Відповідь на перше запитання “Скільки користувачів було взагалі?” ми отримаємо з простої аналітики, що рахує кількість відвідувачів чи сесій.

Для відповіді на друге запитання “Скільки виконали очікувану або ж цільову дію?” нам потрібно зрозуміти, як продукт вимірює, що цільова дія відбулася. Налаштовані воронки та тригери подій в продукті зберуть за вас цю статистику.

Коли ви запустите дослідження на регулярній основі, ви матимете питання “Наскільки змінилися дані після запуску експерименту?”

Найцікавіше і найкорисніше, це зрозуміти “Чи мали покращення вплив на конверсію”?

Який може бути результат?

Результат змін на продукті за час, поки триває ваш експеримент, може бути:

• Позитивним – користувачі прийняли ваші зміни і конверсія підросла,
• Нейтральним – покращення не вплинуло на конверсію,
• Негативним – покращення знизило конверсію.

Наскільки суттєвий вплив?

Якщо ми нічого не будемо змінювати в продукті, конверсія може коливатися в межах статистичної похибки. Це такий невеликий процент зміни в конверсії, що відбувається залежно від інших, не пов’язаних з нашим експериментом, несуттєвих факторів.

Довірчий інтервал

В продуктових розрахунках він залежить від загального числа користувачів чи сесій, що відбуваються на продукті за певний проміжок часу, як то день чи хвилина і коливається в межах від 1% до 10% від цієї кількості.

Метрики на навантаженому продукті

Якщо ми говоримо про А/В тест на навантаженому продукті, нам потрібно проаналізувати багато сесій, щоб зробити висновки. І чим менший розмір ефекту, який ми хочемо поміряти – ти більше експериментів треба, щоб це помітити. Є формули і калькулятори, що дозволяють розрахувати необхідну кількість сесій: https://abtestguide.com/calc/

На виході ваш тест буде значущім, якщо вам вдалося набрати вибірку рекомендованого калькулятором розміру для значущості змін, що ви очікували.

Метрики користувацьких тестувань

Якщо 4 з 5 користувачів справляються з завданням, можна віддавати в розробку. Якщо тільки 3 чи менше людини справилися – у вас швидше за все будуть проблеми пізніше. Варто допрацювати дизайн.

Якщо, окрім відсотка виконаних завдань, ви хочете переконатися в статистичній достовірності результатів, ви можете порахувати:

• Для невеликих вибірок (кілька десятків респондентів) розрахувати достовірність використовуючи Коефіцієнт погодженості Пірсона 𝛸2 з непараметричної статистики https://blog.hubspot.com/marketing/marketers-guide-understanding-statistical-significance
• Для більших вибірок, де у нас є надія на рівномірне розподілення результатів https://help.surveymonkey.com/en/surveymonkey/analyze/significant-differences/

В реальних проєктах, статистична достовірність рідко розраховується дизайнерами і рідко очікується. Тестування з респондентами частіше проводяться як якісні дослідження і рекомендації, що на них грунтуються мають найбільшу цінність.

Взаємовплив факторів

На результат ваших вимірювань одночасно може впливати безліч факторів. Внутрішніх і зовнішніх.

Внутрішні фактори:

• Запуск кількох нових функцій чи оновлень одночасно
• Запуск різних експериментів
• Внутрішні перебої в роботі продукту, як то сповільнення роботи технічних сервісів, опрацювання даних, даун-тайми

Зовнішні фактори:

• Сезонність
• Діяльність конкурентів
• Інші вагомі події у світі (природні та техногенні катастрофи, політичні події)

Всі ці фактори можуть вплинути на можливість та потребу ваших користувачів взаємодіяти з продуктом і, як результат, на метрики вашого продукту.

Коли плануєте та аналізуєте експеримент, важливо мати це на увазі.

В цьому модулі

До програми

Далі буде…