План тестування – це документ, що описує як ми відповімо на питання валідаційної гіпотези і деталізує проведення експерименту.
Розглянемо, що може входити в план тестування на етапі валідації.
Об’єкт дослідження
Починаючи з перших замальовок майбутнього дизайну на серветці ми вже можемо отримати певну реакцію від наших користувачів. На цьому етапі користувачам не треба здогадуватись, що ми маємо на увазі, а вони вже можуть коментувати побачене. А ми, своєю чергою, можемо отримати валідацію наших здогадок через створені артефакти.
Якщо додаток являє собою більш ніж одну функцію, ми можемо окремо досліджувати кожну з них чи групи пов’язаних в рамках одного сценарію функцій.
Популярні артефакти для валідації ідей: концепції та прототипи.
Кнопка, що веде в нікуди, або концепція
Часто це один чи кілька екранів, що показують ключові функції продукту. Можуть бути представлені:
- Як окремі екрани продукту
- Як сторіборд з додаванням інформації про контекст використання
- Як відео з додатково записаним наративом
Прототипи
Це набір пов’язаних між собою екранів, що показують в деталях принцип роботи цих функцій. Прототипи можуть бути:
- За способом зборки:
- Паперові
- Зібрані на базі інструментів для прототипування
- Зібрані на базі реальних конструкторів сайтів
- Зібрані на базі інших сервісів, зв’язаних в реальний сценарій
- За рівнем деталізації
- Низької деталізації (low fidelity) – сірі екрани, що дають враження про наявність основних функцій і можливостей. Мінімально пропрацьований контент. Залишають багато роботи для фантазії глядача. Можуть бути корисні для швидкої роботи з ідеями в команді дизайнерів, проєктних менеджерів та з розробниками. Важко сприймаються стейкхолдерами та користувачами. В цю категорію входять ваейрфрейми.
- Середньої деталізації (medium fidelity) – частково пропрацьований дизайн та контент. Фокусуються на функціях, які зараз в роботі і частково помічають функції, що ще не були пропрацьовані. Дозволяють пришвидшити валідацію продуктів в розробці.
- Високої деталізації (high fidelity) – пропрацьовані до найдрібніших деталей екрани, що виглядають як реальний продукт.
- За рівнем відповіді на дії користувача
- Низький рівень відповіді – деякі кнопки в прототипі дозволяють переходити на нові екрани. Часто це кнопки, що відповідають бажаному “вдалому” шляху користувача в додатку.
- Високий рівень відповіді – більшість кнопок, враховуючи “невдалі” сценарії прототипу дозволяють користувачу рухатися далі. Неможлива, або все ще не обробляється введена інформація в поля вводу.
- Чарівник країни Оз – прототип, де людина з іншого боку прототипу обробляє введену користувачем інформацію та швидко генерує відповіді додатка. Створюється враження взаємодії з реальним продуктом.
- No-code розробка – прототип, що працює на конструкторі додатків, може приймати повноцінний ввід даних від користувача і належним чином їх обробляти. Виглядає і працює як реальний продукт.
Мета дослідження
Якщо коротко, то мета дослідження – валідація гіпотези. Щоб провалідувати гіпотезу нам треба провести експеримент і зібрати дані.
В мету ми одним речення записуємо що ми можемо зробити, щоб перевірити, чи вирішує нововведення проблему бізнесу та водночас задовольняє потреби користувачів і на основі яких параметрів будемо робити висновки.
Як робити висновки
Респондент, після взаємодії з об’єктом дослідження, дає нам свою суб’єктивну оцінку та коментарі. Ми отримуємо якісні та кількісні дані:
- Якісні – надані у вільній формі позитивні й негативні коментарі щодо додатка та окремих його функцій.
- Кількісні – цифрові значення, отриманні шляхом:
- вимірювання фізичних величин (час виконання, дистанція, інше.)
- кількості певних явищ (помилок, відмін, повернутих грошей)
- значень виміряних через стандартизовані опитування
Все, що ми вимірюємо та нотуємо має бути використано, щоб зробити висновки.
Кількісні дані ми використовуємо, щоб сказати, чи відповідає виміряна величина очікуваній і таким чином підтвердити чи спростувати нашу гіпотезу. Якісні дані дають нам глибше розуміння результату виміряних параметрів.
Приклади:
- Гіпотеза 1: Ми вважаємо, що прибравши з форми реєстрації деталі щодо професії користувачі ми прискоримо заповнення цієї форми – гіпотезу підтверджено
- Під час UX аудиту на прототипі ми визначили, що час проходження сценарію зменшився на 20% відсотків – це кількісний результат експерименту.
- Під час інтерв’ю з користувачами ми дізналися, що вони хочуть пройти форму реєстрації якнайшвидше і перейти до використання продукту – це якісні результати.
- Гіпотеза 2: Ми вважаємо, що додавши функцію пошуку авто в застосунку ми підвищимо рівень задоволення від використання нашого сервісу – гіпотезу спростовано
- Аналізуючи дані А/В тесту ми побачили, що лише 0.5% кристувачів з групи В скористалися цією функцією і при цьому середній рівень вдоволеності груп А і В залишився однаковим – це кількісний результат експерименту.
- Аналізуючи коментарі користувачів про поїздку ми не знайшли згадок про функцію пошуку авто – це якісні результати.
Канва плану дослідження
Щоб зафіксувати план дослідження, заповню канву плану верифікації. Канва складається з двох треків:
- Зміст дослідження
- Організація процесу
Важливі організаційні моменти
Скільки і яких респондентів нам треба?
У 2000 Джейкоб Нільсен прийшов до висновку, що 5 користувачів знаходять 75% проблем інтерфейсу. Цей висновок став стандартом в індустрії. Нам важливо розуміти, що щоб зробити якісний висновок, ці 5 користувачів повинні відповідати одній персоні.
Якщо у нас більше однієї персони, нам треба розуміти яка з них буде основним користувачем функції чи сценарію, що ми верифікуємо і починати з неї.
Плануючи дослідження, нам треба знайти мінімальну ефективну кількість користувачів, з огляду на важливість функціональності для продукту, наявного часу та бюджету.
Де ми будемо шукати респондентів?
Про можливі варіанти ми говорили в розділі планування інтерв'ю. Для демо-проекту ми покажемо приклад пошуку користувачів на біржі.
Винагорода учасникам
Винагорода дає додаткову мотивацію незнайомим людям брати участь в дослідженні. Вона має бути пропорційна зарплаті учасника за годину роботи, щоб не бути єдиною причиною участі.
Бажано, щоб винагорода давала учаснику цінність, що певним чином пов’язана з цінністю пропозиції продукту.
Приклади:
- Досліджуючи Розетку, пропонуємо винагороду у вигляді сертифіката на 200 грн на від самої платформи Розетка.
- Досліджуючи продукт для лікарні, можна оплатити прийом у лікаря.
Графік дослідження
Подумайте наперед, коли ви готові спілкуватися з респондентами. Виберіть кілька слотів у вашому робочому графіку. Намагайтеся не бронювати більше 5 сесій на один день.
Заздалегідь подумайте, коли вам буде зручно проводити дослідження. Виділіть достатньо часу на той момент між сесіями, коли користувач прийде трохи раніше чи трохи пізніше. Зарезервуйте час на перерву/каву між сесіями.
Як буде проходити сесія з користувачем
Варто подумати, що буде відбуватися під час дослідження. Що і в 'кому порядку ми будемо розповідати та демонструвати? Коли задавати питання? Як фіксувати відповіді?
Приклад:
- Інтро проєкту
- Збір демографії, щоб впевнитися, що респондент нам підходить
- Розмова про останню подію учасник проводив аби викликати спогади
- Демонстрація концепту
- Опитування
