A/B-тестування в ASO. Що це та як провести в App Store чи Google Play?

*Білд — це нова версія застосунку. Оновлення іконки можливе лише разом з оновленням версії застосунку у сторі. Тобто, термін build вказує на конкретну версію або варіант застосунку, який готовий до завантаження і встановлення на пристроях користувачів. Він містить всі необхідні файли та дані, щоб користувачі могли встановити та використовувати застосунок.

Більше про оптимізацію графічних елементів читайте в статті «Графіка в просуванні мобільних додатків в App Store та Google Play».

Як опублікувати A/B-тест в App Store

1. Перейдіть на вкладку Product Page Optimization в App Store Console.
2. Після назви тесту вкажіть, який саме тест запускаєте (A/B, A/B/B чи A/B/C тест і т. д. ), країни для показів цього тесту (по дефолту вибираються усі 39 країн), приблизну тривалість тесту.
3. Завантажте графічні матеріали.

Більш детальний опис читайте в офіційній довідці App Store.

Як опублікувати A/B-тест в Google Play

1. На вкладці Store listing experiments в Google Play Console оберіть країни для тесту.  На відміну від App Store, обрати можна лише одну країну для одного тесту або тест на дефолтну країну,тобто на всі країни, де немає локалізованих графічних чи текстових матеріалів, залежно від того, що саме ви тестуєте. Тож визначте, працюватиме тест на дефолтну чи на конкретну країну. 

Більше інформації читайте в офіційній довідці.

2. Налаштуйте показники, які впливають на точність тесту і визначають кількість завантажень:

• метрика-орієнтир на користувачів, які завантажили застосунок або ж ті, хто завантажив і не видалив у першу добу після;
• варіант тесту, який запустите (A/B, A/B/C, A/B/C/D — більше інформації про головні відмінності далі);
• відсоток відвідувачів, які побачать експериментальний варіант замість поточного;
• мінімальна різниця між новими варіантами та поточним варіантом, яка визначить переможця;
• коефіцієнт впевненості (Confidence level) в результатах тесту. Цей параметр визначає, наскільки результати тесту будуть наближені до реальних фактичних. Вищий рівень — більше впевненості та більше фактичних результатів, але це вимагає більше часу та даних. Нижчий рівень — фактичні результати будуть «розбавлені» статистичними припущеннями, менше впевненості, але і менше даних та часу необхідно для отримання результатів.

3. Визначте, що саме тестувати. На відміну від App Store, можна тестувати не тільки графічні елементи, а і текстові (повний і короткий описи).

Скриншоти для A/B-тесту можна завантажувати лише в одному розмірі. Google самостійно адаптує їх під інші формати.

Як підготувати застосунок до тестування

1. Запускайте A/B/B-тести, а не A/B-тести

• А — це поточний варіант скриншотів (або інших матеріалів для тесту), які наразі є в сторі;
• В — це новий варіант скриншотів, які треба протестувати;
• В — дублюємо скриншоти, які треба протестувати.

A/B/B-тест додатково підтверджує вірогідність результатів. В найкращому випадку B1 і B2 мають більш-менш однакові показники (більше про це читайте нижче в розділі «Результати A/B-тестів»).

2. Тест має тривати від двох тижнів (залежить від того, як багато трафіку застосунок має)

Як на прикладі нижче, іноді навіть цього недостатньо. Загальна кількість трафіку була невелика, тож двох тижнів виявилось замало. Неоднозначний результат тримався близько місяця. Однак за півтора місяця відбувся значний ріст показників для варіантів B1 і B2. Загалом тест тривав понад 70 днів.

3. Зміни в графіці мають бути вагомими

• Оберіть лише одну гіпотезу, яка потенційно матиме значний вплив на користувачів.
• Зосередьтесь на ключових змінах у перших трьох скриншотах під час тесту гіпотези (якщо є також відео — на перших двох). Якщо застосунок має горизонтальні скриншоти — на першому. 

У випадку ребрендингу (бренд змінює кольори, шрифти, герої тощо) скриншоти можуть потребувати кардинальних змін. Це також можливо, якщо попередні скриншоти незадовільні.

4. Наскрізна маркетингова діяльність

Візьміть до уваги глобальну маркетингову діяльність. Користувачі асоціюють бренд з конкретними персонами. Тому у всіх каналах просування та під час тестів в сторі використовуйте скриншоти з однаковими героями, однакові кольори бренду та скрізь дотримуйтесь загальної стилістики. 

5. Зважайте на силу бренду

Популярний застосунок (наприклад, Netflix) має більшість переглядів і завантажень саме за брендовим пошуковим запитом. Графіка несуттєво впливає на вибір користувачів. Результати такого тесту не завжди будуть показовими, попри кількість трафіку і зміни.

6. Культуралізація

Зверніть увагу на культурні особливості кожного регіону. Локалізуйте мову на скриншотах, додавайте кольори, елементи й людей, які притаманні країні. Це зацікавить місцеве населення.

Результати A/B-тестів в Google Play