A/B-тестування в ASO. Що це та як провести в App Store чи Google Play?

A/B-тестування в ASO — це процес порівняння двох або більше варіантів візуальних або текстових елементів, щоб визначити найбільш привабливий для відвідувачів стору. A/B-тест можливий для скриншотів, іконок, або ж текстових метаданих у випадку Google Play. Що таке A/B-тестування в ASO, які головні відмінності A/B-тестів в App Store і Google Play та як це зробити правильно, розповідає команда RadASO.

  1. A/B-тестинг в ASO — як це працює
  2. Що враховувати під час підготовки гіпотези для A/B-тесту
  3. Таблиця відмінностей A/B-тестів в App Store і Google Play
  4. Як опублікувати A/B-тест в App Store
  5. Як опублікувати A/B-тест в Google Play
  6. Як підготувати застосунок до тестування
  7. Результати A/B-тестів в Google Play
  8. Результати A/B-тестів в App Store

A/B-тестинг в ASO — як це працює

Загальну кількість користувачів розділіть на дві групи: А і В. Група А має звичайний досвід і бачить поточні скриншоти. Група В отримує новий досвід і бачить нові тест-скриншоти. Продовжуйте тестування поки не виділите групу з кращою конверсією встановлень.

AB test_beginning

Під час запуску тесту є можливість обрати різні параметри:

  • відсоток користувачів, яким він відображатиметься;
  • країни, в яких буде проводитися тест;
  • умови за яких тест вважатиметься вдалим.

Проте контролювати типи аудиторії та кому буде показаний тест за статтю чи віком — неможливо. 

Головна ціль A/B-тестів в ASO — покращити конверсію в одному з варіантів. Іноді незначні зміни, як інший колір CTA написів чи кепшенів на скриншотах, призводять до суттєвих відмінностей під час взаємодії користувачів із застосунком. Під час створення гіпотези, конкретизуйте, що зміните й чому.

Що враховувати під час підготовки гіпотези для A/B-тесту

1. Виберіть елемент, який буде змінено (протестовано) і, на вашу думку, матиме значний вплив на користувачів. Наприклад, фон на одному зі скриншотів. Гіпотеза може полягати в тому, що його зміна збільшить конверсію. 

Before_After

2. Окресліть зміну. Конкретно та зрозуміло вкажіть, що саме хочете змінити в цьому елементі й додайте орієнтовні референси. Наприклад, «замінити темний фон на світлий» або ж «замінити фон з зображенням людей на однотонний фон».

3. Оцініть, як зміна впливає на користувачів. Тест не покаже результату, якщо лише невеликий відсоток користувачів помітить зміну.

4. Зміна має бути помітною на перших трьох вертикальних скриншотах (якщо є відео — на перших двох). На горизонтальних скриншотах чи відео зміни мають бути очевидні одразу на першому. 

Розглянемо на прикладах:

Приклад 1. На шостому скриншоті зміни помітні не одразу. Більшість користувачів дивляться лише перші й не гортають до кінця. Тож такий тест не має користі й не дозволяє зробити суттєвих висновків щодо результатів.

Graphic Bad Sample

Приклад 2. Зміни помітні одразу на першому найбільш конверсійному скриншоті. Тестується лише одна ключова зміна, а не одразу декілька. Результати цього A/B-тесту вкажуть, що користувачі вважають більш привабливим для перегляду і завантаження.

Graphic Good Sample

Таблиця відмінностей A/B-тестів в App Store і Google Play

Google Play

App Store

Що можна перевірити?

  • Короткий опис
  • Довгий опис
  • Іконку
  • Фічер графіку
  • Скриншоти
  • Відео
  • Скриншоти
  • Відео
  • Іконку (потрібно завантажувати в білд*)

Кількість одночасних тестів 


5 тестів (кожен тест діє в межах лише однієї країни. Можна обрати тест на дефолтну країну (деталі — нижче): тоді він запуститься на всі країни, де немає локалізованих графічних чи текстових матеріалів. 

1 тест (тест можна відразу поширити на усі країни, де доступний застосунок або ж вибрати потрібні країни)

Кількість варіантів тесту, який можна протестувати з поточним варіантом в сторі

Порівнюється максимум з 3-ма новими варіантами

Чи можна запустити тест, поки один з інших елементів на ревʼю?

Так

Ні

Обовʼязкові формати скриншотів, що завантажуються в стор

6.5 

6.5
5.5
12.9 (якщо є iPad версія)

*Білд — це нова версія застосунку. Оновлення іконки можливе лише разом з оновленням версії застосунку у сторі. Тобто, термін build вказує на конкретну версію або варіант застосунку, який готовий до завантаження і встановлення на пристроях користувачів. Він містить всі необхідні файли та дані, щоб користувачі могли встановити та використовувати застосунок.

Більше про оптимізацію графічних елементів читайте в статті «Графіка в просуванні мобільних додатків в App Store та Google Play».

Як опублікувати A/B-тест в App Store

  1. Перейдіть на вкладку Product Page Optimization в App Store Console. AppStore_1st step
  2. Після назви тесту вкажіть, який саме тест запускаєте (A/B, A/B/B чи A/B/C тест і т. д. ), країни для показів цього тесту (по дефолту вибираються усі 39 країн), приблизну тривалість тесту. AppStore_2nd step
  3. Завантажте графічні матеріали. AppStore_3d step

Більш детальний опис читайте в офіційній довідці App Store.

Як опублікувати A/B-тест в Google Play

1. На вкладці Store listing experiments в Google Play Console оберіть країни для тесту.  На відміну від App Store, обрати можна лише одну країну для одного тесту або тест на дефолтну країну,тобто на всі країни, де немає локалізованих графічних чи текстових матеріалів, залежно від того, що саме ви тестуєте. Тож визначте, працюватиме тест на дефолтну чи на конкретну країну. 

Більше інформації читайте в офіційній довідці.

Google Play_1st step

2. Налаштуйте показники, які впливають на точність тесту і визначають кількість завантажень:

  • метрика-орієнтир на користувачів, які завантажили застосунок або ж ті, хто завантажив і не видалив у першу добу після;
  • варіант тесту, який запустите (A/B, A/B/C, A/B/C/D — більше інформації про головні відмінності далі);
  • відсоток відвідувачів, які побачать експериментальний варіант замість поточного;
  • мінімальна різниця між новими варіантами та поточним варіантом, яка визначить переможця;
  • коефіцієнт впевненості (Confidence level) в результатах тесту. Цей параметр визначає, наскільки результати тесту будуть наближені до реальних фактичних. Вищий рівень — більше впевненості та більше фактичних результатів, але це вимагає більше часу та даних. Нижчий рівень — фактичні результати будуть «розбавлені» статистичними припущеннями, менше впевненості, але і менше даних та часу необхідно для отримання результатів.

Google Play_2nd step

3. Визначте, що саме тестувати. На відміну від App Store, можна тестувати не тільки графічні елементи, а і текстові (повний і короткий описи).

Скриншоти для A/B-тесту можна завантажувати лише в одному розмірі. Google самостійно адаптує їх під інші формати.

Google Play_3d step

Як підготувати застосунок до тестування

1. Запускайте A/B/B-тести, а не A/B-тести

  • А — це поточний варіант скриншотів (або інших матеріалів для тесту), які наразі є в сторі;
  • В — це новий варіант скриншотів, які треба протестувати;
  • В — дублюємо скриншоти, які треба протестувати.

Screen A_B_B test

A/B/B-тест додатково підтверджує вірогідність результатів. В найкращому випадку B1 і B2 мають більш-менш однакові показники (більше про це читайте нижче в розділі «Результати A/B-тестів»).

ABB same results

2. Тест має тривати від двох тижнів (залежить від того, як багато трафіку застосунок має)

Як на прикладі нижче, іноді навіть цього недостатньо. Загальна кількість трафіку була невелика, тож двох тижнів виявилось замало. Неоднозначний результат тримався близько місяця. Однак за півтора місяця відбувся значний ріст показників для варіантів B1 і B2. Загалом тест тривав понад 70 днів.

78 Days

3. Зміни в графіці мають бути вагомими

  • Оберіть лише одну гіпотезу, яка потенційно матиме значний вплив на користувачів.
  • Зосередьтесь на ключових змінах у перших трьох скриншотах під час тесту гіпотези (якщо є також відео — на перших двох). Якщо застосунок має горизонтальні скриншоти — на першому. 

У випадку ребрендингу (бренд змінює кольори, шрифти, герої тощо) скриншоти можуть потребувати кардинальних змін. Це також можливо, якщо попередні скриншоти незадовільні.

4. Наскрізна маркетингова діяльність

Візьміть до уваги глобальну маркетингову діяльність. Користувачі асоціюють бренд з конкретними персонами. Тому у всіх каналах просування та під час тестів в сторі використовуйте скриншоти з однаковими героями, однакові кольори бренду та скрізь дотримуйтесь загальної стилістики. 

Marketing

5. Зважайте на силу бренду

Популярний застосунок (наприклад, Netflix) має більшість переглядів і завантажень саме за брендовим пошуковим запитом. Графіка несуттєво впливає на вибір користувачів. Результати такого тесту не завжди будуть показовими, попри кількість трафіку і зміни.

6. Культуралізація

Зверніть увагу на культурні особливості кожного регіону. Локалізуйте мову на скриншотах, додавайте кольори, елементи й людей, які притаманні країні. Це зацікавить місцеве населення.

Different Culture

Результати A/B-тестів в Google Play

Словник:

  • Audience — % користувачів, які бачать експеримент;
  • Installers (current) — кількість фактичних завантажень протягом експерименту; 
  • Installers (scaled) — кількість завантажень під час експерименту, поділена на частку аудиторії;
  • Performance ймовірна зміна конверсії при застосуванні варіанту, що тестується (показник доступний, коли достатньо даних).

Приклад 1. 

Test Results_good

Швидше за все, варіанти тест-скриншотів А і В виграють. Проте, якщо результат в стовпці Performance не знаходиться повністю в «червоній» або «зеленій» зоні, не варто довіряти таким результатам на 100%. 

Розрахуймо очікувану зміну конверсії:

  1. для Treatment B1: (-11,5 + 24,9) / 2 = 6,7
  2. для Treatment B2: (-9,5 + 15,1) / 2 = 2,8
  3. середнє двох значень: (6,7 + 2,8) / 2 = 4,75

Конверсія зросте на 4,75%. Якщо поточна конверсія була 30%, прогнозована конверсія буде: 30 + (30 * 4,75 / 100) = 31,43%*

*Важливо! Не додавайте середній показник Performance у відсотках до поточної конверсії, а змінюйте поточну конверсію на цю кількість відсотків.

Приклад 2. 

Test Results_bad

Обидва варіанти показали суттєво від'ємний результат. Висновок: тест програв.

Приклад 3. 

Test Results_strange

Один і той самий варіант тесту показує різні результати: у В1 він виграє, а в В2 — програє. В такому випадку, підрахунки по формулі не дадуть вірогідних результатів, яким можна довіряти. В1 і В2 повинні показувати більш-менш однакові результати. 

Результати A/B-тестів в App Store

Словник:

  • Conversion rate — конверсія варіантів тесту (Apple, на відміну від Google Play, одразу це показує).
  • Improvement — відносна різниця між варіантом, що тестується і поточним варіантом, що є в сторі. Якщо клікнете на нього, побачите відсотковий діапазон за весь період тесту. 
  • Confidence — рівень впевненості в результатах кожного окремого варіанту. Має бути хоча б 50%, щоб прийняти остаточне рішення щодо тесту. 

Показники Confidence і збільшення конверсії на графіку нижче показують, що цей тест виграє.

App Store_test results

Після прийняття виграного варіанту тесту заміряйте конверсію ще раз.

A or B

A/B-тести — це безперервний процес, бо уподобання користувачів постійно змінюються. Сьогодні їх може привабити синій колір фону, проте згодом більше уваги може отримати червоний. 

Також важливо коректно оцінювати результати. Тест-переможець не завжди може покращити конверсію й навпаки. Зокрема, якщо висновки робити поспіхом.

Дізнатися більше
8
2
2
Cookies policy
Коли ви переглядаєте цей сайт, ви погоджуєтесь з нашими правилами конфіденційності — Погодитися