A/B-тестирование в ASO. Что это и как запустить в App Store или Google Play?

A/B-тестирование в ASO — это процесс сравнения двух или более вариантов визуальных или текстовых элементов, чтобы определить наиболее привлекательный для посетителей стора. A/B-тест возможен для скриншотов, иконок или же текстовых метаданных в случае Google Play. Что такое A/B-тестирование в ASO, какие главные отличия A/B-тестов в App Store и Google Play и как это сделать правильно, рассказывает команда RadASO.

Присоединяйтесь к открытому сообществу ASO & User Acquisition на Discord - ASO Busters! Участвуйте во внутренних обсуждениях, делитесь инсайтами и сотрудничайте с экспертами по ASO и UA. Главные темы охватывают App Store, Google Play, визуальное ASO, ASA, UAC, Facebook и TikTok.
  1. A/B-тестирование в ASO — как это работает
  2. Что учитывать при подготовке гипотезы для A/B-теста
  3. Таблица отличий A/B-тестов в App Store и Google Play
  4. Как опубликовать A/B-тест в App Store
  5. Как опубликовать A/B-тест в Google Play
  6. Как подготовить приложение к тестированию
  7. Результаты A/B-тестов в Google Play
  8. Результаты A/B-тестов в App Store

A/B-тестирование в ASO — как это работает

Общее количество пользователей разделите на две группы: А и В. Группа А имеет обычный опыт и видит текущие скриншоты. Группа В получает новый опыт и видит новые тест-скриншоты. Продолжайте тестирование пока не выделите группу с лучшей конверсией установок.

AB test_beginning

При запуске теста есть возможность выбрать различные параметры:

  • процент пользователей, которым он будет отображаться;
  • страны, в которых будет проводиться тест;
  • условия, при которых тест будет считаться удачным. 

Однако контролировать типы аудитории и кому будет показан тест по полу или возрасту — невозможно. 

Главная цель A/B-тестов в ASO — улучшить конверсию в одном из вариантов. Иногда незначительные изменения, скажем, другой цвет CTA-надписей или кепшенов на скриншотах, приводят к существенным различиям при взаимодействии пользователей с приложением. При создании гипотезы, конкретизируйте, что измените и почему.

Что учитывать при подготовке гипотезы для A/B-теста

1. Выберите элемент, который будет изменен (протестирован) и, по вашему мнению, будет иметь значительное влияние на пользователей. Например, фон на одном из скриншотов. Гипотеза может заключаться в том, что его изменение увеличит конверсию.

Before_After

2. Очертите изменение. Конкретно и понятно укажите, что именно хотите изменить в этом элементе и добавьте ориентировочные референсы. Например, «заменить темный фон на светлый» или же «заменить фон с изображением людей на однотонный фон».

3. Оцените, как изменение влияет на пользователей. Тест не покажет результата, если только небольшой процент пользователей заметит изменение.

4. Изменение должно быть заметно на первых трех вертикальных скриншотах (если есть видео — на первых двух). На горизонтальных скриншотах или видео изменения должны быть очевидны сразу на первом.

Рассмотрим на примерах:

Пример 1. На шестом скриншоте изменения заметны не сразу. Большинство пользователей смотрят только первые и не листают до конца. Поэтому такой тест бесполезен и не позволяет сделать существенные выводы о результатах.

Graphic Bad Sample

Пример 2. Изменения заметны сразу на первом наиболее конверсионном скриншоте. Тестируется только одно ключевое изменение, а не несколько. Результаты этого A/B-теста укажут, что пользователи считают более привлекательным для просмотра и загрузки.

Graphic Good Sample

Таблица отличий A/B-тестов в App Store и Google Play

Google Play

App Store

Что можно проверить?

  • Краткое описание
  • Длинное описание
  • Иконку
  • Фичер графику
  • Скриншоты
  • Видео
  • Скриншоты
  • Видео
  • Иконку (нужно загружать в билд*)

Количество одновременных тестов 


5 тестов (каждый тест действует в пределах только одной страны. Можно выбрать тест на дефолтную страну (детали — ниже): тогда он запустится на все страны, где нет локализованных графических или текстовых материалов.


1 тест (тест можно сразу распространить на все страны, где доступно приложение или же выбрать нужные страны)

Количество вариантов теста, который можно протестировать с текущим вариантом в сторе

Сравнивается максимум с 3-мя новыми вариантами

Можно ли запустить тест, пока один из других элементов на ревью?

Да

Нет

Обязательные форматы скриншотов, загружаемых в стор

6.5 

6.5
5.5
12.9 (если есть iPad версия)

*Билд — это новая версия приложения. Обновление иконки возможно только вместе с обновлением версии приложения в сторе. То есть, термин «build» указывает на конкретную версию или вариант приложения, который готов к загрузке и установке на устройствах пользователей. Он содержит все необходимые файлы и данные, чтобы пользователи могли установить и использовать приложение.

Больше об оптимизации графических элементов в App Store и Google Play читайте в статье «Графика в продвижении мобильных приложений в App Store и Google Play (ASO) — как оптимизировать графические элементы».

Как опубликовать A/B-тест в App Store

1. Перейдите на вкладку Product Page Optimization в App Store Console. AppStore_1st step

2. После названия теста укажите, какой именно тест запускаете (A/B, A/B/B или A/B/C и т. д.), страны для показов этого теста (по дефолту выбираются все 39 стран), примерную продолжительность теста. AppStore_2nd step

3. Загрузите графические материалы.

AppStore_3d step

Более детальное описание читайте в официальной справке App Store.

Как опубликовать A/B-тест в Google Play

1. На вкладке Store listing experiments в Google Play Console выберите страны для теста. В отличие от App Store, выбрать можно только одну страну для одного теста или тест на дефолтную страну, то есть на все страны, где нет локализованных графических или текстовых материалов, в зависимости от того, что именно вы тестируете. Поэтому определите, будет ли тест работать на дефолтную или на конкретную страну. 

Больше информации читайте в официальной справке.

Google Play_1st step

2. Настройте показатели, которые влияют на точность теста и определяют количество загрузок:

  • метрика-ориентир на пользователей, которые скачали приложение или же те, кто скачал и не удалил в первые сутки после;
  • вариант теста, который запустите (A/B, A/B/C, A/B/C/D — далее больше информации о главных отличиях);
  • процент посетителей, которые увидят экспериментальный вариант вместо текущего;
  • минимальная разница между новыми вариантами и текущим вариантом, которая определит победителя;
  • коэффициент уверенности (Confidence level) в результатах теста. Этот параметр определяет, насколько результаты теста будут приближены к реальным фактическим. Высший уровень — больше уверенности и больше фактических результатов, но это требует больше времени и данных. Низкий уровень — фактические результаты будут «разбавлены» статистическими предположениями, меньше уверенности, но и меньше данных и времени необходимо для получения результатов.

Google Play_2nd step

3. Определите, что именно тестировать. В отличие от App Store, можно тестировать не только графические элементы, но и текстовые (полное и краткое описания).

Скриншоты для A/B-теста можно загружать только в одном размере. Google самостоятельно адаптирует их под другие форматы.

Google Play_3d step

Как подготовить приложение к тестированию

1. Запускайте A/B/B-тесты, а не A/B-тесты

  • А — это текущий вариант скриншотов (или других материалов для теста), которые сейчас есть в сторе;
  • В — это новый вариант скриншотов, которые нужно протестировать;
  • В — дублируем скриншоты, которые нужно протестировать.

Screen A_B_B test

A/B/B-тест дополнительно подтверждает достоверность результатов. В лучшем случае B1 и B2 имеют более-менее одинаковые показатели (больше об этом читайте ниже в разделе «Результаты A/B-тестов»).

ABB same results

2. Тест должен длиться от двух недель (зависит от того, как много трафика у приложения)

Как на примере ниже, иногда даже этого недостаточно. Общее количество трафика было небольшим, поэтому двух недель оказалось мало. Неоднозначный результат держался около месяца. Однако через полтора месяца произошел значительный рост показателей для вариантов B1 и B2. В целом тест длился более 70 дней.

78 Days

3. Изменения в графике должны быть весомыми

  • выберите только одну гипотезу, которая потенциально будет иметь значительное влияние на пользователей;
  • сосредоточьтесь на ключевых изменениях в первых трех скриншотах во время теста гипотезы (если есть также видео — на первых двух). Если приложение имеет горизонтальные скриншоты — на первом. 

В случае ребрендинга (бренд меняет цвета, шрифты, героев и т. д.) скриншоты могут требовать кардинальных изменений. Это также возможно, если предыдущие скриншоты неудовлетворительные. 

4. Сквозная маркетинговая деятельность

Примите во внимание глобальную маркетинговую деятельность. Пользователи ассоциируют бренд с конкретными людьми. Поэтому во всех каналах продвижения и во время тестов используйте скриншоты с одинаковыми героями, одинаковые цвета бренда и везде соблюдайте общую стилистику.

Marketing

5. Учитывайте силу бренда

Популярное приложение (например, Netflix) имеет большинство просмотров и загрузок именно по брендовому поисковому запросу. Графика несущественно влияет на выбор пользователей. Результаты такого теста не всегда будут показательными, несмотря на количество трафика и изменения.

6. Культурализация

Обратите внимание на культурные особенности каждого региона. Локализируйте язык на скриншотах, добавляйте цвета, элементы и людей, которые присущи стране. Это заинтересует местное население.

Different Culture

Результаты A/B-тестов в Google Play

Словарь:

  • Audience — % пользователей, которые видят эксперимент;
  • Installers (current) — количество фактических загрузок в течение эксперимента;
  • Installers (scaled) — количество загрузок во время эксперимента, разделенное на долю аудитории;
  • Performance — вероятное изменение конверсии при применении тестируемого варианта (показатель доступен, когда достаточно данных).

Пример 1.

Test Results_good

Скорее всего, варианты тест-скриншотов А и В выигрывают. Тем не менее, если результат в столбце Performance не находится полностью в «красной» или «зеленой» зоне, не стоит доверять таким результатам на 100%. 

Рассчитаем ожидаемое изменение конверсии:

  • для Treatment B1: (-11,5 + 24,9)/2 = 6,7
  • для Treatment B2: (-9,5 + 15,1) / 2 = 2,8
  • среднее двух значений: (6,7 + 2,8) / 2 = 4,75

Конверсия возрастет на 4,75%. Если текущая конверсия была 30%, прогнозируемая конверсия будет: 30 + (30 * 4,75 / 100) = 31,43%*

*Важно! Не прибавляйте средний показатель Performance в процентах к текущей конверсии, а изменяйте текущую конверсию на это количество процентов.

Пример 2.

Test Results_bad

Оба варианта показали существенно отрицательный результат. Вывод: тест проиграл.

Пример 3.

Test Results_strange

Один и тот же вариант теста показывает разные результаты: в В1 он выигрывает, а в В2 — проигрывает. В таком случае, подсчеты по формуле не дадут достоверных результатов, которым можно доверять. В1 и В2 должны показывать более-менее одинаковые результаты.

Результаты A/B-тестов в App Store

Словарь:

  • Conversion rate — конверсия вариантов теста (Apple, в отличие от Google Play, сразу это показывает);
  • Improvement — относительная разница между тестируемым вариантом и текущим вариантом, который есть в сторе. При клике виден процентный диапазон за весь период теста;
  • Confidence — уровень уверенности в результатах каждого отдельного варианта. Должно быть хотя бы 50%, чтобы принять окончательное решение касательно теста. 

Показатели Confidence и увеличение конверсии на графике ниже показывают, что этот тест выигрывает.

App Store_test results

После принятия выигранного варианта теста замерьте конверсию еще раз.

A or B

A/B-тесты — это непрерывный процесс, так как предпочтения пользователей постоянно меняются. Сегодня их может привлечь синий цвет фона, однако через некоторый промежуток времени больше внимания может получить красный. 

Также важно корректно оценивать результаты. Тест-победитель не всегда может улучшить конверсию и наоборот. В частности, если выводы делать в спешке.

Узнайте больше
8
2
2
Обнаружили ошибку? Выделите ее и нажмите Ctrl + Enter.
Cookies policy
Просматривая этот сайт, вы соглашаетесь с нашей политикой конфиденциальности — Ok