A/B-тестирование в ASO. Что это и как запустить в App Store или Google Play?

*Билд — это новая версия приложения. Обновление иконки возможно только вместе с обновлением версии приложения в сторе. То есть, термин «build» указывает на конкретную версию или вариант приложения, который готов к загрузке и установке на устройствах пользователей. Он содержит все необходимые файлы и данные, чтобы пользователи могли установить и использовать приложение.

Больше об оптимизации графических элементов в App Store и Google Play читайте в статье «Графика в продвижении мобильных приложений в App Store и Google Play (ASO) — как оптимизировать графические элементы».

Как опубликовать A/B-тест в App Store

1. Перейдите на вкладку Product Page Optimization в App Store Console.

2. После названия теста укажите, какой именно тест запускаете (A/B, A/B/B или A/B/C и т. д.), страны для показов этого теста (по дефолту выбираются все 39 стран), примерную продолжительность теста.

3. Загрузите графические материалы.

Более детальное описание читайте в официальной справке App Store.

Как опубликовать A/B-тест в Google Play

1. На вкладке Store listing experiments в Google Play Console выберите страны для теста. В отличие от App Store, выбрать можно только одну страну для одного теста или тест на дефолтную страну, то есть на все страны, где нет локализованных графических или текстовых материалов, в зависимости от того, что именно вы тестируете. Поэтому определите, будет ли тест работать на дефолтную или на конкретную страну. 

Больше информации читайте в официальной справке.

2. Настройте показатели, которые влияют на точность теста и определяют количество загрузок:

• метрика-ориентир на пользователей, которые скачали приложение или же те, кто скачал и не удалил в первые сутки после;
• вариант теста, который запустите (A/B, A/B/C, A/B/C/D — далее больше информации о главных отличиях);
• процент посетителей, которые увидят экспериментальный вариант вместо текущего;
• минимальная разница между новыми вариантами и текущим вариантом, которая определит победителя;
• коэффициент уверенности (Confidence level) в результатах теста. Этот параметр определяет, насколько результаты теста будут приближены к реальным фактическим. Высший уровень — больше уверенности и больше фактических результатов, но это требует больше времени и данных. Низкий уровень — фактические результаты будут «разбавлены» статистическими предположениями, меньше уверенности, но и меньше данных и времени необходимо для получения результатов.

3. Определите, что именно тестировать. В отличие от App Store, можно тестировать не только графические элементы, но и текстовые (полное и краткое описания).

Скриншоты для A/B-теста можно загружать только в одном размере. Google самостоятельно адаптирует их под другие форматы.

Как подготовить приложение к тестированию

1. Запускайте A/B/B-тесты, а не A/B-тесты

• А — это текущий вариант скриншотов (или других материалов для теста), которые сейчас есть в сторе;
• В — это новый вариант скриншотов, которые нужно протестировать;
• В — дублируем скриншоты, которые нужно протестировать.

A/B/B-тест дополнительно подтверждает достоверность результатов. В лучшем случае B1 и B2 имеют более-менее одинаковые показатели (больше об этом читайте ниже в разделе «Результаты A/B-тестов»).

2. Тест должен длиться от двух недель (зависит от того, как много трафика у приложения)

Как на примере ниже, иногда даже этого недостаточно. Общее количество трафика было небольшим, поэтому двух недель оказалось мало. Неоднозначный результат держался около месяца. Однако через полтора месяца произошел значительный рост показателей для вариантов B1 и B2. В целом тест длился более 70 дней.

3. Изменения в графике должны быть весомыми

• выберите только одну гипотезу, которая потенциально будет иметь значительное влияние на пользователей;
• сосредоточьтесь на ключевых изменениях в первых трех скриншотах во время теста гипотезы (если есть также видео — на первых двух). Если приложение имеет горизонтальные скриншоты — на первом. 

В случае ребрендинга (бренд меняет цвета, шрифты, героев и т. д.) скриншоты могут требовать кардинальных изменений. Это также возможно, если предыдущие скриншоты неудовлетворительные. 

4. Сквозная маркетинговая деятельность

Примите во внимание глобальную маркетинговую деятельность. Пользователи ассоциируют бренд с конкретными людьми. Поэтому во всех каналах продвижения и во время тестов используйте скриншоты с одинаковыми героями, одинаковые цвета бренда и везде соблюдайте общую стилистику.

5. Учитывайте силу бренда

Популярное приложение (например, Netflix) имеет большинство просмотров и загрузок именно по брендовому поисковому запросу. Графика несущественно влияет на выбор пользователей. Результаты такого теста не всегда будут показательными, несмотря на количество трафика и изменения.

6. Культурализация

Обратите внимание на культурные особенности каждого региона. Локализируйте язык на скриншотах, добавляйте цвета, элементы и людей, которые присущи стране. Это заинтересует местное население.

Результаты A/B-тестов в Google Play

Словарь:

• Audience — % пользователей, которые видят эксперимент;
• Installers (current) — количество фактических загрузок в течение эксперимента;
• Installers (scaled) — количество загрузок во время эксперимента, разделенное на долю аудитории;
• Performance — вероятное изменение конверсии при применении тестируемого варианта (показатель доступен, когда достаточно данных).

Пример 1.