Блог про интернет-маркетинг для бизнеса

Маркетинг

35 ошибок при А/В-тестировании

79
1
3
0

Эффективная посадочная страница. Как решить, что можно улучшить? Как правильно провести А/В тестирование? Какие данные нужно получить? На какие результаты обращать внимание? Как их интерпретировать? Что менять?

Об основных ошибках при A/B-тестировании рассказали Роман Рыбальченко, Татьяна Помаранская, Юрий Альмужный, Маргарита Успенская,  Вадим Якубенко, Олесь Тимофеев, Сергей Волык, Артем Пилипец, Александр Матола, Андрей Осипов, Константин Новофастовский, Сергей Гудков, Евгений Шевченко, Александра Бурлакова.

Список кликабелен: 

  1. Не делать А/В тестирование в принципе.
  2. Проводить сплит-тестирование нерегулярно.
  3. Переоценивать А/В тестирование.
  4. Недооценивать детали.
  5. Тестировать абсолютно все.
  6. Воспринимать чужой опыт как единственно правильный.
  7. Сравнивать воду и шаблоны с водой и шаблонами.
  8. Тестировать текст лендинга, не учитывая особенностей структуры страницы.
  9. Не тестировать влияние разных элементов страницы (на пример, поп-апов).
  10. Тестировать две совершенно разные страницы.
  11. Тестировать без четких целей и цифр.
  12. Проводить сплит-тестирование на нерелевантных фокус-группах.
  13. Использовать неправильные способы привлечения целевой аудитории.
  14. Принимать решения при нехватке данных.
  15. Растягивать эксперимент во времени.
  16. Задавать неправильные временные параметры для тестирования.
  17. Практиковать далекие от реальности условия тестирования.
  18. Неправильно интерпретировать данные.
  19. Фокусироваться на микрорезультатах.
  20. Тестировать «как по книжке» (по чужому опыту).
  21. Не учитывать особенности бизнес-процессов компании.
  22. Не учитывать разные типы устройств.
  23. Игнорировать длительность принятия решения клиентом.
  24. Не анализировать несостоявшиеся конверсии.
  25. Не учитывать источники трафика: SEO, контекстная реклама, гостевые посты.
  26. Проводить А/В тестирование только на протяжении одного цикла.
  27. Тестировать без предварительной аналитики.
  28. Срывать план и сроки запланированного теста после получения первых негативных результатов.
  29. Зацикливаться на повышении конверсии.
  30. Тестировать первую попавшуюся идею.
  31. Допускать ошибки при сборе данных.
  32. Не настраивать аналитику перед сплит-тестированием.
  33. Не согласовывать пересечения аудиторий.
  34. Тестировать CTR при оптимизации сниппетов.
  35. Использовать неправильные инструменты.

А/В-тестирование в цифрах:

  • от 1 000 посетителей обычно нужно, чтобы получить достаточно данных в ходе А/В-тестирования;
  • от 1 недели обычно должен длиться сплит-тест, чтобы получить достоверный результат;
  • от 2 периодов, достаточных для совершения покупки, должен длиться тест.

Статья в тему: «Как провести A/B-тест сайта: инструменты и популярные гипотезы».


1. Не делать А/В-тестирование в принципе

Любая продающая страница может стать лучше, поэтому важно проверять гипотезы на практике.

Роман Рыбальченко, основатель агентства Roman.ua:

Ошибка номер один — люди вообще ничего не тестируют, либо делают это интуитивно. Мы обсуждали этот вопрос с Дмитрием Кудренко в первом выпуске подкаста ПРОДУКТИВНЫЙ РОМАН. Суть в том, что даже на Западе люди, которые должны проводить тестирование, обманывают, — не проводят тестов, подтасовывают результаты.

2. Проводить сплит-тестирование нерегулярно

Татьяна Помаранская, интернет-маркетолог в Coral Travel Ukraine:

Часто допускаемая ошибка — разовое проведение А/В-тестирования. Оно должно быть регулярным. Только тогда улучшение и совершенствование будут постоянными.

3. Переоценивать А/В тестирование

Качество контента — важный, но не единственный фактор эффективности страницы. Улучшая текст, можно продать больше, быстрее, чаще, дороже. В то же время на эффективность страницы влияет не только тест, но и источник трафика, и его качество, и дизайн, и сам продукт, и то, включен ли телефон, указанный на сайте.  

4. Недооценивать детали

В продающей странице важно все: и цвет кнопки «Купить», и шрифт, и цвет фона страницы.

Юрий Альмужный, основатель и руководитель компании «Эль-Дом»:

Иной раз, просто переписав заголовки на сайте, мы получали рост конверсии на 30-50%. Так, кстати, было и с одной из версий нашего сайта.

Уменьшение длины лендинга втрое увеличивало отдачу от него. А повысить конверсию в 2 раза на одном сайте нам удалось, просто убрав лишние кнопки контактов — так мы меньше раздражали посетителей и получали больше обращений.

5. Тестировать абсолютно всё

Ощутимо улучшить эффективность страницы может тестирование главных ее элементов, но менять оттенок фона, замена одного слова где-то в середине текста равнозначным по смыслу — забавно, но трудозатратно и неэффективно.

6. Воспринимать чужой опыт как единственно правильный

Каждый копирайтер хоть однажды получал задание «сделать, как у Розетки», но успех повторяют нечасто. При А/В-тестировании важно не копировать чужие решения слепо, а учитывать особенности своей компании.

7. Сравнивать воду и шаблоны с водой и шаблонами

Сделайте текст лучше, заменив «команду профессионалов» на «инженера Иванова Ивана Ивановича с дипломом по специальности “Машиностроение” и опытом 12 лет». Если просто заменить одну витиеватую (но бессмысленную) фразу другой, эффект не изменится.

8. Тестировать текст лендинга, не учитывая особенностей структуры страницы

Проверьте, станет ли элемент страницы (например, текстовый блок) эффективнее, если изменить подачу материала. Например, объёмную, но важную для клиента информацию подать лаконичнее, просто добавив фото, визуализировав процесс или создав пиктограммы.

9. Не тестировать влияние разных элементов страницы

Попапы, онлайн-консультанты и другие элементы страницы могут как стимулировать покупателя, так и раздражать его.

10. Тестировать две совершенно разные страницы

Вы можете сравнить эффективность текста, заказанного у копирайтера, и написанного с нуля самостоятельно, но это уже не А/В-тестирование.

11. Тестировать без четких целей и цифр

Маргарита Успенская, аккаунт-директор в K50 Russia:

Перед запуском теста нужно четко понимать, что вы тестируете, и зачем вы это делаете. Тесты ради тестов только занимают время сотрудников и не ведут к какой-либо реальной выгоде для бизнеса.

12. Проводить сплит-тестирование на нерелевантных фокус-группах

Часто изменения на сайте тестируются на коллегах, знакомых, родственниках, сторонних экспертах. Но получить достоверные результаты можно, только если участниками тестирования будут именно представители целевой аудитории.

13. Использовать неправильные способы привлечения целевой аудитории

Если показать две аналогичные страницы, но с разными заголовками человеку, который ищет ваш товар, вы получите один результат. Если попросить его же оценить и сравнить контент, данные могут сильно отличаться.

Вадим Якубенко, full stack программист в компании Skylogic:

Сравните рекламный пост в соцсетях: “Оцени наш новый дизайн сайта! Корма для животных!” и “Корм для животных, доставка по всей Украине”. Очевидно, что первый пост привлечет переходов и конверсий гораздо больше, чем второй. Потому что в данном случае вашей целевой аудиторией будет армия программистов, маркетологов, дизайнеров, владельцев похожего бизнеса и других специалистов, которые будут заинтересованы в оценке внешнего вида, работоспособности продукта в целом, чтобы позаимствовать или, наоборот, не совершать ошибок в своей работе.

14. Принимать решения при нехватке данных

Олесь Тимофеев, основатель GeniusMarketing:

Для теста нужна большая аудитория. По нашему опыту, хороший результат происходит примерно от 1 000 посещений. Не нужно делать вывод на 100 посетителях.

Артем Пилипец, SEO-оптимизатор компании SEO7:

Для планирования объемов тестирования очень рекомендую использовать калькуляторы.

15. Растягивать эксперимент во времени

Сравнивать эффективность двух страниц важно одновременно. Тестирование одной страницы в течение недели, а второй — в течение другой недели, может быть неэффективным. На результат могут повлиять изменение ситуации (например, колебание курса валют), сезонность товара, праздничные и выходные дни.

16. Задавать неправильные временные параметры для тестирования

Одна и та же страница может показывать разную эффективность в будние и праздничные дни, в рабочее и нерабочее время.

17. Практиковать далекие от реальности условия тестирования

Можно посадить 50 человек за макбуки в офисе компании и оценивать результат, а можно показать реальную рекламу реальным пользователям в реальной для них обстановке и проверить, придут ли посетители из десктопа или мобильного устройства, будут дочитывать лендинг до конца, или сворачивать уже второй экран.

18. Неправильно интерпретировать данные

Увеличение конверсии в два раза может свидетельствовать о том, что оформили заказ не 500, а 1000 пользователей. Но в то же время это может означать, что просто оформили подписку на рассылку два человека, а не один.

19. Фокусироваться на микрорезультатах

То, что на рассылку подписались два человека, не означает, что вам обязательно нужно вносить изменения на сайте.

20. Тестировать «как по книжке» (по чужому опыту)

Александр Матола, руководитель WEB-отдела компании StarMarketing:

В рамках курса по интернет-маркетингу читаю лекции в академии ШАГ, где большая часть аудитории — владельцы бизнеса. Там в том числе рассказываю об А/В-тестировании, показываю студентам примеры тестов и возможные результаты, которых можно достичь с помощью этого инструмента. И есть такое наблюдение: если я показываю кейс, как изменение цвета кнопки с зеленого на красный повысило конверсию, многие решают, что красный цвет обладает волшебными свойствами, и при выполнении домашнего задания часто указывают, что им необходимо на своем сайте изменить цвет кнопок на красный.

21. Не учитывать особенности бизнес-процессов компании

Александр Матола, руководитель WEB-отдела компании StarMarketing:

Как бы мы ни тестировали корзину, что бы мы с ней ни делали, на сайте в тематике межкомнатных дверей она принесет значительно меньше продаж, чем заказ по телефону. Без изучения бизнес-процессов компании и потребностей клиента прийти к подобным выводам бывает сложно.

22. Не учитывать разные типы устройств

Поведение покупателя, который принимает решение, сидя за компьютером или с мобильного телефона, может сильно отличаться. Маководы и пользователи Android могут вести себя по-разному.

23. Игнорировать длительность принятия решения клиентом

При продаже сложных решений и дорогих товаров между первым знакомством с продуктом и оформлением заявки на покупку может пройти несколько месяцев. В таких случаях важно проанализировать и первоначальный результат, и результат за среднестатистический период, который нужен для совершения покупки.

24. Не анализировать несостоявшиеся конверсии

Александр Матола, руководитель WEB-отдела компании StarMarketing:

С современными системами аналитики мы можем посмотреть, как себя вели пользователи, которые не дошли до покупки. Такой анализ может дать нам много полезной информации, которая поможет добиться более высоких результатов, чем слепое принятие решений на основе одной только статистики по конверсиям.

25. Не учитывать источники трафика: SEO, контекстная реклама, гостевые посты

26. Проводить А/В-тестирование в течение только одного цикла

Андрей Осипов, сертифицированный тренер Google, практикующий веб-аналитик, автор блога «Веб-аналитика и результат»:

В идеале нужно проводить текст минимум два цикла «принятия решения о покупке». Если решение о покупке принимается месяц, то тестировать нужно два месяца.

27. Тестировать без предварительной аналитики

Олесь Тимофеев, основатель GeniusMarketing:

Перед любым тестом нужно исследовать поведение человека на сайте/страницах или том, что тестируют. Бывает так, что начинают менять те элементы, которые хорошо работают. 

28. Срывать план и сроки запланированного теста после получения первых негативных результатов.

Маргарита Успенская, аккаунт-директор в K50 Russia:

Перед проведением тестирования стоит учесть множество факторов: как минимум разницу в коэффициенте конверсии в разные дни недели и разное время суток, сезонность, а также длительность цикла покупки на сайте. Если эти факторы при анализе первых результатов игнорировать, можно сделать неверные выводы. Поэтому эксперимент нужно доводить до конца, перед началом строго запланировав сроки, которые должны быть основаны на аналитике.

29. Зацикливаться на повышении конверсии

Константин Новофастовский, руководитель сервиса аудита рекламного трафика Сlickfrog.ru и SEO-агентства «Семантика»:

Стоит сделать акцент на том, что заявка с сайта — еще не продажа, и некоторые посадочные/лендинги могут приносить большое количество заявок, которые в продажи не превращаются из-за неточной информации на странице. Следовательно, желательно ориентироваться на закрытые продажи, а не только на заявки. Также часть заявок/продаж уходит в телефонный номер на сайте. Отсутствие колл-трекинга сильно влияет на точность выводов.

Сергей Волык, руководитель отдела контекстной рекламы SeoProfy:

Не проводите одновременные тесты на сайте и с объявлениями, если нет возможности точно получить результаты. При тестировании объявлений нужно обращать внимание на максимально приближенные к конверсии (продаже) показатели. То, что объявление более кликабельное, не значит, что оно эффективнее. Если у вас есть данные о количестве продаж, нужно смотреть на них, а не на количество кликов или CTR объявления. Объявление А может быть лидером по CTR и получать больше заявок. Но с объявления Б будет больше реальных продаж.

Роман Рыбальченко, основатель агентства Roman.ua:

Есть вероятность, что, например, увеличив клики по кнопке «Добавить в корзину», не увеличится общая конверсия, то есть больше людей просто будут переходить в корзину, но не будут покупать, потому что их будут как-то подталкивать. Я видел такие страницы, где любой клик приводит пользователя сразу к регистрации. Это обычно повышает процент регистрации, но финальная конверсия от этого не растет (если слишком рано перенаправить человека на следующий шаг, не дав ему специальных, дополнительных ожиданий).

В идеале хочется всегда тестировать по финальной метрике типа «выполненный заказ», но для этого нужно очень много трафика и очень много времени. Поэтому здесь два варианта: либо выбирается какая-то промежуточная метрика (например, «оформленный заказ»), либо тесты разбиваются на шаги (снизить показатель отказа, увеличить переходы на карточки товара, увеличить добавление в корзину). При этом нужно постоянно контролировать, чтобы рост конверсии на промежуточных шагах не приводил к падению на финальном шаге или ухудшению во всей воронке.

30. Тестировать первую попавшуюся идею

Сергей Гудков, интернет-маркетолог, специалист по оптимизации конверсии и построению воронок в Conversion42:

Суть ошибки в том, что тестировать надо гипотезы, а не идеи. Разница в том, что гипотеза содержит точное обоснование, почему целевой параметр изменится. Часто «родителем» таких качественных гипотез является исследование целевой аудитории: опросы, юзер-тесты, интервью. А после нескольких тестов идей руководство и вся команда полностью разочаровывается в оптимизации и сплит-тестах.

31. Допускать ошибки при сборе данных

Сергей Гудков, интернет-маркетолог, специалист по оптимизации конверсии и построению воронок в Conversion42:

Вообще, это базовая ошибка для всех аналитиков. На какой-то странице не срабатывает код аналитики. Где-то событие передаётся через раз. Бывает, что сделают дополнительную функцию «заказ в один клик», но эти заказы не отслеживаются в ecommerce.

32. Не настраивать аналитику перед сплит-тестированием

Евгений Шевченко, основатель агентства интернет-рекламы UaMaster:

Не забывайте интегрировать тестовые данные с Google Analytics. На каждую тестируемую страницу должна быть настроена отдельная цель. Это поможет потом сделать анализ по сегментам.

33. Не согласовывать пересечения аудиторий

Александра Бурлакова, PPC Team Lead  в агентстве интернет-маркетинга Netpeak:

Пример такой ошибки — тестировать баннеры для новой аудитории без исключения показов для лояльной аудитории. Чтобы получить репрезентативные данные, аудитория должна быть без примесей.

34. Тестировать CTR при оптимизации снипетов

По мнению Артема Пилипца, SEO-специалиста компании SEO7, это также серьезная ошибка.

35. Использовать неправильные инструменты

Роман Рыбальченко, основатель агентства Roman.ua:

Часть инструментов не проходят А/А тестирование. А/А тестирование — это когда ничего не поменялось, мы просто проверяем, корректно ли инструмент распределяет трафик и считает. У нас был пример с Visual Website Optimizer, когда он показывал, что с вероятностью в 85% тестовая версия страницы превосходит на 20% саму себя. То есть такую же версию страницы. Для проведения тестирования мы используем Google Content Experiments и ждем доступа к Beta, чтобы использовать Google Optimizer. Ребята, которые использовали Optimizer и другие инструменты, например, Visual Website Optimizer, тоже говорили, что они часто не проходят А/А-тестирование.


Комментарий WordFactory. Вот что мы узнали, спросив экспертов, какие три главные ошибки при А/В-тестировании допускаются особенно часто. И это еще один случай, когда мы взяли, казалось бы, простой вопрос и разложили его по полочкам. Напомню, что подобный опыт у нас был с темой про UTM-метки. Благодарим экспертов за уделенное время.

Комментарии (0)

Чтобы оставить комментарий, необходимо авторизироваться

Подписаться

на самую полезную рассылку по интернет-маркетингу

Самое

обсуждаемое популярное читаемое