Сравнение First Click, Last Click и Funnel Based моделей атрибуции — кейс Serpstat

В нашей серии постов про модели атрибуции мы разобрали общие принципы, лежащие в основе Funnel Based модели атрибуции, и пошаговый алгоритм её настройки в OWOX BI. Давайте более подробно сравним разные модели атрибуции с точки зрения оценки финансовых показателей проекта на примере сервиса Serpstat.

Как разные модели атрибуции распределяют ценность целевого действия?

Допустим, пользователь дважды посещал наш сайт и только при третьем посещении совершил целевое действие. Для Serpstat целевое действие — оплата тарифа. Первое посещение пользователь сделал из бесплатного поиска, второе — из контекстной рекламы (мы догнали его ремаркетингом), а третье — по ссылке в email:

Для простоты восприятия предположим, что пользователь заказал самый дешевый тариф на месяц за $19. Также будем считать, что все модели учитывают одинаковый промежуток времени, за который нужно распределять ценность от этого заказа (ретроспективное окно) — 30 дней.

По модели First Click все $19 получит первое посещение и канал Organic:

По модели Last Click всю ценность получит последнее посещение и канал Email:

По модели Funnel Based ценность распределится между всеми посещениями пользователя, в зависимости от того, какие шаги в воронке оформления заказа пользователь совершил.

В Serpstat мы используем следующие шаги:

• посещение сайта;
• использование сервиса;
• регистрация;
• посещение страницы тарифов;
• начало оплаты;
• оплата.

Вероятность прохождения каждого шага дает возможность понять, какой шаг более важен. Шаги, которые сложнее проходить нашим пользователям, получают большую долю ценности целевого действия. В рамках посещения ценности шагов суммируются.

Допустим, модель распределила ценность по посещениям следующим образом:

• первое посещение — 5%;
• второе посещение — 43%;
• третье посещение — 52%.

Тогда оценки каналов будут такими:

• Organic — 0,05 * 19 = $0,95.
• PPC — 0,43 * 19 = $8,17.
• Email — 0,52 * 19 = $9,88.

В нашем примере при использовании модели Funnel Based каждое посещение получило оценку в деньгах. Для двух других рассматриваемых моделей только одно посещение из трех получило оценку.

Какая разница между моделями в оценках дохода и LTV?

Посмотрим общие данные по моделям при оценке вклада в транзакции для одного и того же временного периода на примере Serpstat. Вот поделенные на определенный коэффициент данные по контекстной рекламе в Google и Яндекс для всех моделей:

Значение LTV для Serpstat мы вычисляем в нашей внутренней системе.

Далее для первых транзакций в истории пользователя мы распределяем LTV в соответствии с результатами рассчитанной модели.

В Яндексе доход по модели Last Click и Funnel Based практически одинаковый. Глядя только на этот показатель, можно задать вопрос: а нужно ли тратить время и деньги на настройку более сложной модели, если уже есть готовое решение, дающее аналогичный результат?

Но обратите внимание на оценки LTV. Модель Last Click сильно переоценивает этот показатель. Не говоря уже про First Click, по которой контекст работает просто великолепно.

В Google доход по модели Last Click в полтора раза больше, чем доход по модели Funnel Based. Разница в LTV уже не такая значительная, как в Яндексе. По First Click тоже все хорошо.

Оценки по разным моделям могут быть одинаковыми. Это будет происходить, когда все заказы совершаются, например, при первом посещении пользователем сайта. Здесь всю ценность по любой из моделей получит одно единственное посещение и оценки будут полностью равны.

Может быть ситуация, когда оценки по моделям близки друг к другу. В таком случае стоит опуститься на один уровень ниже или подняться на уровень выше и посмотреть, что происходит там. Например, если по источникам модели дают приблизительно одинаковые оценки, то стоит посмотреть отдельные кампании или каналы.

Абсолютные и относительные разницы в доходе и LTV между моделью Funnel Based и остальными моделями:

По этим данным видно, насколько отличаются разные модели при расчете показателей за один месяц. Если взять более долгий период, разница может быть еще более значимой.

Выводы

Глядя на таблицу с оценками дохода и LTV, специалист Serpstat по контекстной рекламе мог бы предположить, что для оценки контекста лучше всего использовать модель First Click. По ней все хорошо и можно радоваться :)

Однако модель, оценивающая только одно посещение во всей истории пользователя, не может быть объективной.

Например, пользователи могут попробовать сервис бесплатно и понять, нужен ли им платный тариф. Так как для бесплатного тарифа у нас есть ограничения в функционале и количестве запросов в день, период тестирования может затянуться. Во время тестирования пользователь может возвращаться к нам из разных каналов и мы сможем оценить вклад каждого из них.

Да, на настройку модели Funnel Based нужно потратить гораздо больше ресурсов, чем на использование стандартных моделей. Но в результате мы получим более объективные оценки каналов, источников или кампаний. Модель оценивает не просто посещения, а продвижение пользователя к целевому действию во время этих посещений.