Как сэкономить время специалиста при работе с крупным проектом — на примере OLX

«Что мы делаем со временем? В ответе на этот вопрос состоит смысл жизни», — считает герой фильма «Молодость без молодости». Что делают большую часть времени специалисты по контекстной рекламе в крупных проектах — отлично известно: готовят отчетность, вручную собирают и обрабатывают данные из AdWords, Facebook, Директ и десятков других источников.

Я решил сэкономить время команде специалистов, рекламирующих OLX, внедрив специальный инструмент веб-аналитики. Возможно, вам такой тоже пригодится.

Что нужно было сделать?

Автоматизировать процесс сбора и консолидации данных из Google AdWords, Facebook, Яндекс Директ, MyTarget, AT Internet и AdJust на уровне категорий рекламных кампаний, типов устройств и платформ, а также настроить визуализацию данных из всех перечисленных источников с возможностью онлайн доступа к отчётам.

В результате необходимо было получить два отчета: один для рекламы на десктопе и один для мобайла.

Чуть подробнее.

В таблицу для рекламы на десктопе должна была собираться информация по продвижению в разрезе категорий рекламных кампаний (брендовые, общие кампании), типов устройств, источников.

Основные показатели:

• Day — день, за который была собрана статистика;
• Source — рекламная площадка / источник;
• Device — тип устройства;
• Category — категория рекламной кампании;
• Impressions — количество показов;
• Clicks — количество кликов;
• Cost — стоимость;
• AdPosts — количество полученных постингов объявлений;
• Reply — количество полученных откликов на объявления.

Источники данных:

• Google AdWords — данные о кликах, показах и тратах на рекламу;
• Яндекс.Директ — данные о кликах, показах и тратах на рекламу;
• AT Internet — данные о постингах и откликах на объявления.

В таблицу по мобайлу должна была собираться информация о продвижении мобильного приложения в разрезе источников, типов рекламных кампаний (инсталлы, привлечение) и платформ (Android, iOS).

Основные показатели:

• Day — дата, за которую была собрана статистика;
• Source — источник;
• CampaignType — тип рекламной кампании;
• Platform — платформа Android или iOS;
• Impressions — количество показов;
• Clicks — количество кликов;
• Cost — стоимость;
• Installs — количество инсталлов;
• DAUs — среднее количество активных пользователей в приложении за один день;
• MAUs — среднее количество активных пользователей в приложении за один месяц;
• RetainerUsers — количество вернувшихся в приложение пользователей;
• CohortsSessions — количество сессий вернувшихся в приложение пользователей;
• CohortsAdPost — количество конверсий в постинг от вернувшихся пользователей;
• CohortsReplies — количество конверсий в отклик от вернувшихся в приложение пользователей.

Источники данных:

• AdWords — клики, показы, стоимость;
• Facebook — клики, показы, стоимость;
• MyTarget — клики, показы, стоимость;
• Яндекс.Директ — клики, показы, стоимость
• AdJust — установки, количество вернувшихся пользователей, количество сессий вернувшихся в приложение пользователей, количество конверсий в постинг от вернувшихся пользователей, количество конверсий в отклик от вернувшихся в приложение пользователей, DAUs, MAUs.

Какие инструменты я использовал?

1. Язык R — для сбора информации из API всех источников, консолидации и передачи данных на хранение.

Какие пакеты языка R я использовал:

• RAdwords — API Google AdWords;
• ryandexdirect — API Яндекс Директ;
• adjust — API AdJust;
• rfacebookstat — API Facebook;
• rmytarget — API MyTarget.

2. Google BigQuery — для хранения данных, очень простая в обращении облачная база данных, не требует дополнительного администрирования. Более того — условно бесплатная.

3. Microsoft Power BI — для визуализации данных, бесплатный инструмент.

Что получилось?

Написал два скрипта, которые ежедневно запускаются в фоновом режиме, собирают все данные, приводят их к единой валюте (UAH) и записывают в Google BigQuery. К BigQuery подключена Power BI, в которой настроена визуализация отчетов. В результате в любой момент можно обновить все данные нажатием одной кнопки и поделиться ими с командой нажатием кнопки «опубликовать».

Схема готового веб-аналитического инструмента:

Принцип работы инструмента:

1. С понедельника по пятницу автоматически запускаются скрипты R для сбора и консолидации данных из API всех источников.
2. При сборе данных в Google BigQuery записываются логи работы скриптов, собирающих информацию из API.
3. Запускается скрипт R, который проверяет логи работы скриптов по сбору данных.
4. Если в логах найдены ошибки или предупреждения о том, что данные могли быть собраны некорректно, автоматически формируется письмо с информацией по ошибкам и предупреждениям. Письмо отправляется на почту ответственному специалисту и разработчику автоматизации.
5. В случае успешного прохождения проверки логов собранные данные передаются в соответствующие таблицы Google BigQuery.
6. Данные обновляются и публикуются нажатием двух кнопок в Power BI.

Так выглядит отчет по рекламе на десктопе:

Отчет по рекламе мобильного приложения:

На разработку инструмента понадобилось 30 часов, при этом много времени ушло на настройку сбора данных из шести источников. Обычно данные собираются из двух-трех источников, на разработку требуется значительно меньше времени: 10-15 часов.

Результаты

1. На сбор данных, составление и проверку отчетов в ручном режиме специалисты тратили примерно 30 часов в месяц. Сейчас — несколько минут.
2. Раньше отчеты обновлялись еженедельно, сейчас — ежедневно.