Как автоматизировать PPC-отчетность с помощью языка R, Google Таблиц и Data Studio

Любому РРС-специалисту знакома ситуация, когда наступает время отчетов и приходится долго и скрупулезно вносить данные в таблицу. Можно, конечно, спихнуть работу на джуниора. Однако потом все равно придется лично все проверять. Кроме того, для некоторых проектов отчетность становится настолько сложной и развернутой, что работой над ней занимается уже целая команда.

В какой-то момент старые методы автоматизации (Supermetrics, прямой парсинг данных в Data Studio, расширения Google Ads и Analytics для доксов) перестали справляться с объемом данных. Они не давали необходимой чистоты и уровня детализации, а затраты времени на поддержание и контроль этой системы стали стремительно расти. Кроме того, сама структура отчетности устаревала как информационно, так и визуально.

В поиске решения этой проблемы я и пришел к способу, который опишу в цикле статей — «Как автоматизировать РРС-отчетность, не используя платных решений и без глубокого погружения в программирование». Вы читаете первый пост цикла.

Важно: мой способ — не волшебная таблетка, и здесь не будет готовых решений на все случаи жизни.

Итак, что нам понадобится:

1. Среда разработки RStudio (да, совсем без программирования никак).
2. Google Таблицы.
3. Google Data Studio.

Почему именно эти инструменты?

По порядку:

1. Язык R. У него конкретное назначение — это язык программирования для статистической обработки данных и работы с графикой. Почему не Python? Действительно, Python более универсален и с его помощью можно решать больший перечень задач. Но в нашем случае его универсальность и многозадачность скорее минус — дольше разбираться.

Кроме того, конкретно для интернет-маркетологов по R есть множество обучающих материалов от Алексея Селезнева, например, бесплатный курс по основам R, каналы R4marketing в Telegram и на YouTube, множество статей в Netpeak Journal, на GitHub и других ресурсах, а также платный курс по R для тех, кто хочет полноценно разобраться в возможностях этого инструмента для автоматизации сбора данных.

2. Google Таблицы. Во-первых — возможность интеграции с R и Data Studio, во-вторых — привычность и удобство использования. Почему не BigQuery? На старте BigQuery — достаточно сложный инструмент, к тому же платный (хотя и недорогой), и кроме того — не всем нужно работать с большими объемами данных, поэтому возможностей Spreadsheets будет достаточно.

3. Google Data Studio. Простой, удобный и бесплатный инструмент, который позволяет визуализировать и красиво оформлять данные, а также доступен онлайн, благодаря чему отчетами удобно делиться как внутри команды, так и с клиентами.

Какие типы задач можно решить с помощью этих инструментов?

Контроль бюджетов

Структура проекта OLX такова, что нашей команде из четырех специалистов необходимо контролировать несколько десятков отдельных бюджетов в разных аккаунтах и в разных валютах. При этом из-за больших объемов трафика цена ошибки очень велика. Кроме того, отдельным направлением деятельности является работа с B2B-клиентами OLX, а это, на момент написания статьи, более 70 самостоятельных мини-проектов, каждый со своими отдельными бюджетами, сроками работы и KPI.

Для контроля B2B-проектов с помощью приведенных выше инструментов мы реализовали отчет, который позволяет увидеть все необходимые данные по всем клиентам сразу или по каждому отдельно.

Кому подойдет подобное решение?

• РРС-специалистам с большим количеством проектов;
• тимлидам для контроля трат по проектам команды;
• командам больших проектов для контроля бюджетов по разным направлениям.

Стандартизированная отчетность для типовых клиентов

Если у вас множество похожих проектов, для них можно создать стандартные отчеты, в которые можно подтягивать скриптом необходимые данные, не тратя время на сбор отчетов для каждого проекта отдельно.

Для тех же B2B-проектов мы реализовали автоматическую ежедневную отчетность по основным показателям.

Кому подойдет подобное решение?

• РРС-специалистам с большим количеством проектов.
• РМ-ам для предоставления быстрой отчетности клиентам.
• тимлидам для проверки результатов по проектам команды.

Углубленная отчетность для крупных клиентов

При необходимости можно строить отчеты по десяткам параметров и показателей из разных источников во множестве разрезов. Такие отчеты показывают проблемы или точки роста проекта, поэтому не придется каждый раз проводить исследование, чтобы проверить ту или иную гипотезу.

Например, для OLX мы реализовали развернутый отчет, с помощью которого можно в любой момент получить необходимые данные в нужном разрезе, не тратя время на то, чтобы «добыть» их в разных аккаунтах и системах аналитики.

Разумеется, подобные отчеты необходимы больше специалистам, чем клиенту. Для новичка или не вовлеченного глубоко в проект человека они могут показаться «перегруженными».

Кому подойдет подобное решение?

• команде РРС-специалистов на энтерпрайз проектах для поиска проблем и точек роста;
• аналитикам на крупных проектах; специалистам со стороны клиента;
• тимлидам для проверки результатов по проектам команды.

Решение повторяющихся задач

Если существует необходимость достать какие-либо данные, и при этом есть вероятность, что данные придется доставать регулярно, лучше реализовать это через скрипт. При должном навыке, написание скрипта займет столько же времени, сколько и заполнение отчета вручную (а может и быстрее). Зато при повторном выполнении задачи нужно будет всего лишь запустить сохраненный скрипт.

Кому подойдет подобное решение?

• любому специалисту, который работает с данными и хочет повысить эффективность своей работы.

С чего начать?

Прежде, чем браться за новое, нужно привести текущие дела в порядок. В нашем случае это значит, что для старта следует привести к единой структуре и общему виду аккаунты, из которых будем тянуть данные.

Тезис кажется очевидным, но это далеко не во всех случаях так. Часто в больших и старых аккаунтах кампании создаются не просто разными специалистами, но и разными «поколениями» специалистов. В итоге структура одних кампаний может сильно отличаться от структуры других, а почему она именно такая, и какая логика в это закладывалась — никто уже не помнит.

Поэтому, первым делом, необходимо прописать структуру ваших кампаний. То есть натурально взять и расписать на листе бумаги или в онлайн доксе:

• что к чему должно относится в вашем аккаунте;
• зачем всё это здесь;
• как и почему называется именно так.

Затем внимательно просмотрите ваш аккаунт. Когда пропишете структуру так, как вы её понимаете, и посмотрите, как она выглядит на самом деле, скорее всего найдете множество несоответствий, лишнего или недостающего.

Далее нужно браться за чистку «авгиевых конюшен». Если в названии кампаний или групп указывается, например, язык — везде должно быть только «ua» в нижнем регистре, а не «uk», «укр» и «UA» одновременно. Если платформа — везде desktop, каждый разделитель на своем месте, ну и так далее. У вас должна быть возможность выделить любой нужный вам сегмент. И чем меньше для этого нужно указать вариантов написания фильтров — тем лучше.

В идеале — пропишите единые правила нейминга для кампаний, покуда правила не станут для всех как «Отче наш».

Например, нейминг для групп объявлений мы реализовали так:

В процессе создания структуры кампаний, в названия сразу необходимо закладывать составляющие, по которым вы будете строить отчеты.

В идеале все кампании и группы должны попадать под фильтры «без пустого остатка».

Например, в данном примере отчета есть несколько фильтров и какую из комбинаций фильтров не задай, для нее будет свое соответствие. И наоборот, если отключить все варианты в фильтрах — не останется неучтенной кампании.

Установка языка R и среды разработки RStudio

Итак, теперь ваши аккаунты четкие, а это значит, что пришла пора «делать дела».

Начинаем с установки самого языка, так как RStudio — это оболочка R для упрощения работы с ним. Если сделать наоборот, вас всё равно заставят сначала установить R, но окольными путями и с лишними телодвижениями.

Приступим к установке R и RStudio.

1. Ссылка для установки языка R. Никаких специальных настроек, просто соглашаемся со всем, что предлагает установщик.
2. Ссылка для установки RStudio. Выбираем бесплатную версию RStudio Desktop.

Также соглашаемся со всеми пунктами, улыбаемся и машем.

Когда через секунды полторы вам станет больно от стандартной темы RStudio, откройте на панели инструментов «Tools» — «Global options» — «Appearance» и выберите настройки темы для себя.

Взаимодействие пользователя RStudio с рекламными аккаунтами происходит через их API посредством специальных пакетов R для этих сервисов. Авторизация осуществляется по протоколу OAuth 2.0, вместо логина и пароля используются токены.

Авторизация и доступ к API рекламных сервисов — это отдельная история. Далее я опишу, как получить возможность взаимодействовать с основными рекламными сервисами.

Установка пакета googleAnalyticsR и авторизация

Пакет googleAnalyticsR предназначен для работы с API Google Analytics.

Работа с любым API начинается с авторизации.

Перед тем, как сделать свой первый запрос к API Google Analytics, необходимо пройти несколько подготовительных шагов:

• выбрать наиболее подходящий способ авторизации;
• при необходимости создать проект в Google Cloud, если его ещё нет;
• создать ключ сервисного аккаунта или обычные учетные данные;
• если создали сервисный аккаунт, дать на его почтовый адрес доступ к нужным аккаунтам Google Analytics;
• при необходимости создать переменные среды;
• включить API Google Analytics.

Существуют такие способы авторизации в googleAnalyticsR:

• со стандартными параметрами пакета;
• через собственное приложение, созданное в Google Cloud Console;
• через сервисный аккаунт.

Самый простой способ авторизации — использование команды ga_auth() со стандартными значениями аргументов, установленными по умолчанию. Большинство пользователей проходят авторизацию именно так, но вы можете столкнуться с лимитом 50 000 запросов к API в сутки.

Подключение API Analytics

Также необходимо включить Google Analytics API. Сделать это можно через библиотеку в Google Cloud Platform. Либо перейдите по прямым ссылкам и включите там:

1. Google Analytics Reporting API.

2. Google Analytics API.

Включенные API выглядят так:

Запуск пакета googleAnalyticsR в RStudio и авторизация

Для установки пакета в R необходимо запустить (Ctrl+Enter) в консоли команду install.packages(название пакета). Эту команду нужно запустить один раз при установке пакета.

Для запуска пакета запустите команду library(название пакета):

install.packages("googleAnalyticsR") # установка библиотеки для работы с Google Analytics
library(googleAnalyticsR) # запуск библиотеки для работы с Google Analytics

Для запуска авторизации в R используйте команду:

# Авторизация в Google Analytics
ga_auth(email="youremail@gmail.com")

Далее следуйте инструкциям RStudio.

О более продвинутых способах авторизации (через собственное приложение и через сервисный аккаунт) есть видео на канале R4marketing и статья Алексея Селезнева. Рекомендую вам самостоятельно изучить и опробовать их.

Установка пакета RAdwords и прохождение авторизации

Пакет RAdwords предназначен для работы с API Google Ads.

Прежде, чем мы начнем разбираться с пакетом для работы с Google Ads, предупреждаю, что получить доступ к его API — достаточно длительный и трудный процесс. Большую часть вопросов по Google Ads можно закрыть через парсинг данных из отчетов по Google Analytics и по Google Ads, куда проще получить доступ.

Если же вам необходимы данные именно из Google Ads, и вы не боитесь трудностей — вперед!

Получение доступа к API Google Ads

Для доступа к API вам необходимо:

1. Создать центр клиентов. Перейдите по этой ссылке и зарегистрируйте новый центр клиентов (МСС). Обратите внимание, что центр клиентов можно создать только в том аккаунте Google, к которому ещё не привязан ни один аккаунт Google Ads.
2. Подать заявку на доступ к API. Перейдите в «Инструменты» (значок гаечного ключа в правом углу) — «Дополнительные инструменты» — «Центр API». Заполните все поля и примите условия использования.
После создания идентификатора заполните заявку на уровень доступа.

Актуальная информация о том, как получить доступ к API Google Ads — в официальной справке.

3. Далее вашу заявку рассмотрят и одобрят (но это не точно).
4. Создать приложение в Google Cloud.

• войдите в управляющий аккаунт, откройте страницу «Учетные данные» в Google Developers Console и создайте новый проект; 
• далее жмём кнопку «Создать учётные данные» и выбираем «Идентификатор клиента OAuth»;

• если система предложит указать название продукта, нажмите «Настроить окно запроса доступа»;
• укажите запрашиваемую информацию и нажмите «Сохранить», чтобы вернуться к экрану «Учетные данные»;
• в разделе «Тип приложения» выберите «Приложение для ПК»;
• укажите название в появившемся поле; нажмите кнопку «Создать». Появятся идентификатор и секретный ключ клиента OAuth2. Скопируйте и сохраните их. На следующем шаге их нужно будет добавить в файл конфигурации.

Запуск пакета RAdwords в RStudio и авторизация

Установка пакета:

install.packages("RAdwords") # установка библиотеки для работы с Google Ads
library(RAdwords) # запуск библиотеки для работы с Google Ads

Если доступы к API получены, вы можете пройти авторизацию в RStudio:

# Авторизация в Google Ads
ads_auth <- doAuth()
# Идентификатор в Google Ads
account_id <- "123-456-7890"

Далее следуйте инструкциям RStudio.

Ещё раз подумайте, следует ли вам заморачиваться с заявками на доступ к API, и не хватит ли вам для ваших целей возможностей Google Аналитики.

Установка пакета rfacebookstat и прохождение авторизации

Пакет rfacebookstat предназначен для работы с API Facebook.

Авторизация через fbAuth()

Самый простой способ авторизации в rfacebookstat — через запуск команды fbAuth() и встроенное в пакет приложение. Предоставив необходимые разрешения пакету, вы перенаправитесь на страницу rfacebookstat на github, где сгенерируется краткосрочный токен.

Этот токен вы копируете и вставляете в консоль R для прохождения авторизации. Далее вам предложат сохранить токен, и он станет долгосрочным.

Авторизация через собственное приложение

Ещё один вариант авторизации — через создание собственного приложения в Facebook.

1. Создайте  приложение в веб-интерфейсе Facebook, перейдя по ссылке.
2. Нажмите кнопку «Создать приложение», которая находится в правом углу.
3. Выберите назначение «Управление бизнес-интеграциями».
4. Заполните необходимые поля.

5. Добавьте продукты «API Marketing» и «Вход через Facebook».

6. В настройках продукта «Вход через Facebook» установите в качестве «Действительные URL» перенаправления для OAuth ссылку — https://selesnow.github.io/rfacebookstat/getToken/get_token.html.

Для авторизации через свое приложение в качестве аргументов функции fbAuth() вам понадобится информация по идентификатору и секрету созданного приложения. Найти эту информацию можно в его настройках, в меню «Основное».

Запуск пакета rfacebookstat в RStudio и авторизация

Установка пакета:

install.packages("rfacebookstat") # установка библиотеки для работы с Facebook
library(rfacebookstat) # запуск библиотеки для работы с Facebook

Авторизация в RStudio через встроенное приложение:

# Авторизация в Facebook fbAuth()

Авторизация в RStudio через собственное приложение:

# Авторизация в Facebook
fbAuth(app_id = 1234567898765432,
app_secret = "a5b02aabd4a3200346dc6f7895aebce1")

Теперь вы сможете приступить к работе с пакетом rfacebookstat.

Установка пакета ryandexdirect и авторизация

Пакет ryandexdirect предназначен для работы с API Яндекс.Директ.

Самый простой в авторизации пакет для работы с рекламными системами — ryandexdirect (чего не скажешь про сам Директ). Не нужно никаких заявок, приложений и прочих танцев с бубном. По большому счету, даже команда авторизации не обязательна, так как она автоматически запускается при выполнении любой команды пакета.

Запуск пакета ryandexdirect в RStudio и авторизация

Установка пакета:

install.packages("ryandexdirect") # установка библиотеки для работы с Яндекс.Директ
library(ryandexdirect) # запуск библиотеки для работы с Яндекс.Директ

Авторизация в RStudio:

# Авторизация в Яндекс.ДиректyadirAuth()

Далее следуйте инструкциям RStudio.

На этом заканчивается первая статья.

Заключение

Это подготовительная статья цикла постов по автоматизации РРС-отчетности. Из неё можно узнать:

1. Какие типы задач можно решать с помощью данного метода автоматизации и кому он подойдет.
2. Как подготовить аккаунты к автоматизации.
3. Как установить язык R и среду Rstudio.
4. Установка и авторизация пакетов для работы с рекламными системами.

Что будет в следующей статье:

1. Примеры запросов для каждого из пакетов.
2. Разбор полей и показателей запросов.
3. Посмотрим документацию по API.
4. Изучим способы преобразования данных.
5. Дополнительные материалы для каждого из пакетов.