Как связать Яндекс.Директ с Microsoft Power BI

Добрый день, это можно настроить через шлюз (gateway).

Что вам для этого понадобится:

1. Power BI Pro версия.

2. Сервер, ноутбук или ПК который всегда будет включён.

3. Скачать и установить шлюз (https://powerbi.microsoft.com/ru-ru/gateway/)

Что надо сделать:

1. Разработать десктопный pbix файл.

2. Опубликовать разработанный на первом шаге файл в Power BI Service.

3. Настроить расписание обновление в Power BI Service, весь процесс настройки подробно описан тут. (https://docs.microsoft.com/ru-ru/power-bi/personal-gateway).

4. ПК на котором установлен шлюз всега должен быть включён.

Но в любом случае я рекомендую с API Яндекс Директа, и с любым другим апи работать по другой схеме.

1. Ежедневно забираем из API данные за вчера.

2. Собранные данные записываем в нашу базу данных.

3. Power BI подключаем не напрямую к API, а к нашей базе данных.

Добрый день, если вам просто нужен список ключевых слов с CPC можете воспольховаться функцией yadirGetReport:

Пример кода:

stat <- yadirGetReport(ReportType = "CAMPAIGN_PERFORMANCE_REPORT",

                                       DateRangeType = "CUSTOM_DATE",

                                       DateFrom = sopm,

                                       DateTo = eopm,

                                       FieldNames = c("Criterion",

                                                                  "CriteriaType",

                                                                  "AvgCpc"),  

                                       FilterList = NULL,

                                       IncludeVAT = "YES",

                                       IncludeDiscount = "NO",

                                       Login = adwordsIDref$Yandex_login[i],

                                       Token = adwordsIDref$YandexToken[i])

Здравствуйте, вряд ли у вас получится где то найти такую информацию сейчас, пакет для R  о котором идёт речь в статье писал я, используйте более новую функцию yadirGetReport.

Вот пример кода как получить данные по  датам, за определённый период.

library(ryandexdirect)

myToken <- yadirGetToken()

clientList <- yadirGetClientList(myToken)

stat <- yadirGetReport(ReportType = "ACCOUNT_PERFORMANCE_REPORT",

                                DateRangeType = "CUSTOM_DATE",

                                DateFrom = "2017-01-01",

                                DateTo = Sys.Date(),

                                FieldNames = c("Date","Impressions","Clicks","Cost"),

                                Login = clientList$Login,

                                Token = myToken)

Как и обещал немного доработал пакет ryandexdirect.

Для начала обновить пакет до версии 2.4.1. с помощью кода

devtools::install_github('selesnow/ryandexdirect')

После чего функция yadirGetReport станет векторизирована, т.е. аргумент Login на вход будет принимать вектор логинов, и функция будет по очереди загружать данные по каждому, на выходе вы получите большую таблицу с данными по всем аккаунтам по которым получилось вытянуть данные. 

Для того что бы воспользоваться векторизированным вариантом функции воспользуйтесь кодом представленным ниже.

library(ryandexdirect)

myToken <- yadirGetToken()

clientList <- yadirGetClientList(myToken)

stat      <- yadirGetReport(ReportType = "ACCOUNT_PERFORMANCE_REPORT", 

                                DateRangeType = "CUSTOM_DATE", 

                                DateFrom = "2017-01-01", 

                                DateTo = Sys.Date(), 

                                FieldNames = c("Date","Impressions","Clicks","Cost"), 

                                Login = clientList$Login, 

                                Token = myToken)

Добрый день, сама по себе функция yadirGetSummaryStat становится уже устаревшей, я рекомендую использовать именно  yadirGetReport.

Для того, что бы с помощью yadirGetReport получить данные из множества аккаунтов надо воспользоваться циклом, пример кода ниже:

library(ryandexdirect)

myToken <-  yadirGetToken()

clientList <- yadirGetClientList(myToken)

#Формируем результирующий дата фрейм

result <- data.frame()

#Проходим циклом по всем логинам

for(log in clientList$Login){

stat      <- yadirGetReport(ReportType = "ACCOUNT_PERFORMANCE_REPORT", 

                                DateRangeType = "CUSTOM_DATE", 

                                DateFrom = "2017-01-01", 

                                DateTo = Sys.Date(), 

                                FieldNames = c("Date","Impressions","Clicks","Cost"), 

                                #FilterList = c("Clicks GREATER_THAN 49","Impressions LESS_THAN 1001"), 

                                #IncludeVAT = "YES", 

                                #IncludeDiscount = "NO",

                                Login = log, 

                                Token = myToken)

#Добавляем поле логин 

stat$login <- log

#Присоединяем данные к результирующей таблице

result <- rbind(result, stat)

}

В ближайшее время я перепишу функцию yadirGetReport таким образом что бы она была векторизирована и на вход принимала вектор из логинов.

Добрый день, ругается на киррилицу, т.к. в функциях есть сообщения об ошибках и ходе выполнения операций на русском языке, поэтому он и ругается. 

Вы можете сделать следующее, в папке R, на репозитоиии ryandexdirect в открытом доступе есть код каждой из функций пакета, поэтому вы можете просто скопировать код нужной функции, запустить его в RStudio и в вашем рабочем окружении появится нужная вам функция, только для их работы ещё предварительно надо установить пакет httr.

В планах у меня есть написать дополнительную версия пакета без киррилицы для Linux, но сейчас на этой нет времени.

К сожалению просто догрузить 1 день к уж загруженному массиву данных в Power BI нельзя, в данном случае для ускорения процесса загрузки данных вы можете сделать следующее: 1. Написать R скрипт который будет ежедневно запускаться по рассписанию, как это сделать подробно описано тут. 2. Этот скрипт будет обращаться к API Директа, забирать данные за вчерашний день и записывать их в какую нибудь базу данных, для записи в MySQL например можно использовать пакет RMySQL, для PostgreSQL - RPostgreSQL, для BigQuery - bigrquery. 3. Power BI подключить именно к базе данных а не тянуть инфу напрямую из API за весь период.

К сожалению просто догрузить 1 день к уж загруженному массиву данных в Power BI нельзя, в данном случае для ускорения процесса загрузки данных вы можете сделать следующее:

1. Написать R скрипт который будет ежедневно запускаться по рассписанию, как это сделать подробно описано тут.

2. Этот скрипт будет обращаться к API Директа, забирать данные за вчерашний день и записывать их в какую нибудь базу данных, для записи в MySQL например можно использовать пакет RMySQL, для PostgreSQL - RPostgreSQL, для BigQuery - bigrquery.

3. Power BI подключить именно к базе данных а не тянуть инфу напрямую из API за весь период.

К сожалению просто догрузить 1 день к уж загруженному массиву данных в Power BI нельзя, в данном случае для ускорения процесса загрузки данных вы можете сделать следующее:

1. Написать R скрипт который будет ежедневно запускаться по рассписанию, как это сделать подробно описано тут.

2. Этот скрипт будет обращаться к API Директа, забирать данные за вчерашний день и записывать их в какую нибудь базу данных, для записи в MySQL например можно использовать пакет RMySQL, для PostgreSQL - RPostgreSQL, для BigQuery - bigrquery.

3. Power BI подключить именно к базе данных а не тянуть инфу напрямую из API за весь период.

Добрый день на момент написания статьи её не был зарелизин Report API Service, он предоставляет более гибкую и широкую работу с API директа, после официального релиза этого сервиса я добавил в пакет функцию yadirGetReport - https://github.com/selesnow/ryandexdirect/blob/master/README.md#yadirgetreportreporttype--campaign_performance_report-daterangetype--last_month-datefrom--null-dateto--null-fieldnames--ccampaignnameimpressionsclickscost-filterlist--null-includevat--no-includediscount--no-login--null-token--null

Я не очень понял о каких именно метках вы говорите, ну думаю можно использовать любые метки в названиях рекламных кампаний / групп объявлений.

Список доступных для выгрузки полей находится тут .

По поводу такой связки хорошо если есть возможность передавать в систему коллтрекинга ClientID из Google Analytics, в таком случае его можно будет использовать как идентификатор, возможно вам по этому поводу лучше обратиться в поддержку вашей системы коллтрекинга, наверняка у ребят уже есть какие то готовые решения под неё.

Да к сожалению в плане скорости загрузки данных R коннектор довольно медленный, и я так понимаю у вас в аккаунте много кампаний, собственно в этом причина долгой загрузки. Когда я писал эту статью ещё не было сервиса Reports в API Директа, советую вам попробовать переписать R код с использованием функции yadirGetReport - https://github.com/selesnow/ryandexdirect/blob/master/README.md#yadirgetreportreporttype--campaign_performance_report-daterangetype--last_month-datefrom--null-dateto--null-fieldnames--ccampaignnameimpressionsclickscost-filterlist--null-includevat--no-includediscount--no-login--null-token--null Пример кода: library(ryandexdirect) Stat <- yadirGetReport(ReportType = "CAMPAIGN_PERFORMANCE_REPORT", DateRangeType = "CUSTOM_DATE", DateFrom = '2017-01-01', DateTo = '2017-01-31', FieldNames = c("CampaignName","Impressions","Clicks"), FilterList = c("Clicks GREATER_THAN 49","Impressions LESS_THAN 1001"), Login = "<ВАШ ЛОГИН В ЯНДЕКСЕ>", Token = "<ВАШ ТОКЕН В ВИДЕ СТОКИ>") Этот вариант кода будет работать значительно быстрее, и у вас будет возможность создавать запрос к API с различными полями, почитайте справку по этой функции по ссылке которую я дал выше.

Добрый день.

1. could not find function "install_github", сначала надо установить пакет devtools, т.е. install.packages("devtools") , т.к. функция install_github принадлежит именно этому пакету.

2. А как тоже самое сделать на MACoS с Tableau? Не нашел я в табло коннектора с R, совершенно верно в Tableau сделать так нельзя, разве что с помощью R скриптов по которые будут запускаться по расписанию собирать в какую нибудь базу данных всю инфу, и Tableau подключить уже именно к базе данных. Всё что умеет Tableau с R делать, это читать данные из RData файлов.

Пока нету, но появится в ближайшее время)

Добрый день, с API битрикс24 пока не сталкивался поэтому сложно точно оценить, но думаю в районе 1000$ - 1500$.

Здравствуйте, видимо проблема возникает в том то формат даты разный, самый простой способ исправить проблему это создать дополнительный столбец true_date, на DAX написать формулу true_date = Stat[Date] - 1.

По идее должно сработать.

Добрый день, можно конечно и в Power BI руками ввести нужные данные и потом с помощью R и цикла их перебрать ну я вам советую создать csv файл в котором буде храниться логины и ТОКЕНЫ (пароли не нужны).

Далее тоже самое что я вам описывал без цикла в виде цикла будет в принципе выглядеть примерно так:

#Подключаем пакет

library(ryandexdirect)

#Формируем Data Frame со списком логинов и токенов

dictionary <- data.frame(login = c("LOGIN1","LOGIN2"),

                                         token = c("TOKEN1","TOKEN2"))

#Результирующий DataFrame

Stat <- data.frame()

#Запускаем цикл

for(i in 1:nrow(dictionary)){

#Получаем список кампаний первого аккаунта

campList <- yadirGetCampaignList(logins = dictionary$login[i], token = dictionary$token[i])

#Получаем статистику по кампаниям первого аккаунта

StatTemp <- yadirGetSummaryStat(campaignIDS = campList$Id,

                           dateStart = Sys.Date() - 90,

                           dateEnd = Sys.Date(),

                           token = dictionary$login[i])

#Соединяем в одну таблицу

Stat <- rbind(Stat, StatTemp)}

В объект dictionary впишите все логины и токены, каждый логин при этом по порядку должен соответствовать своему токену.

dictionary <- data.frame(login = c("LOGIN1","LOGIN2"),

                                         token = c("TOKEN1","TOKEN2"))

Если вы всё таки решили эти данные хранить в csv таблице то вмесо команды выше напишите:

dictionary <- read.table(file = "C:/Users/UserName/MyDictionary.csv", sep = ";", dec = "," , header = T)

В аргументе file пропишите правильный путь к вашему csv файлу, файл должен состоять из двух колонок login и token, поля должны быть разделены точкой запятой (в противном случае измените аргумент sep).

Добрый день, есть такая возможность, просто необходимо циу=клом пройтись по всем аккаунтам и собрать данные, либо без цикла в коде прописать обращение  каждому аккаунту в отдельности. 

Просто скопируйте код столько раз сколько у вас аккаунтов, и для каждого укажите его логин и пароль.

#Подключаем пакет

library(ryandexdirect)

#Получаем список кампаний первого аккаунта

campList1 <- yadirGetCampaignList(logins = "<ВАШ ЛОГИН НА ЯНДЕКСЕ1>", token = "<ВАШ ТОКЕН1 В ВИДЕ СТОКИ>")

#Получаем статистику по кампаниям первого аккаунта

Stat1 <- yadirGetSummaryStat(campaignIDS = campList1$Id,

                           dateStart = Sys.Date() - 90,

                           dateEnd = Sys.Date(),

                           token = "<ВАШ ТОКЕН1 В ВИДЕ СТОКИ>")

#Получаем список кампаний второго аккаунта

campList2 <- yadirGetCampaignList(logins = "<ВАШ ЛОГИН НА ЯНДЕКСЕ2>", token = "<ВАШ ТОКЕН2 В ВИДЕ СТОКИ>")

#Получаем статистику по кампаниям первого аккаунта

Stat2 <- yadirGetSummaryStat(campaignIDS = campList2$Id,

                           dateStart = Sys.Date() - 90,

                           dateEnd = Sys.Date(),

                           token = "<ВАШ ТОКЕН2 В ВИДЕ СТОКИ>")

#Соединяем в одну таблицу

Stat <- rbind(Stat1, Stat2)

Примерно так это выглядит без цикла, если будут вопросы обращайтесь.

http://joxi.ru/E5mdnukZBqMA13

Возможно вы найдёте ответ тут - http://stackoverflow.com/questions/17783686/solution-how-to-install-github-when-there-is-a-proxy

У вас установлен пакет 'devtools'?

Честно говоря у меня не получилось воспроизвести вашу ошибку.

Вы пользуетесь готовым скачанным Power BI файлом который можно скачать в конце статьи, или пробуете самостоятельно ввести R скрипт в Power BI?

Ещё проблема может возникнуть если имя пользователя через который вы входите в операционную систему задано русскими буквами, в таком случае попробуйте создать нового пользователя с админскими правами задав его имя латиницей, и попробовать запустить тоже самое из под него.

Уже обсуждалось ниже в комментах. Введите install.packages("bitops")

А как ты получил расход?

Можно еще создать счет, на который бы скинулись несколько читателей, чтобы я опубликовал об этом пост ;)

Добрый день, пока что у меня в работе не было задачи для написания коннектора к этим системам, процесс написания коннектора в самом деле достаточно трудоёмкий потому что для этого необходимо изучить документацию по работ с API конкретной системы, но такой коннектор можно заказать в рамках услуги разработка веб аналитического инструмента, и я посмотрю что можно придумать.

не совсем понял о какой ссылке вы говорите.

Я думаю с этим пока лучше подождать, у меня есть идеи как улучшить пакет, и я жду выхода 5 версии API Директа, надеюсь на то что там возможность запроса данных будет пошире.

Сейчас другие разрезы данных можно получить только отправив по API запрос в мастер отчётов, но проблема в том что мастер отчётов в таком случае отдаёт ответ в xml формате, который в R парсить сплошная боль.

Прошу, прощения, Алексей, но с мобильного - ответ на самый нижний коммент появляется тут :-(

У вас в пути к библиотеке пакетов R, есть папка которая названа киррилицей, это папка с именем пользователя. 'C:/Users/Сергей/Documents/R/win-library/3.3/ryandexdirect'

1. Сощдайте в ОС другого пользователя, что бы название учётной записи писалось только английскими буквами.

2. Зайдите в Windows под новой учётной записью и попробуйте повторно установить пакет.

Уже сам разобрался и нашёл как минимум общий расход =)

Единственная проблема - данные совпадают не полностью. Количество кликов и расход иногда существенно расходятся с данными из интерфейса. А в таком случае зачем тогда использовать этот сервис?

Пробовал, решение ниже, дублирую сюда.

R скрипт который надо вставить в Power BI будет выглядеть следующим образом:

library(ryandexdirect)

clientList <- yadirGetClientList(<Token>)

campaignList <- yadirGetCampaignList(logins = clientList$Login[clientList$Login %in% c(<Login1>,<Login2>)], token = <Token>)

stat <- yadirGetSummaryStat(campaignIDS = campaignList$Id,

                            dateStart = "2016-01-01",

                            dateEnd = "2016-06-30",

                            token = <Token>)

В код подставьте в кавычках вместо:

<Token> - "свой токен"

<Login1> - "логин 1го клиента"

<Login2> - "логин 2го клиента"

Далее в Power PI будет загружено 3 таблицы:

clientList - список клиентов агентсткого аккаунта

campaignList - список всех рекламных кампаний по всем клиентам

stat - статистика по всем рекламным кампаниям по клиентам чьи логины вы указале в строке campaignList <- yadirGetCampaignList(logins = clientList$Login[clientList$Login %in% c(<Login1>,<Login2>)], token = <Token>)

Связи между таблицами можно настроить следующим образом:

1. Поле CampaignID из таблицы stat служит ключём к таблице campaignList по полю Id.

2. Поле login из таблицы campaignList служит ключём к таблице clientList по полю Login.

Добрый день, R скрипт который надо вставить в Power BI будет выглядеть следующим образом:

library(ryandexdirect)

clientList <- yadirGetClientList(<Token>)

campaignList <- yadirGetCampaignList(logins = clientList$Login[clientList$Login %in% c(<Login1>,<Login2>)], token = <Token>)

stat <- yadirGetSummaryStat(campaignIDS = campaignList$Id,

                            dateStart = "2016-01-01",

                            dateEnd = "2016-06-30",

                            token = <Token>)

В код подставьте в кавычках вместо:

<Token> - "свой токен"

<Login1> - "логин 1го клиента"

<Login2> - "логин 2го клиента"

Далее в Power PI будет загружено 3 таблицы:

clientList - список клиентов агентсткого аккаунта

campaignList - список всех рекламных кампаний по всем клиентам

stat - статистика по всем рекламным кампаниям по клиентам чьи логины вы указале в строке campaignList <- yadirGetCampaignList(logins = clientList$Login[clientList$Login %in% c(<Login1>,<Login2>)], token = <Token>)

Связи между таблицами можно настроить следующим образом:

1. Поле CampaignID из таблицы stat служит ключём к таблице campaignList по полю Id.

2. Поле login из таблицы campaignList служит ключём к таблице clientList по полю Login.

Здравствуйте!

Перед установкой пакета ryandexdirect установите пакет bitops с помощью следующего кода.

install.packages("bitops")

Добрый день, обновлять придётся через десктоп, т.к. Power BI Service не поддерживает R скрипты.