Кейс з наскрізної аналітики у ніші працевлаштування. Як об’єднати чотири джерела даних у зручних звітах

Хто наш партнер

Провідна агенція працевлаштування, що спеціалізується на підборі персоналу з України і Східної Європи для компаній у Польщі та ЄС. Допомагає знайти працівників для різних галузей, включаючи промисловість, логістику й сільське господарство.

Причина звернення

Наш партнер активно залучає користувачів завдяки каналам платного трафіку, зокрема Meta Ads і Google Ads. Але виникла проблема: кожен інструмент видає окремі звіти, які співробітники мають поєднувати у ручному режимі. Реальну кількість лідів видно лише в СRM-системі, джерело лідів — в Google Analytics 4 (GA4), а витрати — в рекламних кабінетах. 

Перед нами постала задача об’єднати усі джерела в один автоматичний звіт, щоб мінімізувати ручну роботу. 

Етапи впровадження

1. Інструменти й розробка архітектури 

Для побудови наскрізної аналітики ми використали переважно інструменти й сервіси Google, які дозволили автоматизувати збір, обробку і візуалізацію даних. Нижче — схема архітектури рішення.

Рішення довготривале і стабільне, а використання всіх інструментів в інфраструктурі Google Cloud коштує не більше п’яти доларів на місяць для цього об’єму даних.

2. Створення макетів

Отримавши всю необхідну інформацію від замовника, ми створили макети звітів у Miro й затвердили їх до початку основної роботи. Це допомогло зекономити час і уникнути непорозумінь у подальшій розробці дашбордів. 

3. Збереження і збір даних

Ми використали Google BigQuery як центральне сховище. Це хмарна база даних, створена спеціально для аналітичних цілей, що автоматично масштабується і не потребує додаткової підтримки. Дані з Google Analytics надходять туди у «сирому» вигляді щодня і безплатно.

Для рекламних джерел ми розробили спеціальний конектор — Python-код, який розміщений в Cloud Functions і щодня автоматично завантажує дані з Google Ads і Facebook.

Стандартної CRM-системи замовник не мав, замість неї використовується система управління задачами (далі — система). Ліди зберігаються як окремі задачі. Python-код з серверу системи щодня забирає необхідні дані по заявках і клієнтам, одразу форматує їх і переносить у BigQuery.

4. Об’єднання й агрегування

Ми використовували сервіс DBT (Data Build Tool), який дає змогу ефективно управляти проєктом, що містить багато SQL-скриптів. DBT структурує SQL-код, що значно полегшує процес трансформації й оркестрації. 

Завдяки цьому сервісу й побудованим SQL запитам ми об’єднали дані з різних джерел, виконали складні агрегації і створили єдині вітрини даних.

Також на етапі агрегації ми відфільтрували дублі заявок, котрі залишали одні й ті самі клієнти.

Рішення. Ми перевірили з яким часовим лагом (проміжком часу) приходять заявки з сайту до системи партнера. Лаг складає до 60 секунд. На основі цього ми об’єднали заявки по часу. Якщо заявка з GA4 відповідає часу заявки з системи з проміжком до 60 секунд, ми присвоюємо цій заявці відповідне джерело. 

Щоб реалізувати цей процес, ми повернулись до попереднього кроку і змінили конектор вивантаження даних з системи, додали дату й точний час заявки в передавані дані. Це дозволило зрозуміти джерело й канал для більше ніж 85% заявок. 

Залишок заявок не вдалося об’єднати. Частина з них аналітикою не фіксується через використання adblocker’ів користувачами, частина не об’єднується, бо по окремим заявкам лаг більш ніж 60 секунд.

Надалі замовник планує впровадити нову CRM-систему й зможе відправляти номер заявки в GA4, що дозволить коректніше поєднувати ці дані. На цьому етапі створене рішення допомогло нам працювати з наявними даними.

5. Візуалізація

У кінці ми підключили вітрини до візуалізатора Looker Studio, де готували фінальні дашборди. Нижче — кілька прикладів з готового дашборду.

Результати

Нова аналітична платформа об’єднує інформацію з різних джерел: аналітичних систем, рекламних кабінетів і внутрішніх даних. Це дозволяє замовнику контролювати ефективність усіх каналів, аналізувати витрати і ключові показники ефективності (KPI), оптимізувати бюджет, спрямовуючи кошти на більш результативні канали.

Ми створили для замовника єдину аналітичну систему, яка дозволяє швидко приймати маркетингові рішення й вивести процес оптимізації реклами на якісно новий рівень. 

Висновки

1. Стояла задача об’єднати окремі звіти з різних інструментів (Google Ads, Meta Ads, Google Analytics 4, системи управління задачами) в один автоматизований звіт, що мінімізувало б ручний вклад у його підготовку.
2. Для цього використали інструменти Google Cloud для зберігання й обробки даних, що забезпечило стабільність і економічність.
3. Створили Python-код для автоматичного завантаження даних з рекламних платформ і системи партнера.
4. Зібрали дані у хмарній базі Google BigQuery, яка автоматично масштабується за потреби.
5. Застосували DBT для управління SQL-скриптами і трансформації даних, що дозволило ефективно об’єднати заявки з різних джерел і відфільтрувати дублікати.
6. Підготували фінальні дашборди у Looker Studio для зручного і швидкого аналізу даних. Запровадили контроль за ефективністю каналів, аналіз витрат і ключових показників ефективності, що дозволяє оптимізувати рекламний бюджет.