Своя аналитика для маркетолога: выгрузка данных Метрики в ClickHouse и дашборды

Интерфейс Метрики — это окно в большую таблицу. Если научиться работать с самой таблицей, понимание пути клиента и вклада каналов расширяется в разы. Сейчас для этого не обязательно быть инженером данных: многое помогают сделать нейросети.

Статья полезна и тем, кто строит такую аналитику, и тем, кто заказывает её у подрядчика: вы поймёте, что именно покупаете.

Из чего состоит своя аналитика

Специалисту полезно быть T-shaped: глубоко разбираться в одном (например, SEO) и широко знать соседние области — аналитику, рекламу, контент. Горизонтальная палочка буквы «Т» — это как раз умение дружить с данными.

Как это работает: конвейер

1. Скрипт каждый день выгружает визиты из Logs API Метрики за вчера.
2. Специальный планировщик запускает его по расписанию.
3. Данные грузятся пачками: большие объёмы — частями, чтобы не рвалось соединение.
4. Сырой слой превращается в слой с датой вставки и хешем визита, а из него собираются витрины (готовые таблицы для отчётов).
5. Поверх витрин — SQL-запросы и дашборды.

ClickHouse — база данных для больших таблиц; в ней настраивают таблицу, которая сама убирает дубли.

Подводные камни

• Данные рекламных систем пересчитываются задним числом — забирайте их с запасом.
• Пользователей в интерфейсе Метрика считает по склеенному идентификатору — используйте его, иначе цифры не сойдутся.
• Одинаковые цвета разных показателей на графиках путают — договоритесь о стиле.

— Цифры в нашем дашборде не совпадают с Метрикой!
— Вы считали пользователей по какому идентификатору?
— А их разве несколько?
— Вот и ответ.

Какие вопросы закрывает своя аналитика

• Интернет-магазин. Сколько визитов до первой покупки по каналам. Интерфейс показывает последний клик, а витрина — весь путь: видно, какие каналы запускают покупку, а не только закрывают её.
• SEO-проект с сезонностью. Растёт ли органика с учётом сезона — сравнение с тем же месяцем прошлого года.
• Услуги с длинной сделкой. Какие заявки доходят до оплаты: связка с CRM показывает цену оплаты по каналу, а не только цену заявки.
• Контентный сайт. Какие статьи приводят подписчиков — показатель на 1000 визитов.
• Реклама. Где бюджет тратится без заявок: сырые визиты дают срез по фразам, и минус-слова собираются из данных, а не на глаз.

Когда заявок единицы

При десятках заявок в год сложная статистика не работает. Максимально отслеживайте путь пользователя, свяжите его с CRM и разбирайте каждого клиента вручную: откуда пришёл, что смотрел, когда решил. Одно такое расследование ценнее средних цифр.

С чего начать

• Python и pandas — по курсам и книгам.
• Git и основы Linux.
• Нейросеть как помощник при развёртывании: она проведёт по шагам, но иногда зацикливается — разбивайте задачу на части.

На своих данных можно построить и базу знаний: загрузить материалы в проект нейросети и получать быстрые экспертные ответы.

Что проверить у себя

• Понятно, на какие вопросы интерфейс Метрики не отвечает.
• Данные выгружаются ежедневно, а рекламные — с запасом.
• Пользователи считаются по склеенному идентификатору.
• Есть сравнение год к году.
• При малом числе заявок настроена связка с CRM.

Смежные темы: Яндекс Тег Менеджер и электронная коммерция, SEO по заявкам и парсинг сайтов для SEO и бизнеса.