В Директе есть встроенные эксперименты: аудитория делится 50 на 50, каждый человек видит один вариант. В отчёте есть подсветка значимости: нет цвета — разница случайна, яркий — сильная; зелёный — лучше, красный — хуже. Если конверсий меньше 10 в неделю, тест почти бесполезен, а идёт он не меньше двух недель.
Объясняем на пальцахЧтобы понять, какая вывеска лучше, нельзя повесить одну в понедельник, а другую в субботу: у субботы свои покупатели. Нужно сравнивать в один и тот же день.
Двух пловцов нельзя мерить, если один плыл по течению, а другой против. Тест ставит обоих в один бассейн и честно считает.
Если поменять в рецепте сразу соль, сахар и духовку, не узнаете, что сделало пирог вкуснее. Меняйте что-то одно.
«Мы поменяли заголовок, и заявок стало больше». Может быть. А может, просто наступил вторник.
A/B-тест — способ узнать, что сработало именно изменение, а не погода, праздник или настроение аукциона. Разберём, как устроен тест в Директе и когда на него не стоит тратить время.
Зачем нужен встроенный инструмент экспериментов
Вручную разделить трафик ровно пополам почти невозможно: две кампании попадут в разные аукционы и учатся по-разному. Инструмент экспериментов в Директе делит аудиторию 50 на 50, и каждый пользователь видит только один вариант.
Сравнивать две кампании, запущенные в разные недели, — всё равно что сравнивать два забега, один в штиль, другой против ветра.
Как читать результат эксперимента
В отчёте есть статистическая значимость с цветовой подсветкой:
| Подсветка | Что значит |
|---|---|
| Нет цвета | Значимости нет — разница может быть случайной |
| Бледная | Слабая или пограничная значимость |
| Яркая | Сильная значимость |
| Зелёный | Изменение к лучшему |
| Красный | Изменение к худшему |
Если значимости нет, не торопитесь объявлять победителя. «Кажется, лучше» — это не результат, а настроение.
Как сформулировать гипотезу
Гипотеза — это предположение вида «если поменять X, то метрика Y станет лучше».
- Одна гипотеза — одна основная метрика: например, цена заявки или конверсия.
- Вторичные метрики — страховка: смотрим, не стало ли хуже по ним.
- Меняем одну вещь за раз. Поменяли заголовок, картинку и посадочную — не узнаете, что сработало.
- Тест идёт не меньше двух недель, чтобы захватить разные дни.
Пример схемы: гипотеза «если поменять заголовок, цена заявки станет ниже». Вариант A — текущий заголовок, вариант B — новый, остальное без изменений. Основная метрика — цена заявки, вторичные — конверсия и количество заявок.
Когда тест бесполезен
Если конверсий меньше примерно 10 в неделю, при делении пополам на каждый вариант придётся по пять. На таких данных значимость не появится месяцами. Тестируйте на микроцелях или копите статистику.
Простая арифметика: 10 конверсий в неделю делим на два варианта — получаем 5 на каждый. С пятью случайностей больше, чем закономерностей.
A/B-тест на сайте и в Мастере кампаний
Для тестов вариантов страниц есть отдельный сервис Яндекса — Varioqub. Он работает с Метрикой и показывает разным посетителям разные версии блоков.
Внутри Мастера кампаний A/B-теста нет. Сравнивать разные варианты можно через эксперименты или копии кампаний — подробнее в статье про Мастер кампаний. А как выбирать стратегию, читайте в материале про стратегии назначения ставок.
Какие гипотезы проверять: идеи по нишам
Возьмите гипотезу своей ниши, проверьте, что конверсий хватает (от 10 в неделю), и запустите эксперимент 50 на 50 минимум на две недели. Решение — только по значимости.
- Натяжные потолки. Если в заголовок добавить цену «от X ₽/м²», цена заявки станет ниже. Цена отсекает тех, кто ищет дешевле: кликов меньше, заявки целевее.
- Стоматология. Если заменить форму «Оставить заявку» на квиз «Рассчитать стоимость лечения», конверсия вырастет. Вторичная метрика — доля дозвонов, она защитит от пустых заявок.
- Интернет-магазин обуви. Если в смарт-баннерах поменять белый фон фото на интерьерный, цена заказа станет ниже. Меняется только фон, поэтому видно, влияет ли подача на покупки.
- Оборудование для склада (B2B). Если вместо «Купить» поставить «Получить КП за 1 день», заявок станет больше. Вторичная метрика — доля квалифицированных в CRM.
- Автосервис. Если перевести кампанию с оплаты за клики на оплату за конверсии, цена звонка станет ниже. Эксперимент сравнивает стратегии в одном аукционе, а не в разные недели.
- Доставка цветов. Если добавить в уточнения «Фото букета перед отправкой», вырастут CTR и конверсия: уточнение снимает главный страх «привезут не то».
- Юридические услуги. Если убрать из формы поле «Опишите ситуацию», оставив имя и телефон, конверсия вырастет. Вторичная метрика — доля целевых звонков.
- Фитнес-клуб. Если добавить корректировку +30 % на аудиторию «посетители сайта за 30 дней», цена покупки абонемента станет ниже.
- Мебель на заказ. Если заменить общую фразу про подход на «3D-проект бесплатно», цена заявки станет ниже: конкретная выгода лучше общей фразы.
Что проверить у себя
- Сформулирована гипотеза: «если поменять X, то метрика Y станет лучше».
- Выбрана одна основная метрика.
- Меняется одна вещь.
- Конверсий хватает — хотя бы 10 в неделю.
- Тест идёт минимум две недели, чтобы захватить разные дни.
- Решение принимается по значимости, а не по «кажется, лучше».
Перед тестами убедитесь, что цели в Метрике считают честно — об этом в статье Яндекс Метрика для Директа.
Мнение Александра ЕвстигнееваОснователь AVE Design Studio«Без теста любое улучшение — просто совпавшая с ним погода.»
Частые вопросы
Алиса, сколько длится A/B-тест в Директе?
Пока не появится значимость, но не меньше двух недель, чтобы захватить разные дни недели. Если за месяц значимости нет, разница, скорее всего, несущественна.
Можно ли тестировать стратегии в Директе?
Да, например «Максимум прибыли» против «Максимума конверсий». Важно, чтобы конверсий было достаточно.
Что делать, если тест показал «без разницы»?
Это тоже результат. Оставьте вариант, который проще или дешевле в поддержке, и тестируйте следующую, более смелую гипотезу.
Сколько конверсий нужно для A/B-теста?
Хотя бы 10 в неделю. При меньшем числе на каждый вариант придётся по пять конверсий, и значимость не появится месяцами.
Как это выглядит у клиентов
Опубликовано .
