Как проверить, принесла ли акция дополнительные покупки

Простой план теста с контрольной группой, единым периодом наблюдения и расчётом вклада.

Зачем нужен контроль

После рассылки часть клиентов купила — это наблюдение, но ещё не оценка эффекта. Некоторые могли прийти по привычке, увидеть другую рекламу или запланировать покупку заранее. Контрольная группа помогает оценить, сколько покупок произошло бы без проверяемого предложения. Она не делает тест идеальным, зато позволяет отделить обычное поведение базы от дополнительного результата.

Выберите одну гипотезу и один главный показатель. Например: подарок к повторному заказу увеличит суммарный вклад покупок за 30 дней среди клиентов, не покупавших 45 дней. Сроки здесь условные: они должны соответствовать вашему циклу покупки. Зафиксируйте их до начала теста, чтобы потом не выбирать только тот отрезок, на котором цифры выглядят красиво.

Как сформировать группы

Сначала определите подходящую аудиторию по единым правилам. Затем случайным образом разделите её на тест и контроль. При небольшом количестве клиентов дополнительно проверьте баланс по давности покупки, числу прошлых заказов и обычному чеку. Если в тест попали самые активные покупатели, а в контроль — давно потерянные, сравнение будет несправедливым.

Контроль не должен получать именно проверяемую кампанию. При этом обычные условия обслуживания сохраняются. Если бизнес параллельно запускает другие рассылки, фиксируйте пересечения и старайтесь не раздавать тем же людям похожее предложение через другой канал. Иначе отличия между группами размоются и станет непонятно, что именно повлияло на результат.

Пример расчёта

Условно в каждой группе по 200 человек. В тесте завершили покупку 30 клиентов, в контроле — 22. Доля покупателей составляет 15% и 11%. Разница — четыре процентных пункта, а оценка дополнительных покупателей при равных размерах групп — восемь человек. Это не рост на четыре процента: проценты и процентные пункты здесь означают разное.

Одного такого результата недостаточно для уверенного универсального вывода. Разница может зависеть от случайного состава групп, сезона и малого количества событий. Не объявляйте механику доказанной по нескольким заказам. Зафиксируйте предварительный вывод, проверьте неопределённость и при необходимости повторите тест на новой сопоставимой выборке, не меняя правила посреди запуска.

Деньги важнее активаций

Суммируйте вклад покупок после переменных затрат для каждой группы и приведите значения к одинаковому числу клиентов. Из разницы вычтите дополнительные расходы кампании, которые ещё не включены в расчёт вкладов. Такая последовательность защищает от двойного учёта подарков. Отдельно покажите выручку и средний чек, но не подменяйте ими конечный экономический результат.

Проверяйте весь период, а не только дни действия предложения. Акция может ускорить покупку без увеличения их общего количества. Например, человек пришёл сегодня вместо следующей недели. Для бизнеса это иногда полезно из-за загрузки или денежного потока, однако такой эффект нужно называть переносом визита, а не автоматически считать дополнительным спросом.

Подготовьте таблицу до отправки

Создайте строки для числа приглашённых, завершённых покупателей, заказов, выручки, переменных расходов и затрат кампании. Для каждой строки укажите источник данных. Не рассчитывайте собрать всё по памяти в конце месяца: ручные исключения быстро теряются, особенно при возвратах и переносах записей.

Зафиксируйте момент начала и окончания наблюдения. Клиенты, получившие сообщение позже, должны иметь сопоставимое время для покупки. Если отправка растянулась, анализируйте результат относительно даты получения либо разделите запуск на отдельные волны. Иначе первые получатели окажутся в более выгодном положении по сравнению с последними.

Назначьте человека, который сверит спорные случаи. Запись без оплаты, повторно созданный заказ и частичный возврат должны обрабатываться по одному правилу в обеих группах. После проверки сохраните исходные значения и формулу расчёта. Следующую кампанию можно будет сравнить с предыдущей без смены определений по ходу отчёта.

Что сохранить после теста

Запишите аудиторию, даты, предложение, размеры групп, стоимость поощрений, исключения и итоговые показатели. Отметьте ограничения: нехватку товара, сбой доставки, изменение цен, праздничные дни. По этим данным следующий запуск можно повторить или улучшить. Главный результат теста — обоснованное решение о масштабе кампании, а не красивая цифра использования промокода.

Если группы различаются по числу людей, сравнивайте показатели на одного участника, а затем рассчитывайте эффект для тестовой группы. Простая разница общих заказов в такой ситуации вводит в заблуждение. Состав базы и выбранные исключения сохраните до запуска, чтобы позже можно было воспроизвести расчёт.

Идеи для практики