Как проверить результат рассылки: простой тест с контрольной группой
После рассылки появились покупки, но часть покупателей могла прийти и без сообщения. Контрольная группа помогает оценить эту разницу. Для небольшой компании не обязательно строить сложную исследовательскую систему: важнее одинаковые условия, заранее выбранный показатель и честное отношение к неопределённости результата.
Опишите проверяемую гипотезу
Запишите, кого приглашаете, какой повод предлагаете и какой результат ожидаете измерить. Например, оценить повторные оплаченные визиты среди гостей с определённой паузой. Выберите основной показатель до отправки. Если искать успешную цифру после кампании среди десятков отчётов, легко принять случайное колебание за убедительный вывод.
Сформируйте похожие группы
Разделите подходящую аудиторию случайно, если это возможно в вашем процессе, и проверьте похожесть групп по недавности и частоте покупок. Не оставляйте без сообщения только заведомо неактивных людей. Такое сравнение заранее даст преимущество приглашённой группе и не поможет понять, что изменилось благодаря кампании.
Сохраните одинаковое наблюдение
Для обеих групп используйте одинаковый срок и правила учёта покупок. Избегайте других пересекающихся предложений, либо фиксируйте их влияние. Если одному сегменту одновременно позвонил менеджер, его результат уже нельзя просто приписать рассылке. Не завершайте тест сразу после нескольких первых покупок, когда исход кажется особенно удачным.
Рассчитайте абсолютную разницу
Условно, из двух групп по сто человек вернулись двенадцать и девять. Разница составляет три процентных пункта и три наблюдаемых дополнительных визита на такую группу. Это пример арифметики, не прогноз эффективности. При небольшом числе событий результат может заметно меняться случайно, поэтому его нужно проверять повторно.
Добавьте экономику и ограничения
Умножить наблюдаемую разницу на средний чек недостаточно: вычтите переменные затраты, стоимость подарков и самой кампании. Укажите, какие события и расходы могли остаться за пределами учёта. Если объём данных мал, описывайте вывод как предварительный. Лучше осторожное решение о следующем тесте, чем обещание гарантированного роста на слабом основании.
Как различать задачи аудитории
| Ситуация | Задача | Что проверить |
|---|---|---|
| Гипотеза | Одна проверяемая задача | Показатель до запуска |
| Контроль | Сопоставимая аудитория | Одинаковое окно |
| Вывод | Разница и затраты | С указанием неопределённости |
Как распределить участников без выбора «удобных» гостей
Сначала сформируйте список подходящих людей по одинаковым условиям: например, участники с подтверждённым визитом в прошлом месяце, доступным каналом и выбранным разрешением на сообщения. Исключения задайте до разделения. Затем случайно распределите людей между отправкой и контролем. Не отдавайте менеджеру право выбрать в рассылку «самых перспективных»: группы перестанут быть сопоставимыми. Сохраните исходные списки и дату распределения. Если за одним контактом стоит семья, не помещайте связанные карточки в разные группы, когда подарок легко передать между ними. Порядок отбора должен быть воспроизводимым.
Сравнивайте доли, когда размер групп отличается
Условный пример: приглашение получили 400 участников, из них за выбранный срок пришли 48. В контроле было 200 человек, пришли 18. Доли посещения составляют 12% и 9%, разница — 3 процентных пункта. Если бы группа отправки возвращалась с долей контроля, ожидалось бы 36 посетителей; наблюдаемая разница составляет 12. Это оценка, а не точное число людей, которых привело сообщение. Не сравнивайте просто 48 с 18: первая группа вдвое больше. При небольшом числе посещений случайные колебания могут существенно менять результат.
Переведите эффект в экономику предложения
Продолжим тот же условный пример. Допустим, вклад одного дополнительного посещения после обычных переменных расходов составляет 350 рублей. Тогда оценка дополнительного вклада равна 12 × 350 = 4 200 рублей. Если подарок использовали 30 гостей и затраты на каждую выдачу составили 70 рублей, вычитается ещё 2 100 рублей, а также другие дополнительные расходы запуска. Нельзя списывать подарки только на предположительно новых посетителей: награду могли получить и люди, пришедшие бы самостоятельно. Если исходный вклад уже учитывает подарок, повторно вычитать его не нужно.
Защитите тест от пересекающихся акций
Проверьте, какие ещё сообщения и предложения увидят обе группы. Если контроль одновременно получает другое сильное приглашение, вы сравниваете две маркетинговые стратегии, а не наличие и отсутствие конкретной рассылки. Это допустимая задача, но её нужно назвать заранее. Запишите общий срок наблюдения, правила отметки визита и обработку отписавшихся участников. Не продлевайте окно только для группы, где пока мало покупок. Группы лучше считать по исходному распределению: исключение недоставленных контактов задним числом может исказить оценку пользы самого процесса отправки.
Как принять решение при небольшом объёме
Разница в несколько посещений ещё не даёт уверенности, что предложение будет работать каждый месяц. Сохраните размер выборки, доли, затраты и внешние обстоятельства: выходной, погоду, концерт или закрытую кухню. Повторите заранее выбранный подход на другом сопоставимом периоде. Если посетителей мало, полезнее честно написать «данных недостаточно», чем объявлять победу по одному вечеру. Контрольную группу можно организовать отдельными списками при наличии подходящего учёта; не подразумевайте, что любой кабинет автоматически выполняет случайное распределение и статистический анализ. Ответственный должен понимать, откуда взялось каждое число.