Определите один вопрос
Проверьте одну гипотезу: например, помогает ли новое приглашение увеличить второй визит за 30 дней. Для теста текста предложение оставьте одинаковым. Для теста предложения не меняйте одновременно канал, время и сегмент. До запуска запишите показатель, период и лимит расходов.
План проверки
- Один основной показатель
- Случайное назначение до отправки
Разделите клиентов до отправки
Сначала сформируйте общую подходящую аудиторию, затем случайно разделите её на тест и контроль. Сотрудник не должен выбирать в тест самых лояльных клиентов. Сохраните назначенную группу и анализируйте по этому назначению, даже если часть людей не открыла сообщение.
Контроль качества данных
- Равное окно наблюдения
- Расходы и исключения записаны
- Одинаковое окно наблюдения
Оставьте обычное обслуживание
Контроль получает обычное обслуживание. Не лишайте его уже обещанных преимуществ и не переносите в тест после покупки. Если параллельно идёт другая акция, отметьте её и проверьте, насколько одинаково она воздействует на группы.
Решение после теста
- Сравнить результат и расходы
- Записать ограничения вывода
- Определить следующую проверку
Сравните полное окно
Дождитесь одинакового окна наблюдения у каждого участника. В тесте и контроле используйте один способ учёта покупок. Отдельно фиксируйте расходы, возвраты и недоступность услуг. Если группы различаются по размеру, сравнивайте доли и показатели на одного участника.
Памятка перед запуском
- Один основной показатель
- Случайное назначение до отправки
- Равное окно наблюдения
- Расходы и исключения записаны