Задайте одно различие
Например, сравните короткое объяснение выгоды с подробным. Не добавляйте одному варианту дополнительную скидку. Проверьте обязательные детали: что предлагается, до какого срока и как воспользоваться.
План проверки
- Одна разница между вариантами
- Одинаковое предложение
Разделите аудиторию случайно
Назначьте вариант до отправки и не меняйте его после реакции. Сохраняйте одинаковые исключения для недавних сообщений, записавшихся и отказавшихся. Контролируйте, чтобы один человек не попал в обе группы.
Контроль качества данных
- Один основной показатель
- Полное окно наблюдения
- Одинаковое окно наблюдения
Выберите показатель заранее
Открытия зависят от возможностей канала и не равны покупке. Для коммерческой гипотезы основным показателем может быть доля покупателей за фиксированное окно. Не выбирайте победителя постфактум по самому красивому из десятка показателей.
Решение после теста
- Сравнить результат и расходы
- Записать ограничения вывода
- Определить следующую проверку
Не останавливайтесь после первых откликов
Первые покупки могут быть случайным колебанием. Определите длительность заранее и дождитесь полного окна. Если база маленькая, сохраните вывод как предварительный и повторите проверку в сопоставимых условиях.
Памятка перед запуском
- Одна разница между вариантами
- Одинаковое предложение
- Один основной показатель
- Полное окно наблюдения