A/B-тестирование рассылок: что тестировать и как
У каждого своя теория о том, что делает письмо рабочим. A/B-тестирование решает эти споры данными, а не тем, кто громче. Сделанное грамотно, оно даёт накопительное преимущество: каждый тест учит чему-то о вашей конкретной аудитории, на чём строится следующий. Сделанное плохо — производит уверенную чепуху. Разберём, как держаться правильной стороны этой грани.
Как на самом деле работает A/B-тест
Вы создаёте два варианта, различающихся ровно одним элементом, отправляете каждый случайной сопоставимой доле базы и, накопив достаточно откликов, сравниваете выбранную метрику и объявляете победителя. Многие платформы затем автоматически рассылают победивший вариант остальным контактам.
Весь метод держится на одной дисциплине: менять по одной переменной за раз. Протестируете тему, картинку и призыв разом — и прирост ничего не скажет о том, какое изменение его вызвало.
Что тестировать, примерно по силе влияния
- Тему и текст предпросмотра — главный рычаг для процента открытий
- Формулировку, цвет и место призыва к действию — двигает клики
- Время и день отправки — под привычки вашей аудитории
- Имя отправителя — влияет на доверие и открытия сильнее, чем ждут
- Вёрстку, длину и изображения — влияют на клики и конверсии
Сначала тестируйте тему
Тема сильнее всего влияет на процент открытий и легче всего изолируется, поэтому с неё естественно начинать. Когда открытия оптимизированы, спускайтесь по воронке к призывам и контенту, которые двигают клики и конверсии.
Ставьте тест, который действительно валиден
Большинство «A/B-тестов» рушит одна и та же горстка ошибок: слишком малая выборка, несколько изменений сразу или слишком ранняя остановка. Результат на 40 получателях — это подброс монеты, наряженный в инсайт.
- Меняйте одну переменную, чтобы результат был атрибутируем
- Берите выборки, достаточные для надёжного результата
- Выбирайте метрику под цель — конверсии важнее открытий для выручки
- Дайте тесту время собрать отклики перед решением
Сделайте тестирование накопительным
Один тест — точка данных; привычка тестировать — стратегия. Фиксируйте, что победило и почему, вносите в следующий тест и стройте картину того, на что откликается именно ваша аудитория. Частые автоматические цепочки — приветствие, возврат корзины — идеальный полигон, ведь выборка накапливается со временем даже на малой базе.
Частые вопросы
Какого размера база нужна для A/B-теста?
Достаточной, чтобы каждый вариант получил значимое число откликов — иначе «победитель» это просто шум. Малые базы всё же могут тестировать частые автоцепочки, где выборка накапливается со временем.
Что тестировать первым?
Тему письма. Она сильнее всего влияет на открытия и легко изолируется. Оптимизировав открытия, переходите к призывам и контенту, влияющим на клики и конверсии.
Почему мой A/B-тест дал обманчивый результат?
Обычно слишком малая выборка, несколько изменений разом или слишком ранняя остановка. Меняйте одну переменную, берите адекватную выборку и дайте тесту дойти до конца.
Начните отправлять за минуты
Заведите бесплатный аккаунт, подключите домен и охватите аудиторию во всех каналах — карта не нужна.
Бесплатный тариф навсегда · Без карты · Запуск за минуты