Калькулятор значимости A/B-теста
Введите число получателей и конверсий каждого варианта, чтобы увидеть конверсии, прирост между ними и уровень доверия по z-тесту двух долей — и понять, реален ли победитель или это шум.
6.00%
7.50%
+25.0%
Доверие: 94.1% · Впереди вариант B.
Что значит значимость здесь
Когда один вариант обходит другой, нужно понять, отражает ли разрыв реальное различие или случайность. Калькулятор выполняет z-тест двух долей: сравнивает конверсии и выдаёт уровень доверия. Обычный порог — 95%; ниже него результат легко может развернуться с новыми данными.
«Конверсией» может быть любой бинарный исход: открытие, клик, покупка. Введите число получателей (или визитов) и сколько из них сконвертировалось для каждого варианта.
- Конверсия — конверсии ÷ получатели, для каждого варианта
- Относительный прирост — насколько B опережает (или отстаёт от) A, в процентах
- Доверие — вероятность того, что разница не случайна
Как проводить надёжные тесты
- Определите объём выборки до старта — не останавливайтесь, едва стало красиво
- Тестируйте по одной переменной, чтобы знать причину изменения
- Дождитесь значимости; малые выборки в начале сильно колеблются
- Даже при 95% один из двадцати «выигрышей» — случайность; подтверждайте крупные изменения
Частые вопросы
К какому уровню доверия стремиться?
95% — стандарт для маркетинговых тестов, шанс 1 к 20, что это шум. Для важных решений дождитесь 99%.
Тест незначим — что делать?
Продолжайте собирать данные или примите, что варианты работают одинаково. Ранняя остановка в выгодный момент — самая частая ошибка A/B-тестов.
Подходит ли это для тестов открытий и кликов?
Да. Любой бинарный исход годится — введите получателей и сколько открыло, кликнуло или купило по каждому варианту.
Начните отправлять за минуты
Заведите бесплатный аккаунт, подключите домен и охватите аудиторию во всех каналах — карта не нужна.
Бесплатный тариф навсегда · Без карты · Запуск за минуты