ИнструментБесплатноБез регистрации

Калькулятор значимости A/B-теста

Z-тест двух конверсий: статистическая значимость разницы между вариантами A и B.

Loza CRM·Обновлено: 2 октября 2026 г.

Коротко

Введите посетителей и конверсии обоих вариантов — калькулятор покажет p-value и достигнута ли статзначимость. p < 0.05 при 95% означает: разница реальна, а не случайность.

Вариант A
Вариант B
Победил вариант B
CR A
10%
CR B
14%
Аплифт B vs A
40%
z-score
2.7524
p-value
0.0059

Как пользоваться

  1. Введите посетителей и конверсии варианта A (контроль)
  2. Введите посетителей и конверсии варианта B (тест)
  3. Выберите уровень значимости — 95% стандарт для арбитража
  4. Смотрите вердикт: значимо ли различие и кто победил

Для чего нужен

A/B-тест без проверки значимости — гадание. Разница в 2% CR на выборке в 200 кликов почти наверняка случайна; та же разница на 20 000 кликов — статистически реальна. Калькулятор применяет двухвыборочный z-тест долей и выдаёт p-value: вероятность увидеть такую разницу при отсутствии реального эффекта.

В арбитраже типичные применения: сравнение двух лендингов, двух креативов, двух офферов на сплите. Правило простое — не останавливайте тест при первом «лидере»: досчитайте до значимости на 95% или наберите объём. p-value выше 0.05 не доказывает, что варианты равны — только что данных недостаточно.

Loza CRM считает эти метрики по вашим кампаниям автоматически — попробуйте бесплатно.

Открыть Loza CRM

Частые вопросы

Что такое p-value простыми словами?
Вероятность получить наблюдаемую разницу чисто случайно. p = 0.03 значит: если варианты одинаковы, такая разница встретилась бы в 3% случаев — поэтому на уровне 95% она считается реальной.
Сколько трафика нужно для теста?
Зависит от базовой конверсии и размера эффекта. При CR 2% и разнице 20% нужны тысячи визитов на вариант; при разнице вдвое — сотни. Маленькие эффекты требуют больших выборок.
Почему «незначимо» — не значит «одинаково»?
Тест показывает только то, что данных хватает, чтобы отличить разницу от шума. Незначимый результат часто означает «наливайте ещё», а не «варианты равны».
Какой уровень значимости выбрать?
95% — стандарт. 99% для дорогих решений (полная замена лендинга). 90% допустим для быстрых прогонов, но каждая десятая «победа» будет ложной.

Другие инструменты