Коротко
Введите посетителей и конверсии обоих вариантов — калькулятор покажет p-value и достигнута ли статзначимость. p < 0.05 при 95% означает: разница реальна, а не случайность.
A/B-тест без проверки значимости — гадание. Разница в 2% CR на выборке в 200 кликов почти наверняка случайна; та же разница на 20 000 кликов — статистически реальна. Калькулятор применяет двухвыборочный z-тест долей и выдаёт p-value: вероятность увидеть такую разницу при отсутствии реального эффекта.
В арбитраже типичные применения: сравнение двух лендингов, двух креативов, двух офферов на сплите. Правило простое — не останавливайте тест при первом «лидере»: досчитайте до значимости на 95% или наберите объём. p-value выше 0.05 не доказывает, что варианты равны — только что данных недостаточно.
Loza CRM считает эти метрики по вашим кампаниям автоматически — попробуйте бесплатно.
Открыть Loza CRM