Semnificatia statistica (statistical significance) in contextul CRO este masura increderii ca diferenta de performanta observata intre doua variante testate (de exemplu, varianta A versus varianta B) este reala si nu rezultatul intamplarii sau al variatiei naturale a datelor.
Nivelul standard de incredere folosit in testare este, de obicei, de 95%, insemnand ca exista doar o probabilitate de 5% ca rezultatul observat sa fie unul intamplator – a declara un castigator inainte de a atinge acest nivel de semnificatie este o eroare comuna care duce la decizii bazate pe date insuficiente.
De ce este important
Oprirea prematura a unui test A/B pe baza unor rezultate incipiente care par promitatoare, dar nu au atins semnificatie statistica, este una dintre cele mai frecvente surse de decizii CRO gresite, care pot duce la implementarea unor schimbari fara beneficiu real.