AB testen en Hypothesis testing zijn tools die worden gebruikt tijdens het onderzoeken van statische analyse. Een belangrijk doel van statistische analyse is om echte patronen in gegevens te vinden. Dit is moeilijk wanneer de gegevens onderhevig zijn aan willekeurige ruis, omdat willekeurige ruis “bij toeval” illusoire patronen kan produceren.
Gezien de moeilijkheid om echte patronen te scheiden van toevallige patronen in gegevens met veel ruis, is het belangrijk voor onderzoekers om alle geschikte hulpmiddelen en modellen te gebruiken om conclusies te trekken uit hun gegevens. Voorbeelden van dit soort tools zijn AB testen en Hypothesis testing.
Maar is AB testen hetzelfde als Hypothesis testing? Beide hebben namelijk overeenkomsten, maar ook verschillen. We zullen het verder uitleggen in dit artikel, dus lees snel verder!
Wat is hypothesis testing?
Gegevens moeten worden geïnterpreteerd om een toegevoegde waarde te hebben. We kunnen gegevens interpreteren door een specifieke structuur aan te nemen voor onze uitkomst en statistische methoden te gebruiken om de aanname te bevestigen of te verwerpen. Deze aanname wordt een hypothese genoemd en de statistische testen die voor dit doel worden gebruikt, wordt hypothesis testing genoemd.
Hypothesis testing is het gebruik van statistiek om de kans te bepalen dat een bepaalde hypothese waar is. Het gebruikelijke proces van hypothesetoetsing bestaat uit vier stappen:
- Formuleer de nulhypothese (waarnemingen die het resultaat zijn van puur toeval) en de alternatieve hypothese (waarnemingen die een reëel effect laten zien gecombineerd met een component van kans variatie).
- Identificeer een teststatistiek die kan worden gebruikt om de betrouwbaarheid van de nulhypothese te beoordelen.
- Bereken de P-waarde. Dit is de kans dat een teststatistiek die minstens zo significant is als de waargenomen statistiek zou worden verkregen in de veronderstelling dat de nulhypothese waar is. Hoe kleiner de P-waarde, hoe sterker het bewijs tegen de nulhypothese.
- Vergelijk de P-waarde met een acceptabele significantiewaarde alfa (ook wel alfa waarde genoemd). Als de P-waarde kleiner of gelijk is aan de alfawaarde – dus dat het waargenomen effect statistisch significant is – dan wordt de nulhypothese uitgesloten en is de alternatieve hypothese geldig.
AB testen uitgelegd
AB testen (ook wel split-testen of bucket-testen genoemd) is een methode om twee versies (van bijvoorbeeld een webpagina of app) met elkaar te vergelijken om te bepalen welke beter presteert. AB testen is in wezen een experiment waarbij statistische analyse wordt gebruikt om te bepalen welke variant beter presteert voor een bepaald doel.
Door een AB test uit te voeren die een variatie rechtstreeks vergelijkt met de huidige situatie, kunt u gerichte vragen stellen over wijzigingen aan jouw project en vervolgens gegevens verzamelen over de impact van die wijziging.
De overeenkomsten en verschillen
Op het eerste gezicht lijken AB testen en hypothesis testing op elkaar, maar als we naar de details kijken, zien we significante verschillen. AB testen is namelijk een experiment ontwerp en hypothesis testing is een statistische techniek om conclusies te trekken uit gegevens. Het onderscheid zit dus tussen hoe de gegevens worden verzameld en hoe de resultaten worden geanalyseerd.
Bij AB testen creëer je twee groepen gebruikers. De ene groep zal dienen als controle, de andere is de behandelgroep. We wijzen de gebruikers willekeurig toe aan een van de twee groepen. Dit wordt ook wel een enkelblind onderzoeksdesign genoemd.
Het testen van hypothesen is wat er gebeurt als we een uitkomstvariabele tussen deze twee groepen uit dit experiment willen vergelijken. We hebben een nul of geen verschil tussen de twee groepen en we willen zien of er daadwerkelijk een verschil is.
