Een A/B-test is een enorm goede manier om te ontdekken welke van de twee varianten van software of IT systemen het beste werkt. De varianten worden meestal “Variant A” en “Variant B” genoemd, vandaar de naam A/B-testen. Maar hoe optimaliseer je jouw A/B-Test?
Voor het A/B-testen
1. Kies een variabele dat je wilt testen.
Een A/B-test werkt het beste als er weinig verschil zit tussen variant A en variant B, op één onderdeel na. Zo weet je zeker dat als het enige verschil tussen variant A en B slechts één onderdeel is, het door dat onderdeel komt dat het beter werkt, en kun je daar op verder bouwen.
2. Stel het doel vast.
Ga je een A/B-test uitvoeren? Dan is het belangrijk om te weten wat het doel van jouw test is. Op welk gebied wil je dat de variant waarmee je door gaat, beter werkt? Variant A kan op één wijze beter werken, terwijl variant B op een ander gebied beter werkt.
3. Creëer een ‘controle’ en een ‘uitdager’.
Creëer eerst een variant waar je vertrouwen in hebt. Misschien heb je al een IT systeem of software klaarliggen. Daarna kun je deze ‘controle’ kopiëren en de tweede variant lichtelijk aanpassen. Deze tweede variant is dan de uitdager.
4. Verdeel de steekproef groepen gelijk en willekeurig.
Zorg ervoor dat als je jouw variant A en B tijdens deze A/B-test willekeurig verdeeld over de testpersonen. Als je variant A bijvoorbeeld alleen maar door vrouwe laat uittesten, en variant B enkel door mannen, kan ook het geslacht de oorzaak van verschillend resultaat zijn.
5. Bepaal wanneer van toepassing de omvang van de steekproef.
Hoe groter de omvang van jouw A/B-test, des te beter. Zo beperk je de kans op toeval. 3 mensen kunnen toevallig een slechte dag hebben. Dat heeft een grotere invloed op een testgroep van 10 personen dan op een van 100.
6. Bepaal hoe belangrijk resultaten moeten zijn.
Welke actie ga je ondernemen aan de hand van jouw resultaten? En hoe groot moet het verschil tussen Variant A en B zijn voordat je actie onderneemt? Beslis dit vooraf.
7. Voer slechts een test per campagne te gelijk uit.
Test tijdens elke A/B-test slechts één campagne tegelijk. Zo houdt je het overzicht een stuk makkelijker voor jezelf.
Tijdens het A/B-testen
8. Gebruik een A/B-test tool.
Maak het jezelf niet te moeilijk, er zijn veel A/B-Testtools die je kunt inzetten die jou meer inzicht kunnen geven in jouw A/B-test. Dat bespaart een hoop moeite en energie. Voorbeelden van A/B-Testtools zijn “Visual Website Optimizer”, “Adobe Target”, en “Optimizely”
9. Test beide varianten tegelijk.
Test zowel Variant A als Variant B tegelijkertijd uit. Anders weet je niet waarom één van de varianten beter werkt dan de ander, het kan dan namelijk ook liggen aan het weer, de dag van de week, de maand, of een andere grote gebeurtenis.
10.Geef de test voldoende tijd om bruikbare data te produceren.
Geef jouw test de tijd. Als je een test in plaats van een dag een week lang laat draaien, dan heb je al een stuk meer informatie kunnen verzamelen. Misschien dat op maandag variant A het beste aanslaat, maar de rest van de week slaat misschien Variant B beter aan. Dat weet je pas als je jouw test langer laat draaien.
11. Vraag om feedback van echte gebruikers.
Feedback die je krijgt van echte gebruikers tijdens of na jouw A/B-test is ontzettend waardevol. Misschien viel hen iets op dat zelfs de A/B-test tool niet op is gevallen.
Na het testen
12. Concentreer je op de doel statistiek.
Weet je nog waarom je de A/B-test uitvoerde? Wat was je doel? Blijf je daar op concentreren zodat je de juiste actie onderneemd aan de hand van jouw test.
13. Meet de significantie van de resultaten met een A/B-test calculator.
Met een A/B-test calculator kun je zien hoe groot de verschillen in resultaten zijn tussen Variant A en B. Een A/B-test calculator zorgt er voor dat je een stuk makkelijker het overzicht behoudt. Je kunt er een vinden op https://www.abtestcalculator.com/
14. Onderneem actie op basis van jouw resultaten.
Heb je ontdekt welke variant beter werkt? Mooi! Onderneem actie.
15. Plan altijd alvast de volgende testronde.
De nieuwe variant kun je ook weer uitdagen met een nieuwe A/B-test. Er kan altijd verbetering plaatsvinden, en met een A/B-test ontdek je hoe je jouw versie kunt verbeteren.
