+31 624 239 426
annelytics@outlook.com
Annelytics
  • Home
  • Blog
  • Contact
  • Home
  • Blog
  • Contact
    Home > Blog > A/B testen > Waarom een Bayesiaanse A/B-test evaluatie meer oplevert

A/B testen

11 nov

Waarom een Bayesiaanse A/B-test evaluatie meer oplevert

  • By Annemarie
  • In A/B testen
  • 0 comment

De traditionele – en meest gebruikte – methode om A/B-testen te analyseren is met de zogenaamde frequentistische t-toets. Dit is een wetenschappelijk valide methode, maar deze methode heeft twee groot nadelen: de uitkomst van een A/B-test is lastig te begrijpen zonder gedegen statistische kennis en door te adviseren om enkel significante testresultaten te implementeren laat je een hoop geld liggen! Een Bayesiaanse testevaluatie biedt uitkomst in beide gevallen.

Wat zegt een frequentistische testuitslag?

Bij een frequentistische A/B-test evaluatie vergelijk je de gemiddelden van twee onafhankelijke groepen om te zien of deze significant van elkaar verschillen. Het uitgangspunt bij dit type toets is dat er geen verschil is tussen de conversiepercentages van groep A en B (de nulhypothese). Deze hypothese probeer je te verwerpen. Je wilt namelijk aantonen dat B beter werkt dan A. Met een vooraf vastgesteld significantieniveau (vaak 90 of 95%) wordt bepaald hoe onwaarschijnlijk het gevonden verschil in de test is tussen variant A en variant B. Dit beoordeel je op basis van de zogenaamde p-waarde.

Voorbeeld frequentistische testuitslag

Stel dat Bedrijf X een A/B-test heeft uitgevoerd. Elke variant heeft 25.000 bezoekers gehad en de B variant kende een gemeten conversiestijging van +4,17%. De p-waarde van deze test is dan 0,150.

Bovenstaande grafiek laat zien wat het gemeten verschil is in conversiepercentage tussen B en A en wat voor beide variaties het 90% betrouwbaarheidsinterval is. Dit wordt aangeduid met de stippellijntjes. Als het bolletje van variant B buiten het betrouwbaarheidsinterval ligt van A dan is er een significant verschil. Op basis van een significantieniveau van 90% is de uitslag dat de B variant niet significant verschilt van de A variant (immers 0,150 is groter dan de kritieke grens van 0,1).

Advies bij deze frequentistische testuitslag

De variant neigt wel naar de positieve kant, maar het verschil is niet groot genoeg om statistisch significant aan te kunnen tonen. Het advies op basis van deze uitslag is om de variant niet te implementeren. Er is onvoldoende bewijs gevonden dat het testidee significant bijdraagt aan omzetstijging. Het A/B-test team zal daarom een nieuwe testrichting inslaan.

Wat zegt een Bayesiaanse testuitslag?

Binnen de Bayesiaanse statistiek ligt e.e.a. meer genuanceerd. Op basis van een testuitslag wordt bepaald hoe groot de kans is dat de variant beter presteert dan de huidige situatie. Een testuitslag heeft daardoor geen binaire uitslag (winnaar of geen winnaar), maar een kans van 0% tot 100%. Dit is een stuk makkelijker te communiceren dan ‘hoe onwaarschijnlijk het gevonden verschil is als je ervan uitgaat dat er geen verschil is’ (de conclusie op basis van de frequentistische t-toets).

Voorbeeld Bayesiaanse testuitslag

Als we naar dezelfde voorbeeld case kijken en er een Bayesiaanse testevaluatie op los laten dan zien we het volgende: de kans dat variant B beter presteert dan het origineel is 85,1%. Als gekeken wordt naar de grafiek ‘difference in conversion rate between B and A’, dan is af te lezen dat het verschil in conversie in 85,1% van de gevallen groter is dan 0%, met de grootste kansen tussen +1% en +6%.

Advies bij deze Bayesiaanse testuitslag

De vraag of de variant geïmplementeerd moet worden bij een kans van 85,1% leidt tot een weloverwogen risico inschatting. Weegt een risico van 14,9% op tegen een kans op omzetstijging van 85,1%? Er kan beargumenteerd worden dat elke testuitslag met een kans groter dan 50% geïmplementeerd zou moeten worden, omdat de kans groter is dat B beter is dan A. Echter, de kosten voor testen (kosten voor testprogramma en implementatie van testen) worden dan niet meegenomen in de beslissing.

Als de gemiddelde orderwaarde bekend is en de minimaal gewenste opbrengst van een test (voor een goede ROI), kan ook de kans worden berekend dat de B variant dit daadwerkelijk zal opbrengen na implementatie. In dit voorbeeld is de gemiddelde orderwaarde €75,- en de minimale opbrengst van €25.000 euro. Dit bedrag moet binnen 6 maanden worden terugverdiend na implementatie.

De kans hierop is in dit voorbeeld 77,9% (dit komt neer op een verschil in conversie van minimaal 1,08%). Deze cijfers bieden meer houvast bij het nemen van een beslissing voor het al dan niet doorvoeren van de variant. In dit geval zal de beslissing waarschijnlijk positief uitvallen om de variant te implementeren. Het testidee is weliswaar niet significant bewezen, maar deze uitslag wijst er wel op dat de testrichting de juiste was. In vervolgtesten kan verder worden geborduurd op dit idee.

Conclusie: stap over!

Door over te stappen naar een Bayesiaanse test evaluatie kunnen A/B-test conclusies en acties zonder statistisch jargon worden overgebracht. Een Bayesiaanse testevaluatie geeft een simpeler antwoord op de vraag of variant B beter is dan de huidige situatie, namelijk met een kans van 0 tot 100%. Dit is voor iedereen begrijpelijk.

Daarnaast implementeer je met een Bayesiaanse testevaluatie niet alleen de overduidelijke winnaars (waar je ook echt iets van leert), maar ook varianten die indicatief de omzet verhogen (maar waar je geen harde gedragsinzichten uit haalt). Bij elke testuitslag doe je de afweging of de verwachte kans op extra omzet opweegt tegen het risico dat je loopt. Gevolg hiervan is dat er meer varianten zullen worden doorgevoerd, wat uiteindelijk zal zorgen voor een hogere omzetgroei.

*deze blogpost verscheen eerder op Webanalisten.nl

Lees ook mijn andere blogposts

  • Excel top5 formules: #2 ALS functie Wat ALS...? Deze keer in de reeks 'Excel top5 formules': de ALS functie. Een paar weken geleden heb ik jullie het fenomeen Verticaal zoeken uitgelegd. Hierbij ben ik begonnen met het […]
  • Doelen instellen in Google Analytics Zonder doel geen optimalisatie! Google Analytics kent een aantal standaardrapporten. Dit zijn de meest belangrijke rapporten om naar te kijken om meer te weten te komen over jouw […]
  • Browse door je A/B-test resultaten Don't judge the book by it's cover... Bij KRAS.nl zijn we nu ruim 2 jaar aan het A/B-testen. Eén van de belangrijkste dingen die ik geleerd heb bij het beoordelen van een A/B-test is […]
  • De perfecte call-to-action button: to click or not to click? De mythe van de perfecte button Er is online al heel wat geschreven over buttons - wat is nu de perfecte button? Welke kleur moet hij hebben, hoe groot moet hij zijn en wat is de […]
  • Share:
Annemarie

Leave A Reply Reactie annuleren

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Categorieën

  • A/B testen
  • Blog
  • Conversie-optimalisatie
  • Excel
  • Geen categorie
  • Google Analytics

Recent Posts

Waarom een Bayesiaanse A/B-test evaluatie meer oplevert
11nov,2018
How to visualize A/B-test results
11jun,2018
Pas op voor de Simpson’s Paradox
09jan,2017

Laatste twitterberichten

Are you re-energized after lunch? My talk - how to find more wins and be more confident in your winners - starts in 20 minutes. Will I see you there? digital-elite-day-1.heysummit… #digitalelite20

Ongeveer 5 maanden geleden op Annemarie Klaassen's Twitter via Twitter Web App

@e_maile @digitaleliteday I will be sharing case studies as well tomorrow :). Will you be there? digital-elite-day-1.heysummit…

Ongeveer 5 maanden geleden op Annemarie Klaassen's Twitter via Twitter for Android

@digitaleliteday @annatlewis @SEOMalc @craigcampbell03 @tonw @MrLukeCarthy @RicRodriguez_UK @rogerdooley @SimoAhava @jimsterne @DuaneForrester @georgizgeorgiev @chippy @jonoalderson @nilskattau @bart_goralewicz @Suzzicks @lilyraynyc Sneak peak of my talk. 10 tips how to find more wins and be more confident in your winners. #ded2020 #digitaleliteday pic.twitter.com/NByO6f5rEL

Ongeveer 5 maanden geleden op Annemarie Klaassen's Twitter via Twitter for Android

@hellemans I'd love to :)

Ongeveer 5 maanden geleden op Annemarie Klaassen's Twitter via Twitter for Android

@onlinedialogue @VodafoneZiggo Thank you so much and thanks @onlinedialogue for being our partner in crime to set up this culture of experimentation. You are a big help!

Ongeveer 5 maanden geleden op Annemarie Klaassen's Twitter via Twitter for Android

Get in touch

+31 624 239 426

annelytics@outlook.com

Magnoliaerf, 5038 KP Tilburg

Social Links

  • Twitter
  • Linkedin

Wordpress Theme by ThimPress. Powered by WordPress.

  • Home
  • Contact