Browse door je A/B-test resultaten

Don’t judge the book by it’s cover…

boek

Bij KRAS.nl zijn we nu ruim 2 jaar aan het A/B-testen. Eén van de belangrijkste dingen die ik geleerd heb bij het beoordelen van een A/B-test is het segmenteren van de testdata. Zo kan het lijken dat een variant geen verschil vertoont met de default, maar voor bepaalde groepen kan er onder water wel een positief dan wel negatief verschil zijn. Beoordeel een A/B-test dus niet (alleen) op de totale conversie, maar ga de diepte in.

… Read it!

Om dit punt duidelijk te maken, zal ik een voorbeeld geven met een A/B-test die we bij KRAS.nl hebben uitgevoerd. Een belangrijke pagina op de site van KRAS is de reisdetailpagina. Op deze pagina staat alle informatie die de klant nodig heeft voor het boeken van zijn of haar reis: de data en prijzen, de accommodatie van de reis, vluchtschema, reistips, plaatsinformatie etcetera.

Dit was de oorspronkelijke reisdetailpagina:

reisdetailpagina - default

De grootste bedenkingen die we hadden bij de header van deze pagina waren:

  • De header is heel rood en schreeuwerig – en krijgt daardoor meer aandacht dan de belangrijke content onder de tabbladen;
  • Wit op rood is moeilijk leesbaar;
  • Niet alle belangrijke informatie staat bij elkaar – de reisfoto en zoovercijfer staan alleen op het geopende tabblad ‘Data’;
  • De tabbladen vallen niet genoeg op – nodigen niet genoeg uit om op te klikken.

Na 2 A/B-testen met in totaal 13 varianten, was dit de uiteindelijke winnaar met een conversiestijging van 7,3%reisdetailpagina - winnaar

De belangrijkste veranderingen zijn:

  • Een grote foto van de reis die centraal staat;
  • Rustiger qua kleurstelling;
  • Alle belangrijke informatie staat centraal in het witte kader;
  • De tabbladen zijn beter gedefinieerd en vallen meer op door de visuele cue.

Dit lijkt dus een no-brainer: live zetten die handel! Maar wacht..

Segmenteer

Bij alle A/B-test analyses moet je ook kijken naar belangrijke segmenten, zoals eventuele verschillen tussen nieuwe en terugkerende bezoekers. Maar ook of men op de pagina is geland of erheen is genavigeerd. Maar ook per browser!

Door de explosieve groei van het gebruik van de iPad en andere tablets (1/5e van het totale bezoek inmiddels), is het ook zaak om hier goed naar te kijken. Bij deze A/B-test was hier een groot verschil te ontdekken:

conversie per browser

Alle bezoekers via Internet Explorer, Firefox of Chrome converteerden 9,1% beter, maar bezoekers via de iPad (Safari) converteerden bijna 11% slechter!

That makes you wonder

Wat heeft dit verschil veroorzaakt? Het grootste verschil tussen een desktop en een tablet is de schermgrootte. Wat bleek – dit was het beeld dat bezoekers hadden als ze een tablet gebruikten via landscape (liggend): De tabbladen vallen buiten het beeld!

boven de vouw tablet

Terug naar de tekentafel

De vraag was wat we aan gingen passen om de tabbladen weer boven de vouw te krijgen. Omdat in de header van de reisdetailpagina nu al een grote foto staat, ontstond de hypothese dat de sfeerbanner bovenin beeld wellicht overbodig is nu en dat deze zelfs misschien wel afleidt. Door deze header smaller te maken komen de tabbladen altijd meteen in beeld:

aanpassing boven de vouw tablet

Dit bleek een schot in de roos. Voor desktop bezoekers steeg het conversiepercentage met 12% en voor tablet bezoekers 18,4%!

Kortom, kijk verder dan je conversie-neus lang is en duik altijd eerst dieper in je testresultaten voordat je een conclusie trekt!

Lees ook mijn andere blogposts

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *