Een belangrijk aspect van conversie optimalisatie testen is besluiten welk type experiment je zult gaan draaien. Dit komt in de meeste gevallen neer op een keuze uit twee verschillende opties, A/B testen of Multivariate testen (MVT).
A/B
A/B testen is het meest populaire type conversie optimalisatie experiment. Niet geheel ontoevallig is dit ook de minst complexe vorm van een experiment die je kunt draaien op je website of app.
Hoe werkt het?
Met A/B testen vergelijk je twee (of meer) verschillende variaties van een website of app tegen elkaar. Door gebruik te maken van software als Optimizely of VWO verdeel jouw verkeer in gelijke groepen per variatie. De helft van het verkeer zal variatie A van je website te zien krijgen en de andere helft ziet variatie B. De testsoftware zal dan de acties van bezoekers in elk van de variaties bijhouden (zoals het inschrijven voor je nieuwsbrief of het doen van een aankoop). Nadat het experiment is afgerond kun je vervolgens de resultaten analyseren om te besluiten welke variatie het beste heeft gepresteerd. In samenwerking met de IT afdeling kan de winnaar vervolgens aan alle bezoekers van de website getoond worden.
Soms gericht op verbeteren, zonder te leren
Als je iets wilt leren van een A/B experiment, kun je slechts één factor per test veranderen. Bijvoorbeeld, je kunt alleen een koptekst aanpassen en niet ook diens formaat; alleen de kleur van een CTA knop wijzigen en niet direct ook de tekst die erop staat, etc. Wanneer je namelijk meerdere wijzigingen tegelijk wilt doorvoeren zul je achteraf niet in staat zijn om eventuele winsten of verliezen aan specifieke wijzigingen in de variatie toe te schrijven.
A/B/n testen
De meeste mensen die denken over A/B testen nemen aan dat er slechts twee variaties in een experiment kunnen zijn. Hoewel ik moet toegeven dat de naam hierin extreem misleidend is, is er geen reden waarom er niet meer dan twee variaties in A/B test kunnen zijn. Zolang je maar een enkele factor per pagina wijzigt stelt A/B/n testen je in staat om zoveel variaties toe te voegen aan een experiment als je wilt. Houdt echter wel in gedachten dat hoe meer variaties je aanmaakt, hoe langer het experiment zal moeten draaien om de vereiste niveaus van statistische significantie en power te behalen.
A/A testen
Indien je wilt nakijken of je A/B test tool naar behoren functioneert zou je een zogenaamde A/A test kunnen draaien. Met een A/A test draai je twee identieke versies van je website of applicatie tegen elkaar. Omdat de variaties identiek zijn zul je met genoeg tijd en voldoende conversies (waarbij je dient op te passen voor repeated significance testing) zien dat de variaties identiek presteren. Wanneer de variaties niet identiek presteren nadat voldoende tijd voorbij is gegaan kan het verstandig zijn om contact op te nemen met de test tool leverancier en hen om uitleg vragen.
MVT
De afkorting MVT verwijst naar Multi Variate Test. Multivariate testen zijn de meer complexe broer van A/B testen, en worden vaak gebruikt door meer gevorderde conversiespecialisten.
Hoe werkt het?
Met multivariate testen vergelijk je twee (of meer) verschillende variaties van een website of app tegen elkaar. Wat hierbij opvalt is dat dit exact dezelfde uitleg is als gebruikt werd bij het beschrijven van A/B testen. Het verschil bij multivariate testen is echter dat je ook meerdere factoren op een pagina tegelijk kunt vergelijken. Bijvoorbeeld kun je zowel de lengte (lang of kort) als de plaatsing (links of rechts) van een beschrijvende tekst testen. De testsoftware zal deze input gebruiken om vier variaties voor je aan te maken, namelijk:
- lang x links
- lang x rechts
- kort x links
- kort x rechts
Vaak gericht op verbeteren en leren tegelijk
Met multivariate testen zul je in staat zijn op individuele factoren die het verschil in gedrag bij bezoekers hebben veroorzaakt aan te wijzen. De testsoftware zal het mogelijk maken om te kijken of het de langere tekst was, de plaatsing aan de rechterzijde, of mogelijk een interactie effect van zowel het overstappen naar een langere tekst als het plaatsen aan de rechterzijde. Met dit voordeel komt echter ook het serieuze nadeel dat je meer varianten per experiment zult hebben. Dit zorgt er vervolgens voor dat je een veel grotere hoeveelheid verkeer door een experiment dient draaien om de vereiste niveaus van statistische significantie en power te behalen voor elk van je variaties.
Engelse vertaling: A/B or MVT: When to Choose Which Type of Test?
Hij is de oprichter van ConversionReview. Hij bouwt en optimaliseert inmiddels al 15+ jaar websites, en met veel succes.
Bovenop zijn digitale vaardigheden is Theo tevens een afgestudeerd psycholoog, en frequent spreker op evenementen over de hele wereld.