A/B-testen met AI: van hypothese naar verantwoord besluit

AI kan je helpen een A/B-test voor te bereiden en de uitkomsten te onderzoeken. Of een aanpassing werkelijk beter werkt, hangt af van je testopzet, metingen en besluitregels. Begin daarom bij de bedrijfsuitkomst die je wilt verbeteren. Gebruik daarna het werkblad hieronder om te bepalen wat je kunt testen, hoeveel informatie je nodig hebt en wanneer invoeren verantwoord is.

Wat AI doet en wat je testontwerp moet regelen

Bij A/B-testen met AI zijn twee keuzes belangrijk: waarvoor gebruik je AI en met welk experiment beoordeel je een verandering? AI kan mogelijke verklaringen voor afhaken ordenen, tekstvarianten voorstellen en een analyserapport helpen schrijven. Het experimentele ontwerp bepaalt wie welke variant ziet, welke gegevens meetellen en hoe je daarover een besluit neemt.

Een bruikbare hypothese verbindt een waargenomen probleem aan een toetsbare verandering. Bijvoorbeeld: bezoekers begrijpen niet welke informatie nodig is voor een aanvraag. Een korte toelichting bij de knop kan die onduidelijkheid verminderen. Je verwacht daardoor meer geschikte aanvragen per toegewezen bezoeker. Dat is specifieker dan de opdracht om een overtuigendere knop te schrijven.

Laat AI verschillende verklaringen formuleren, maar leg er je eigen informatie naast. Een bezoeker kan afhaken door onduidelijke tekst, een technisch probleem of omdat je aanbod niet past. Een taalmodel weet niet welke verklaring op jouw website klopt. Het kan ook geen ontbrekende klantinformatie aanvullen met betrouwbare aannames.

AI kan bij elk ontwerp ondersteuning bieden. Het label AI zegt echter niets over de statistische geldigheid. Vraag een specialist dus niet alleen hoe varianten worden gemaakt, maar ook welk ontwerp wordt gebruikt en waarom dat bij jouw vraag past.

Onderzoek eerst waar bezoekers vastlopen

Controleer vóór het schrijven van varianten of het probleem goed is afgebakend. Werkt het formulier op mobiel? Worden aanvragen dubbel geregistreerd? Komt het gemeten verkeer terecht op de bedoelde pagina? Als een verzendknop soms niet werkt, is herstel de eerste stap. Een tekstexperiment maakt een defect formulier niet bruikbaar.

Bekijk vervolgens de route naar de pagina. Iemand die zoekt naar informatie heeft een andere behoefte dan iemand die al een leverancier vergelijkt. Met zoekwoordenonderzoek kun je die zoekvragen onderzoeken. Gebruik dat om hypotheses te formuleren, zonder zoekgedrag gelijk te stellen aan bewijs voor een conversieverbetering.

Zijn de cijfers onbetrouwbaar door technische fouten, laat dan de registratie en pagina controleren. Onderzoek naar technische SEO kan andere technische websiteproblemen aan het licht brengen, maar vervangt geen controle van je experimentmeting. Leg apart vast welke gebeurtenissen je meet en of die overeenkomen met echte aanvragen.

Kies daarna één concrete onzekerheid. Bijvoorbeeld: begrijpen bezoekers onvoldoende wat er na het formulier gebeurt? Die vraag geeft richting aan een variant en voorkomt dat je tegelijkertijd de knop, het aanbod, de prijsweergave en het formulier verandert.

Kies een bedrijfsuitkomst en grenzen voor schade

Je primaire uitkomst is de maatstaf waarop je de hoofdvraag beoordeelt. Voor een aanvraagpagina kan dat het aandeel toegewezen bezoekers zijn dat binnen een vastgelegde termijn een geschikte aanvraag indient. Beschrijf dan ook wat geschikt betekent. Denk aan een aanvraag voor een aangeboden dienst, met voldoende informatie om inhoudelijk te reageren.

De definitie van leadkwaliteit moet voor beide varianten gelijk zijn. Als medewerkers aanvragen achteraf beoordelen, laat hen waar mogelijk werken zonder te weten welke variant de aanvrager zag. Anders kan hun verwachting de beoordeling beïnvloeden.

Gebruik daarnaast een bewakingsmetric: een maatstaf die ongewenste gevolgen zichtbaar maakt. Denk aan formulierfouten, klachten over onduidelijke verwachtingen of extra behandeltijd per aanvraag. Voor een webshop kunnen omzet per toegewezen gebruiker en retouren relevant zijn. Houd rekening met de tijd voordat zulke gegevens compleet zijn.

Stel dat een opvallendere knop meer klikken krijgt. Bezoekers ontdekken daarna dat ze een uitgebreid formulier moeten invullen en haken af. Of ze versturen sneller iets, terwijl meer aanvragen buiten je aanbod vallen. Meer klikken is dan een aanwijzing over gedrag, maar onvoldoende reden om de variant uit te rollen.

Leg daarom vooraf vast welke verbetering zakelijk de moeite waard is en welke verslechtering je niet accepteert. Een stijging van de primaire uitkomst kan alsnog onwenselijk zijn als de uitvoering veel extra werk vraagt. Koppel die afweging aan je eigen capaciteit en bedrijfsmodel.

Vul het planningswerkblad in met je analist

Dit statische werkblad helpt je beoordelen of een test haalbaar is. Neem de velden over in een document en vul eerst de bedrijfskeuzes in. Laat een verantwoordelijke analist daarna de steekproef en analysemethode bepalen. Het blad rekent niet automatisch: het maakt zichtbaar welke aannames achter een planning zitten.

Met dit werkblad kun je drie vragen beantwoorden: past de benodigde informatie binnen je beschikbare verkeer, is het gewenste effect zakelijk relevant en kun je de uitkomst betrouwbaar meten? Als één antwoord ontbreekt, moet eerst het plan worden aangescherpt.

Fictieve berekening: van 3,0% naar 3,6%

Neem een volledig fictieve aanvraagpagina met een binaire uitkomst: een onafhankelijke eenheid levert wel of geen geschikte aanvraag op. De uitgangsconversie is 3,0%. Je wilt de test plannen voor een doel van 3,6%. Het verschil is 0,6 procentpunt, ofwel 20% relatief: 0,6 gedeeld door 3,0.

Voor deze berekening gebruiken we alfa 0,05, statistische power 0,80, een tweezijdige toets en een vaste verkeersverdeling van 50/50. De eenheden zijn onafhankelijk. Het betreft een benaderende planning met een arcsine-effect en een normalebenadering voor twee onafhankelijke groepen.

Het gestandaardiseerde arcsine-effect is h = 2 × [arcsin(√0,036) − arcsin(√0,030)]. Met de genoemde instellingen leidt deze planningsmethode, na naar boven afronden, tot 13.887 eenheden per arm en 27.774 in totaal. De documentatie van NormalIndPower beschrijft de invoer voor zo’n powerberekening met twee onafhankelijke groepen.

Die 24 dagen zijn een rekenkundige afronding, geen universele looptijd. Bedrijfscycli, ontbrekende gegevens, wisselend verkeer en het wachten op complete uitkomsten kunnen de planning veranderen. Meerdere bezoeken van dezelfde persoon zijn bovendien niet vanzelf meerdere onafhankelijke eenheden.

Power van 0,80 betekent hier een detectiekans van ongeveer 80% bij het gespecificeerde alternatief en de gebruikte aannames. Alfa 0,05 beschrijft het gekozen risico op een fout-positieve verwerping onder de nulhypothese. Geen van beide vertelt je hoe waarschijnlijk het is dat een specifieke winnaar echt beter is.

Dit voorbeeld toont geen geobserveerd resultaat en geen AI-versnelling. Gebruik de aantallen ook niet ongewijzigd voor adaptieve toewijzing, meerdere varianten of een andere randomisatie-eenheid. Daarvoor moet de analist een passend nieuw plan maken.

Bescherm de test met randomisatie en stopregels

Randomisatie verdeelt geschikte eenheden willekeurig over de varianten. Zorg dat een terugkerende deelnemer volgens het gekozen ontwerp dezelfde behandeling blijft krijgen. Controleer ook of de geregistreerde verdeling past bij de ingestelde verdeling. Een onverwacht verschil kan wijzen op een fout in toewijzing, laden of registratie.

Maak onderscheid tussen een veiligheidscontrole en een toets op winst. Je wilt tijdens een test kunnen zien of een formulier kapot is of aanvragen verdwijnen. Dat betekent niet dat je iedere dag een gewone p-waarde kunt bekijken en bij de eerste gunstige stand een winnaar mag aanwijzen.

Herhaald toetsen met een methode die voor één eindanalyse bedoeld is, kan de kans op een fout-positieve conclusie verhogen. Kies daarom vooraf een stopregel en een bijpassende analysemethode. Methoden voor doorlopend geldige beoordeling bestaan, maar vragen eigen aannames en uitvoering. Onderzoek naar anytime-valid confidence sequences beschrijft zo’n specifieke aanpak; een AI-label is daarvoor geen vervanging.

Leg ook vast wat je doet bij schade, een meetfout of een wijziging aan de website. Soms is pauzeren nodig. Soms moet het experiment opnieuw worden gestart. Noteer de reden en laat de analist bepalen welke gegevens nog bruikbaar zijn.

Gebruik segmenten om vragen te onderzoeken

Segmenten kunnen helpen een gemiddeld effect te begrijpen. Misschien verschilt de uitkomst tussen nieuwe en terugkerende bezoekers. Kies belangrijke segmenten liefst vooraf en leg vast hoe je rekening houdt met meerdere vergelijkingen.

Een segment dat door de behandeling ontstaat, vraagt extra voorzichtigheid. Alleen mensen vergelijken die op de nieuwe knop hebben geklikt, doorbreekt de oorspronkelijke willekeurige vergelijking: de variant kan juist bepalen wie klikt. Dat is iets anders dan een vooraf bekend kenmerk gebruiken.

Laat AI gerust opvallende patronen aanwijzen. Behandel onverwachte patronen als onderzoeksvragen, tenzij je analyseplan een geldige bevestigende beoordeling ondersteunt. Een onbesliste uitkomst is toegestaan. Je hoeft geen winnaar te vinden om vast te stellen dat je huidige gegevens onvoldoende onderscheid maken.

Beoordeel varianten en leg terugdraaien vooraf vast

Laat AI concepten maken binnen duidelijke inhoudskaders. Geef aan welke diensten je aanbiedt, welke toezeggingen je kunt waarmaken en welke woorden bij je merk passen. Verbied verzonnen garanties, klantbewijzen en voordelen. Een variant mag niet beter lijken doordat die een verwachting schept die je bedrijf niet kan nakomen.

Verdeel de controle over herkenbare rollen. De ondernemer beoordeelt aanbod en merkcontrole. Een inhoudelijk verantwoordelijke controleert juistheid. De uitvoerder controleert werking en meetpunten. De analist beoordeelt of de varianten en uitkomsten nog aansluiten op het onderzoeksplan. Eén persoon kan meerdere rollen vervullen, zolang duidelijk blijft wie akkoord geeft.

Houd een variantenregister bij met de exacte tekst, de hypothese, het goedgekeurde meetplan en de verantwoordelijke. Gebruik daarnaast een wijzigingslog voor publicaties, pauzes en technische aanpassingen. Als de tekst halverwege verandert, moet je dat kunnen terugvinden.

• Bewaar de oorspronkelijke versie en de goedgekeurde variant.
• Noteer wanneer een variant actief wordt en welke doelgroep kan deelnemen.
• Beschrijf welke fout of schade aanleiding geeft tot pauzeren.
• Wijs iemand aan die de wijziging kan terugdraaien.
• Controleer na terugdraaien zowel de pagina als de registratie.

De reviewfrequentie volgt uit wijzigingen en risico. Een nieuwe formulierkoppeling vraagt andere controles dan een vaste tekstvariant. Controleer bij activering, na relevante wijzigingen en bij signalen van problemen. Een vaste maandelijkse controle is geen algemene norm voor ieder experiment.

Wil je breder bepalen waar AI binnen je marketing past, dan helpt de afbakening tussen AI en SEO. Houd ook daar menselijke inhoudscontrole en toetsbare uitkomsten gescheiden van automatisch gegenereerde voorstellen.

Kies bij weinig verkeer een haalbare onderzoeksvraag

Een kleine website kan voldoende informatie verzamelen als de uitkomst vaak genoeg voorkomt, het relevante effect groot genoeg is en de omstandigheden lang genoeg vergelijkbaar blijven. Het totale verkeersvolume zegt dus niet alles. De testhaalbaarheid hangt ook af van deelnamecriteria, uitgangsconversie, gewenste precisie en beschikbare looptijd.

Als het geplande effect met je verkeer nauwelijks te beoordelen is, maak het onderzoek smaller. Kies bijvoorbeeld één drukbezochte pagina met een duidelijke taak. Wissel niet alleen naar knopklikken omdat die vaker voorkomen: zo’n maatstaf kan een bruikbare tussenstap zijn, maar beantwoordt een andere vraag dan geschikte aanvragen.

Kwalitatief onderzoek kan je helpen een betere variant te ontwerpen voordat je schaarse bezoekers over een experiment verdeelt. Het levert een ander soort informatie op dan een gerandomiseerde vergelijking. Laat de verantwoordelijke voor gegevensverzameling ook controleren of de gekozen registratie-inrichting passend is.

Maak van een bevinding een nieuwe kanaaltest

Een uitkomst op je website is een vertrekpunt voor onderzoek in andere kanalen. Stel dat een toelichting over het vervolg na aanvragen gunstig uitvalt op een landingspagina. Je vervolghypothese kan zijn dat dezelfde duidelijkheid in een e-mail meer geschikte aanvragen oplevert.

Beschrijf eerst de kanaalcontext en het doelgroepverschil. Een e-mailontvanger kent je mogelijk al. Iemand die een advertentie ziet, heeft misschien nog geen concrete behoefte. Een websitebezoeker uit een specifieke zoekopdracht kan juist actief aan het vergelijken zijn. Ook de beschikbare ruimte en het moment waarop iemand de boodschap ziet, verschillen.

Ontwerp daarom een vervolgtest met een nieuwe controlegroep. Vergelijk bijvoorbeeld de bestaande e-mail met een e-mail die uitlegt wat er na de aanvraag gebeurt. Verdeel geschikte ontvangers willekeurig, houd de overige inhoud gelijk en meet geschikte aanvragen binnen dezelfde termijn. Bereken voor dit publiek opnieuw wat een haalbare steekproef is.

Pas bij advertenties dezelfde redenering toe: meer klikken bewijzen nog geen betere aanvragen. Voor een landingspagina moet de boodschap bovendien aansluiten op de belofte vóór de klik. Leg zulke keuzes vast in je SEO-strategie wanneer ze betrekking hebben op organisch zoekverkeer. Een conversietest toont op zichzelf geen verbetering van Google-posities aan.

Fictief testdossier voor een aanvraagpagina

Het volgende testdossier is volledig fictief. Het laat zien hoe je een besluit onderbouwt zonder van een klikstijging een succesclaim te maken. De aantallen hieronder zijn uitsluitend illustratieve observaties; het zijn geen klantresultaten van Niblah.

Aanleiding: bezoekers klikken op de aanvraagknop, maar het is onduidelijk of zij weten welke informatie daarna nodig is. De ondernemer wil meer geschikte aanvragen ontvangen zonder extra onbruikbare inzendingen te verwerken.

Varianten: versie A blijft zoals die is. Versie B krijgt één toelichting naast de knop: welke projectinformatie gevraagd wordt en wat de vervolgstap inhoudt. Het formulier en het aanbod blijven gelijk. AI stelt formuleringen voor; de ondernemer keurt alleen een feitelijk juiste versie goed.

Meetplan: de primaire uitkomst is minimaal één geschikte aanvraag per toegewezen eenheid binnen de afgesproken uitkomsttermijn. Het team beoordeelt geschiktheid volgens vaste criteria. Klikken zijn een diagnostische maatstaf. Formulierfouten en behandeltijd dienen als bewakingsmetrics.

Uitvoering: de analist gebruikt voor deze illustratie het vaste plan uit het werkblad, met 13.887 onafhankelijke eenheden per arm. De uitvoerder controleert toewijzing en registratie. De ondernemer bepaalt vooraf welke extra behandeltijd nog aanvaardbaar is.

Versie B telt 220 extra klikkende eenheden, een relatieve toename van 20%. Voor geschikte aanvragen is het verschil veel kleiner: ongeveer 3,003% tegenover 3,096%. Dat is circa 0,094 procentpunt, ruim onder het geplande relevante effect van 0,6 procentpunt.

Een eenvoudige normale benadering geeft voor het verschil in geschikte aanvragen een indicatieve 95%-onzekerheidsmarge van ongeveer −0,31 tot +0,50 procentpunt. Dat interval omvat zowel een verslechtering als een verbetering. De analist moet controleren of deze berekening past bij het vastgelegde ontwerp en of de gegevens compleet en geldig zijn.

Interpretatie: de extra klikken zijn geen voldoende onderbouwing voor invoeren. De hoofdmaatstaf laat geen overtuigende verbetering zien. Evenmin bewijst dit dat beide varianten exact gelijk werken. De conclusie blijft beperkt tot wat deze vergelijking en de onzekerheidsmarge ondersteunen.

Vervolgbesluit: behoud voorlopig versie A. Onderzoek met taakobservaties wat bezoekers na de klik verwachten en waar zij vastlopen. Ontwerp alleen een nieuwe variant als daar een concrete aanleiding uit volgt. Die variant krijgt een eigen hypothese en meetplan.

Rolverdeling: de ondernemer beslist over zakelijke relevantie, de analist over de geldigheid van de analyse en de uitvoerder over correcte activering. AI mag tellingen helpen samenvatten en alternatieve verklaringen opsommen. De verantwoordelijke controleert iedere berekening en conclusie voordat die in het dossier komt.

Gebruik drie mogelijke eindbesluiten

Sluit je dossier af met een besluit dat terug te voeren is op vooraf gekozen criteria. Onderstaande matrix voorkomt dat ieder experiment automatisch eindigt met invoeren of afwijzen.

Voeg aan het besluit de datum, de verantwoordelijke, de onzekerheidsmarge en eventuele beperkingen toe. Noteer ook wat je niet hebt onderzocht. Een effect op geschikte aanvragen vertelt bijvoorbeeld nog niet wat de uiteindelijke omzet wordt als die pas maanden later ontstaat.

Neem deze besluiten op in je rapportage over SEO en websiteprestaties, maar onderscheid testuitkomsten van gewone veranderingen in verkeer. Zo blijft zichtbaar welke conclusies uit een experiment komen en welke nog nader onderzoek vragen.

Veelgestelde vragen over A/B-testen met AI

Wat is het verschil tussen A/B-testen met AI en een gewone A/B-test?

AI kan helpen met hypotheses, varianten en analyse. De betrouwbaarheid komt uit het experimentele ontwerp, de meting en de besluitregel. Een vaste A/B-test kan dus AI gebruiken zonder dat de statistische methode verandert. AI verklaart niet automatisch waarom een verschil ontstaat.

Is A/B-testen met AI geschikt voor een kleine website?

Dat hangt af van het beschikbare verkeer, de uitgangsconversie, het minimaal relevante effect en de meetperiode. Laat eerst de testhaalbaarheid berekenen. Bij te weinig informatie kunnen interviews, taakobservaties of een beperkter experiment nuttiger zijn, maar die leveren niet dezelfde zekerheid over een conversie-effect.

Kan ik een winnende boodschap ook in e-mail of advertenties gebruiken?

Gebruik de bevinding als aanleiding voor een nieuwe hypothese. Publiek, verwachtingen en kanaalcontext kunnen verschillen. Test de aangepaste boodschap daarom met een nieuwe controlegroep en een passende bedrijfsuitkomst voordat je de eerdere winst ook voor dat kanaal aanneemt.

Welke menselijke controle blijft nodig bij AI-varianten?

Een verantwoordelijke controleert inhoud, merk en beloften vóór publicatie. De uitvoerder controleert werking en registratie; de analist controleert ontwerp en conclusies. Leg versies en wijzigingen vast en spreek af wie bij fouten kan pauzeren of terugdraaien.

Leg je aanvraagpagina en testvraag voor

Wil je bepalen of een experiment voor jouw WordPress-website of Shopify-webshop zinvol is? Niblah biedt webdesign, WordPress, Shopify en SEO. Stuur via het contactformulier de URL van je pagina, de gewenste bedrijfsuitkomst, je huidige conversiedefinitie en het beschikbare verkeersvolume over een herkenbare periode.

Voeg toe welke verandering je overweegt, waarover je twijfelt en wie de aanvragen of bestellingen beoordeelt. Heb je het werkblad al ingevuld, neem dan de aannames en ontbrekende gegevens op in je bericht. Vraag specifiek om te beoordelen of eerst de meting, de pagina of het onderzoeksplan aandacht nodig heeft.