Website kennis Terug naar blog

A/B-testen met AI: van hypothese naar verantwoord besluit

AI kan je helpen een A/B-test voor te bereiden en de uitkomsten te onderzoeken. Of een aanpassing werkelijk beter werkt, hangt af van je testopzet, metingen en besluitregels. Begin daarom bij de bedrijfsuitkomst die je wilt verbeteren. Gebruik daarna het werkblad hieronder om te bepalen wat je kunt testen, hoeveel informatie je nodig hebt en wanneer invoeren verantwoord is.

AlbinNiblah 08 Oct 2026 27 min lezen

AI kan je helpen een A/B-test voor te bereiden en de uitkomsten te onderzoeken. Of een aanpassing werkelijk beter werkt, hangt af van je testopzet, metingen en besluitregels. Begin daarom bij de bedrijfsuitkomst die je wilt verbeteren. Gebruik daarna het werkblad hieronder om te bepalen wat je kunt testen, hoeveel informatie je nodig hebt en wanneer invoeren verantwoord is.

Wat AI doet en wat je testontwerp moet regelen

Bij A/B-testen met AI zijn twee keuzes belangrijk: waarvoor gebruik je AI en met welk experiment beoordeel je een verandering? AI kan mogelijke verklaringen voor afhaken ordenen, tekstvarianten voorstellen en een analyserapport helpen schrijven. Het experimentele ontwerp bepaalt wie welke variant ziet, welke gegevens meetellen en hoe je daarover een besluit neemt.

Een bruikbare hypothese verbindt een waargenomen probleem aan een toetsbare verandering. Bijvoorbeeld: bezoekers begrijpen niet welke informatie nodig is voor een aanvraag. Een korte toelichting bij de knop kan die onduidelijkheid verminderen. Je verwacht daardoor meer geschikte aanvragen per toegewezen bezoeker. Dat is specifieker dan de opdracht om een overtuigendere knop te schrijven.

Laat AI verschillende verklaringen formuleren, maar leg er je eigen informatie naast. Een bezoeker kan afhaken door onduidelijke tekst, een technisch probleem of omdat je aanbod niet past. Een taalmodel weet niet welke verklaring op jouw website klopt. Het kan ook geen ontbrekende klantinformatie aanvullen met betrouwbare aannames.

Ontwerp Benodigde gegevens Uitlegbaarheid Besluitregel
Vaste A/B-test Willekeurig toegewezen onafhankelijke eenheden, twee vastgelegde varianten en dezelfde uitkomstmeting. Een vergelijking tussen twee versies. Het verschil verklaart niet vanzelf het achterliggende gedrag. Vooraf gekozen analyse, steekproef, meetperiode en grenzen voor invoeren.
Multivariate test Gegevens over combinaties van wijzigingen, met voldoende informatie voor de effecten en interacties die je wilt onderzoeken. Kan onderdelen en combinaties vergelijken, maar wordt lastiger te beoordelen bij veel combinaties. Een plan voor de gekozen vergelijkingen en correcties voor meervoudig toetsen.
Adaptieve toewijzing Uitkomsten, toewijzingskansen en veranderingen in de verkeersverdeling door de tijd. Vraagt uitleg over het algoritme en de gevolgen van veranderende toewijzing. Een methode die past bij adaptieve gegevensverzameling en het vooraf gekozen beslisdoel.

AI kan bij elk ontwerp ondersteuning bieden. Het label AI zegt echter niets over de statistische geldigheid. Vraag een specialist dus niet alleen hoe varianten worden gemaakt, maar ook welk ontwerp wordt gebruikt en waarom dat bij jouw vraag past.

Onderzoek eerst waar bezoekers vastlopen

Controleer vóór het schrijven van varianten of het probleem goed is afgebakend. Werkt het formulier op mobiel? Worden aanvragen dubbel geregistreerd? Komt het gemeten verkeer terecht op de bedoelde pagina? Als een verzendknop soms niet werkt, is herstel de eerste stap. Een tekstexperiment maakt een defect formulier niet bruikbaar.

Bekijk vervolgens de route naar de pagina. Iemand die zoekt naar informatie heeft een andere behoefte dan iemand die al een leverancier vergelijkt. Met zoekwoordenonderzoek kun je die zoekvragen onderzoeken. Gebruik dat om hypotheses te formuleren, zonder zoekgedrag gelijk te stellen aan bewijs voor een conversieverbetering.

Zijn de cijfers onbetrouwbaar door technische fouten, laat dan de registratie en pagina controleren. Onderzoek naar technische SEO kan andere technische websiteproblemen aan het licht brengen, maar vervangt geen controle van je experimentmeting. Leg apart vast welke gebeurtenissen je meet en of die overeenkomen met echte aanvragen.

Kies daarna één concrete onzekerheid. Bijvoorbeeld: begrijpen bezoekers onvoldoende wat er na het formulier gebeurt? Die vraag geeft richting aan een variant en voorkomt dat je tegelijkertijd de knop, het aanbod, de prijsweergave en het formulier verandert.

Kies een bedrijfsuitkomst en grenzen voor schade

Je primaire uitkomst is de maatstaf waarop je de hoofdvraag beoordeelt. Voor een aanvraagpagina kan dat het aandeel toegewezen bezoekers zijn dat binnen een vastgelegde termijn een geschikte aanvraag indient. Beschrijf dan ook wat geschikt betekent. Denk aan een aanvraag voor een aangeboden dienst, met voldoende informatie om inhoudelijk te reageren.

De definitie van leadkwaliteit moet voor beide varianten gelijk zijn. Als medewerkers aanvragen achteraf beoordelen, laat hen waar mogelijk werken zonder te weten welke variant de aanvrager zag. Anders kan hun verwachting de beoordeling beïnvloeden.

Gebruik daarnaast een bewakingsmetric: een maatstaf die ongewenste gevolgen zichtbaar maakt. Denk aan formulierfouten, klachten over onduidelijke verwachtingen of extra behandeltijd per aanvraag. Voor een webshop kunnen omzet per toegewezen gebruiker en retouren relevant zijn. Houd rekening met de tijd voordat zulke gegevens compleet zijn.

Stel dat een opvallendere knop meer klikken krijgt. Bezoekers ontdekken daarna dat ze een uitgebreid formulier moeten invullen en haken af. Of ze versturen sneller iets, terwijl meer aanvragen buiten je aanbod vallen. Meer klikken is dan een aanwijzing over gedrag, maar onvoldoende reden om de variant uit te rollen.

Leg daarom vooraf vast welke verbetering zakelijk de moeite waard is en welke verslechtering je niet accepteert. Een stijging van de primaire uitkomst kan alsnog onwenselijk zijn als de uitvoering veel extra werk vraagt. Koppel die afweging aan je eigen capaciteit en bedrijfsmodel.

Vul het planningswerkblad in met je analist

Dit statische werkblad helpt je beoordelen of een test haalbaar is. Neem de velden over in een document en vul eerst de bedrijfskeuzes in. Laat een verantwoordelijke analist daarna de steekproef en analysemethode bepalen. Het blad rekent niet automatisch: het maakt zichtbaar welke aannames achter een planning zitten.

Invulveld Wat je vastlegt Waarom dit nodig is
Onderzoeksvraag Welke verandering vergelijk je met de huidige situatie? Voorkomt dat de hoofdvraag onderweg verschuift.
Primaire uitkomst De gebeurtenis, noemer en termijn waarbinnen de gebeurtenis meetelt. Zorgt dat beide groepen op dezelfde manier worden beoordeeld.
Uitgangsconversie Het historische aandeel eenheden met die uitkomst, plus meetperiode. Is een uitgangspunt voor de steekproefberekening, geen zekerheid over toekomstig gedrag.
Minimaal relevant effect De kleinste verbetering waarvoor invoeren de moeite waard is. Verbindt statistische planning aan een zakelijke keuze.
Randomisatie-eenheid Bijvoorbeeld een gebruiker of account, passend bij het experiment. Voorkomt dat herhaalde bezoeken ten onrechte als onafhankelijke waarnemingen meetellen.
Alfa en statistische power Het gekozen foutniveau en de gewenste detectiekans bij het geplande effect. Maakt de statistische afweging expliciet.
Verkeersverdeling Het vooraf gekozen aandeel voor elke variant. Beïnvloedt hoeveel informatie je per groep verzamelt.
Beschikbaar verkeer Het aantal geschikte onafhankelijke eenheden per dag. Geeft een eerste rekenkundige indicatie van de looptijd.
Meetvertraging en uitval Wanneer uitkomsten compleet zijn en welke gegevens kunnen ontbreken. Voorkomt een planning alsof alle informatie direct beschikbaar is.
Stopregel en besluit Wanneer je analyseert, wanneer je ingrijpt en welke uitkomsten mogelijk zijn. Beperkt achteraf kiezen op basis van gunstige cijfers.

Met dit werkblad kun je drie vragen beantwoorden: past de benodigde informatie binnen je beschikbare verkeer, is het gewenste effect zakelijk relevant en kun je de uitkomst betrouwbaar meten? Als één antwoord ontbreekt, moet eerst het plan worden aangescherpt.

Fictieve berekening: van 3,0% naar 3,6%

Neem een volledig fictieve aanvraagpagina met een binaire uitkomst: een onafhankelijke eenheid levert wel of geen geschikte aanvraag op. De uitgangsconversie is 3,0%. Je wilt de test plannen voor een doel van 3,6%. Het verschil is 0,6 procentpunt, ofwel 20% relatief: 0,6 gedeeld door 3,0.

Voor deze berekening gebruiken we alfa 0,05, statistische power 0,80, een tweezijdige toets en een vaste verkeersverdeling van 50/50. De eenheden zijn onafhankelijk. Het betreft een benaderende planning met een arcsine-effect en een normalebenadering voor twee onafhankelijke groepen.

Het gestandaardiseerde arcsine-effect is h = 2 × [arcsin(√0,036) − arcsin(√0,030)]. Met de genoemde instellingen leidt deze planningsmethode, na naar boven afronden, tot 13.887 eenheden per arm en 27.774 in totaal. De documentatie van NormalIndPower beschrijft de invoer voor zo’n powerberekening met twee onafhankelijke groepen.

Berekening Fictieve waarde
Uitgangsconversie → doel 3,0% → 3,6%
Absoluut / relatief verschil 0,6 procentpunt / 20%
Alfa / power 0,05 / 0,80
Toets / verdeling Tweezijdig / 50/50
Benodigde eenheden per arm 13.887
Benodigde eenheden totaal 27.774
Geschikte onafhankelijke eenheden per dag 1.200
Rekenkundige duur 27.774 ÷ 1.200 = 23,145 dagen
Naar hele dagen afgerond 24 dagen

Die 24 dagen zijn een rekenkundige afronding, geen universele looptijd. Bedrijfscycli, ontbrekende gegevens, wisselend verkeer en het wachten op complete uitkomsten kunnen de planning veranderen. Meerdere bezoeken van dezelfde persoon zijn bovendien niet vanzelf meerdere onafhankelijke eenheden.

Power van 0,80 betekent hier een detectiekans van ongeveer 80% bij het gespecificeerde alternatief en de gebruikte aannames. Alfa 0,05 beschrijft het gekozen risico op een fout-positieve verwerping onder de nulhypothese. Geen van beide vertelt je hoe waarschijnlijk het is dat een specifieke winnaar echt beter is.

Dit voorbeeld toont geen geobserveerd resultaat en geen AI-versnelling. Gebruik de aantallen ook niet ongewijzigd voor adaptieve toewijzing, meerdere varianten of een andere randomisatie-eenheid. Daarvoor moet de analist een passend nieuw plan maken.

Bescherm de test met randomisatie en stopregels

Randomisatie verdeelt geschikte eenheden willekeurig over de varianten. Zorg dat een terugkerende deelnemer volgens het gekozen ontwerp dezelfde behandeling blijft krijgen. Controleer ook of de geregistreerde verdeling past bij de ingestelde verdeling. Een onverwacht verschil kan wijzen op een fout in toewijzing, laden of registratie.

Maak onderscheid tussen een veiligheidscontrole en een toets op winst. Je wilt tijdens een test kunnen zien of een formulier kapot is of aanvragen verdwijnen. Dat betekent niet dat je iedere dag een gewone p-waarde kunt bekijken en bij de eerste gunstige stand een winnaar mag aanwijzen.

Herhaald toetsen met een methode die voor één eindanalyse bedoeld is, kan de kans op een fout-positieve conclusie verhogen. Kies daarom vooraf een stopregel en een bijpassende analysemethode. Methoden voor doorlopend geldige beoordeling bestaan, maar vragen eigen aannames en uitvoering. Onderzoek naar anytime-valid confidence sequences beschrijft zo’n specifieke aanpak; een AI-label is daarvoor geen vervanging.

Leg ook vast wat je doet bij schade, een meetfout of een wijziging aan de website. Soms is pauzeren nodig. Soms moet het experiment opnieuw worden gestart. Noteer de reden en laat de analist bepalen welke gegevens nog bruikbaar zijn.

Gebruik segmenten om vragen te onderzoeken

Segmenten kunnen helpen een gemiddeld effect te begrijpen. Misschien verschilt de uitkomst tussen nieuwe en terugkerende bezoekers. Kies belangrijke segmenten liefst vooraf en leg vast hoe je rekening houdt met meerdere vergelijkingen.

Een segment dat door de behandeling ontstaat, vraagt extra voorzichtigheid. Alleen mensen vergelijken die op de nieuwe knop hebben geklikt, doorbreekt de oorspronkelijke willekeurige vergelijking: de variant kan juist bepalen wie klikt. Dat is iets anders dan een vooraf bekend kenmerk gebruiken.

Laat AI gerust opvallende patronen aanwijzen. Behandel onverwachte patronen als onderzoeksvragen, tenzij je analyseplan een geldige bevestigende beoordeling ondersteunt. Een onbesliste uitkomst is toegestaan. Je hoeft geen winnaar te vinden om vast te stellen dat je huidige gegevens onvoldoende onderscheid maken.

Beoordeel varianten en leg terugdraaien vooraf vast

Laat AI concepten maken binnen duidelijke inhoudskaders. Geef aan welke diensten je aanbiedt, welke toezeggingen je kunt waarmaken en welke woorden bij je merk passen. Verbied verzonnen garanties, klantbewijzen en voordelen. Een variant mag niet beter lijken doordat die een verwachting schept die je bedrijf niet kan nakomen.

Verdeel de controle over herkenbare rollen. De ondernemer beoordeelt aanbod en merkcontrole. Een inhoudelijk verantwoordelijke controleert juistheid. De uitvoerder controleert werking en meetpunten. De analist beoordeelt of de varianten en uitkomsten nog aansluiten op het onderzoeksplan. Eén persoon kan meerdere rollen vervullen, zolang duidelijk blijft wie akkoord geeft.

Houd een variantenregister bij met de exacte tekst, de hypothese, het goedgekeurde meetplan en de verantwoordelijke. Gebruik daarnaast een wijzigingslog voor publicaties, pauzes en technische aanpassingen. Als de tekst halverwege verandert, moet je dat kunnen terugvinden.

  • Bewaar de oorspronkelijke versie en de goedgekeurde variant.
  • Noteer wanneer een variant actief wordt en welke doelgroep kan deelnemen.
  • Beschrijf welke fout of schade aanleiding geeft tot pauzeren.
  • Wijs iemand aan die de wijziging kan terugdraaien.
  • Controleer na terugdraaien zowel de pagina als de registratie.

De reviewfrequentie volgt uit wijzigingen en risico. Een nieuwe formulierkoppeling vraagt andere controles dan een vaste tekstvariant. Controleer bij activering, na relevante wijzigingen en bij signalen van problemen. Een vaste maandelijkse controle is geen algemene norm voor ieder experiment.

Wil je breder bepalen waar AI binnen je marketing past, dan helpt de afbakening tussen AI en SEO. Houd ook daar menselijke inhoudscontrole en toetsbare uitkomsten gescheiden van automatisch gegenereerde voorstellen.

Kies bij weinig verkeer een haalbare onderzoeksvraag

Een kleine website kan voldoende informatie verzamelen als de uitkomst vaak genoeg voorkomt, het relevante effect groot genoeg is en de omstandigheden lang genoeg vergelijkbaar blijven. Het totale verkeersvolume zegt dus niet alles. De testhaalbaarheid hangt ook af van deelnamecriteria, uitgangsconversie, gewenste precisie en beschikbare looptijd.

Als het geplande effect met je verkeer nauwelijks te beoordelen is, maak het onderzoek smaller. Kies bijvoorbeeld één drukbezochte pagina met een duidelijke taak. Wissel niet alleen naar knopklikken omdat die vaker voorkomen: zo’n maatstaf kan een bruikbare tussenstap zijn, maar beantwoordt een andere vraag dan geschikte aanvragen.

Optie Waarvoor bruikbaar Wat je er niet uit kunt afleiden
Test op een drukbezochte pagina Een afgebakende verandering beoordelen binnen het publiek van die pagina. Dat dezelfde uitkomst geldt voor alle pagina’s of bezoekers.
Test binnen een e-mailpubliek Een boodschap vergelijken bij willekeurig verdeelde ontvangers met dezelfde meetperiode. Dat websitebezoekers zonder bestaande relatie hetzelfde reageren.
Interviews Begrijpen welke woorden, verwachtingen en twijfels een rol spelen. Hoe groot het gemiddelde conversie-effect van een wijziging is.
Enquêtes Antwoorden verzamelen over behoeften en ervaren problemen. Dat uitgesproken voorkeuren overeenkomen met werkelijk gedrag.
Gedragsobservatie Zien waar mensen vastlopen tijdens een concrete taak. Dat een oplossing aantoonbaar de bedrijfsuitkomst verbetert.

Kwalitatief onderzoek kan je helpen een betere variant te ontwerpen voordat je schaarse bezoekers over een experiment verdeelt. Het levert een ander soort informatie op dan een gerandomiseerde vergelijking. Laat de verantwoordelijke voor gegevensverzameling ook controleren of de gekozen registratie-inrichting passend is.

Maak van een bevinding een nieuwe kanaaltest

Een uitkomst op je website is een vertrekpunt voor onderzoek in andere kanalen. Stel dat een toelichting over het vervolg na aanvragen gunstig uitvalt op een landingspagina. Je vervolghypothese kan zijn dat dezelfde duidelijkheid in een e-mail meer geschikte aanvragen oplevert.

Beschrijf eerst de kanaalcontext en het doelgroepverschil. Een e-mailontvanger kent je mogelijk al. Iemand die een advertentie ziet, heeft misschien nog geen concrete behoefte. Een websitebezoeker uit een specifieke zoekopdracht kan juist actief aan het vergelijken zijn. Ook de beschikbare ruimte en het moment waarop iemand de boodschap ziet, verschillen.

Ontwerp daarom een vervolgtest met een nieuwe controlegroep. Vergelijk bijvoorbeeld de bestaande e-mail met een e-mail die uitlegt wat er na de aanvraag gebeurt. Verdeel geschikte ontvangers willekeurig, houd de overige inhoud gelijk en meet geschikte aanvragen binnen dezelfde termijn. Bereken voor dit publiek opnieuw wat een haalbare steekproef is.

Pas bij advertenties dezelfde redenering toe: meer klikken bewijzen nog geen betere aanvragen. Voor een landingspagina moet de boodschap bovendien aansluiten op de belofte vóór de klik. Leg zulke keuzes vast in je SEO-strategie wanneer ze betrekking hebben op organisch zoekverkeer. Een conversietest toont op zichzelf geen verbetering van Google-posities aan.

Fictief testdossier voor een aanvraagpagina

Het volgende testdossier is volledig fictief. Het laat zien hoe je een besluit onderbouwt zonder van een klikstijging een succesclaim te maken. De aantallen hieronder zijn uitsluitend illustratieve observaties; het zijn geen klantresultaten van Niblah.

Aanleiding: bezoekers klikken op de aanvraagknop, maar het is onduidelijk of zij weten welke informatie daarna nodig is. De ondernemer wil meer geschikte aanvragen ontvangen zonder extra onbruikbare inzendingen te verwerken.

Varianten: versie A blijft zoals die is. Versie B krijgt één toelichting naast de knop: welke projectinformatie gevraagd wordt en wat de vervolgstap inhoudt. Het formulier en het aanbod blijven gelijk. AI stelt formuleringen voor; de ondernemer keurt alleen een feitelijk juiste versie goed.

Meetplan: de primaire uitkomst is minimaal één geschikte aanvraag per toegewezen eenheid binnen de afgesproken uitkomsttermijn. Het team beoordeelt geschiktheid volgens vaste criteria. Klikken zijn een diagnostische maatstaf. Formulierfouten en behandeltijd dienen als bewakingsmetrics.

Uitvoering: de analist gebruikt voor deze illustratie het vaste plan uit het werkblad, met 13.887 onafhankelijke eenheden per arm. De uitvoerder controleert toewijzing en registratie. De ondernemer bepaalt vooraf welke extra behandeltijd nog aanvaardbaar is.

Illustratieve telling Versie A Versie B
Toegewezen eenheden 13.887 13.887
Eenheden met een CTA-klik 1.100 1.320
Eenheden met een geschikte aanvraag 417 430

Versie B telt 220 extra klikkende eenheden, een relatieve toename van 20%. Voor geschikte aanvragen is het verschil veel kleiner: ongeveer 3,003% tegenover 3,096%. Dat is circa 0,094 procentpunt, ruim onder het geplande relevante effect van 0,6 procentpunt.

Een eenvoudige normale benadering geeft voor het verschil in geschikte aanvragen een indicatieve 95%-onzekerheidsmarge van ongeveer −0,31 tot +0,50 procentpunt. Dat interval omvat zowel een verslechtering als een verbetering. De analist moet controleren of deze berekening past bij het vastgelegde ontwerp en of de gegevens compleet en geldig zijn.

Interpretatie: de extra klikken zijn geen voldoende onderbouwing voor invoeren. De hoofdmaatstaf laat geen overtuigende verbetering zien. Evenmin bewijst dit dat beide varianten exact gelijk werken. De conclusie blijft beperkt tot wat deze vergelijking en de onzekerheidsmarge ondersteunen.

Vervolgbesluit: behoud voorlopig versie A. Onderzoek met taakobservaties wat bezoekers na de klik verwachten en waar zij vastlopen. Ontwerp alleen een nieuwe variant als daar een concrete aanleiding uit volgt. Die variant krijgt een eigen hypothese en meetplan.

Rolverdeling: de ondernemer beslist over zakelijke relevantie, de analist over de geldigheid van de analyse en de uitvoerder over correcte activering. AI mag tellingen helpen samenvatten en alternatieve verklaringen opsommen. De verantwoordelijke controleert iedere berekening en conclusie voordat die in het dossier komt.

Gebruik drie mogelijke eindbesluiten

Sluit je dossier af met een besluit dat terug te voeren is op vooraf gekozen criteria. Onderstaande matrix voorkomt dat ieder experiment automatisch eindigt met invoeren of afwijzen.

Eindbesluit Wanneer passend Vervolgactie
Invoeren De geldige analyse ondersteunt voldoende zakelijke verbetering en de bewakingsmetrics blijven binnen de afgesproken grenzen. Publiceer de goedgekeurde versie, controleer werking en meting en bewaar de mogelijkheid tot terugdraaien.
Opnieuw onderzoeken Een meetprobleem, concrete nieuwe verklaring of gewijzigde onderzoeksvraag vraagt om een nieuw plan. Herstel het probleem of formuleer een nieuwe hypothese. Leg vast waarom een nieuwe vergelijking nodig is.
Onvoldoende bewijs De test is bruikbaar, maar de onzekerheid ondersteunt geen voldoende duidelijke keuze. Behoud voorlopig de bestaande versie en beoordeel of extra onderzoek de benodigde tijd waard is.

Voeg aan het besluit de datum, de verantwoordelijke, de onzekerheidsmarge en eventuele beperkingen toe. Noteer ook wat je niet hebt onderzocht. Een effect op geschikte aanvragen vertelt bijvoorbeeld nog niet wat de uiteindelijke omzet wordt als die pas maanden later ontstaat.

Neem deze besluiten op in je rapportage over SEO en websiteprestaties, maar onderscheid testuitkomsten van gewone veranderingen in verkeer. Zo blijft zichtbaar welke conclusies uit een experiment komen en welke nog nader onderzoek vragen.

Baken deelname af op bedrijfsniveau

Offertekluis is in deze oefening een volledig fictieve zakelijke aanvraagroute. Meerdere medewerkers van hetzelfde bedrijf kunnen daar dezelfde aanvraaginformatie raadplegen. Het is geen bestaand product, meetinstrument, uitgevoerd experiment of klantvoorbeeld. Alle aantallen en records hieronder zijn verzonnen om beslissingen te oefenen; echte meetresultaten zijn onbekend.

De onderzoekseenheid is het vooraf geselecteerde bedrijf. Een inkoper kan informatie bekijken, een collega kan later terugkomen en een projectleider kan uiteindelijk aanvragen. Die handelingen horen voor de hoofdvergelijking bij hetzelfde bedrijf. Je onderzoekt dus niet welke medewerker het vaakst terugkomt, maar welk aandeel toegewezen bedrijven minstens één passende aanvraag oplevert.

Leg één bevestigde instructie naast de variant

Neem voor dit fictieve geval aan dat de inhoudelijk eigenaar heeft bevestigd dat een aanvraag een projectomschrijving en een gewenste uitvoerperiode nodig heeft. Versie A zegt: Vermeld de projectomschrijving en de gewenste uitvoerperiode. Versie B verduidelijkt uitsluitend die instructie: Beschrijf welk project je wilt laten uitvoeren en in welke periode je dat wilt.

Beide teksten staan op dezelfde plek in de aanvraaginformatie. Het verschil zit alleen in de uitleg van de benodigde informatie. Prijs, aanbod, formulier en belofte blijven gelijk. De variant zegt niets over snellere behandeling, beschikbaarheid of acceptatie. Bewaar de bevestiging naast beide letterlijke teksten, zodat een beoordelaar kan controleren waarop de formulering berust.

Voor werkelijk gebruik is die bevestiging nog nodig. Laat de inhoudelijk eigenaar aangeven welke informatie daadwerkelijk vereist is en waarom beide formuleringen dezelfde eis beschrijven. Blijkt een uitvoerperiode slechts optioneel, dan klopt deze oefenvariant niet voor jouw situatie. Corrigeer eerst het voorstel en keur daarna pas een definitieve versie goed.

Los deelname en toewijzing vóór activering op

Of echte zakelijke gebruikers geschikt zijn en mogen deelnemen, hoe registratie plaatsvindt en welke accountidentiteit beschikbaar is, staat hier niet vast. De uitvoerder moet daarom eerst aantonen hoe deelnemende bedrijven worden vastgesteld en hoe verschillende medewerkers bij de afgesproken bedrijfseenheid blijven passen. Deze oefening schrijft daarvoor geen identiteitstechniek, trackinginrichting of juridische grondslag voor.

Maak de open implementatievraag concreet: hoe voorkomen we dat hetzelfde deelnemende bedrijf door terugkerende bezoeken of meerdere medewerkers opnieuw wordt toegewezen? Noteer ook wat gebeurt als een medewerker voor verschillende bedrijven werkt of een aanvraag niet eenduidig aan een geselecteerd bedrijf kan worden gekoppeld. Laat zulke gevallen zichtbaar openstaan totdat de afgesproken controle uitsluitsel geeft.

De deelnemerslijst en het toewijzingsrecord hebben verschillende functies. De eerste legt vast welke bedrijven volgens de selectiecriteria kunnen deelnemen. Het tweede legt de willekeurige keuze voor A of B vast. De uitvoerder controleert vóór activering of terugkerende medewerkers dezelfde bedrijfstoewijzing volgen. Zonder aantoonbaar passende uitvoering blijft het experiment een voorstel.

Reken bezoeken en bedrijfsuitkomsten afzonderlijk uit

Een illustratie bevat 200 geschikte bedrijven: 100 worden willekeurig aan A toegewezen en 100 aan B. Zij leveren respectievelijk 300 en 450 bezoeken op. Na volledige beoordeling hebben 20 bedrijven bij A en 30 bedrijven bij B minstens één passende aanvraag. Deze aantallen dienen alleen om de eenheden uit elkaar te houden.

  • Bij A is de primaire verhouding 20 van 100 toegewezen bedrijven: 20%.
  • Bij B is die verhouding 30 van 100 toegewezen bedrijven: 30%.
  • Het absolute verschil is 10 procentpunt. Ten opzichte van 20% is dat 50% relatief.
  • De extra bezoeken bij B vormen geen onafhankelijke nieuwe bedrijven en vergroten de gekozen onderzoekseenheid niet.

De berekeningen 20/300 en 30/450 gebruiken bezoeken als noemer. Ze mengen daarmee bedrijven met een passende aanvraag en aantallen bezoeken. Dat is een andere verhouding dan de vooraf gekozen bedrijfsuitkomst. Beide breuken komen hier toevallig op hetzelfde getal uit; die gelijkheid maakt de bedrijfspercentages niet onjuist en vervangt de hoofdmaat niet.

Ook de teller vraagt discipline. Als één bedrijf drie passende aanvragen indient, blijft dat voor deze binaire hoofdmaat één positief bedrijf. Het aantal aanvragen kan wel apart nodig zijn voor de werkbelasting. Houd daarom een bedrijfsbestand voor de primaire uitkomst en een aanvraagoverzicht voor de verwerking naast elkaar, met controleerbare verwijzingen tussen beide.

De percentages alleen leveren geen zelfstandig bewijs voor een statistische winnaar. Deze kleine rekenillustratie is geen steekproefplanning en neemt de planning van het eerdere bezoekersvoorbeeld niet over. Een analist moet een methode kiezen die past bij bedrijven als toegewezen eenheden, de beoogde vergelijking en de daadwerkelijk beschikbare gegevens.

Volg één aanvraag van bronrecord naar beoordeling

Gebruik bij de controle verschillende velden voor bronregistratie, toewijzingsrecord, event en beoordeelde uitkomst. Een bronrecord beschrijft wat is vastgelegd. Een toewijzingsrecord koppelt de bedrijfseenheid aan een variant. Een event beschrijft een gebeurtenis. De beoordeling bepaalt pas of de bijbehorende aanvraag binnen het aanbod en de afgesproken uitkomstdefinitie valt.

Onderstaand werkblad bevat uitsluitend fictieve codes. Bedrijf K01 heeft twee medewerkers, M01 en M02. Hun records verwijzen naar dezelfde aanvraag Q01 en hetzelfde toewijzingsrecord T01 voor variant B. De tweede aanvraag, Q02, hoort bij een ander fictief bedrijf. De codes zijn oefenlabels zonder koppeling aan werkelijke personen of organisaties.

  • Bron R01: bedrijf K01, medewerker M01, toewijzing T01, event E01, aanvraag Q01. Gebeurtenis: aanvraag verzonden.
  • Bron R02: bedrijf K01, medewerker M01, toewijzing T01, event E01, aanvraag Q01. Dubbele registratie van hetzelfde event.
  • Bron R03: bedrijf K01, medewerker M02, toewijzing T01, event E02, aanvraag Q01. Gebeurtenis: dezelfde aanvraag bevestigd.
  • Bron R04: bedrijf K02, medewerker M03, toewijzing T02, event E03, aanvraag Q02. Gebeurtenis: aanvraag verzonden; variant B.
  • Beoordeling U01: aanvraag Q01 is passend volgens de vaste criteria. Bedrijf K01 krijgt één positieve bedrijfsuitkomst.
  • Beoordeling U02: aanvraag Q02 valt buiten het aanbod. Dit record levert geen positieve bedrijfsuitkomst voor K02 op.

Schrijf de samenvoegregel vóór de telling uit

In dit fictieve werkblad geldt de volgende regel: records met dezelfde bedrijfssleutel, aanvraagcode en eventcode vertegenwoordigen één event. Verschillende eventcodes met dezelfde bedrijfssleutel en aanvraagcode worden aan één aanvraag gekoppeld. Per toegewezen bedrijf telt vervolgens maximaal één positieve uitkomst wanneer minstens één gekoppelde aanvraag binnen de afgesproken termijn als passend is beoordeeld.

Daarmee worden R01 en R02 één event, terwijl E01 en E02 samen één aanvraag beschrijven. De verschillende medewerkers maken Q01 niet tot twee aanvragen. Q02 blijft een bestaande aanvraag, ook al valt die buiten het aanbod. Pas wanneer de uitkomsttermijn van K02 compleet is en geen andere passende aanvraag bestaat, is de bedrijfsuitkomst negatief.

Bewaar de oorspronkelijke records en voeg de reden voor iedere samenvoeging toe. Komen dezelfde aanvraagcode en verschillende bedrijfssleutels voor, dan volgt geen automatische samenvoeging. Zet de afwijking apart voor onderzoek. Noteer wie beslist, op welke bron de correctie berust en welke telling daardoor verandert. Een opgeruimd overzicht mag de oorspronkelijke afwijking niet verbergen.

Controleer na samenvoegen drie aansluitingen: ieder meegenomen bedrijf heeft één geldige toewijzing, iedere positieve uitkomst verwijst naar een passende aanvraag en iedere aanvraag verwijst naar bewaarde bronrecords. Ontbreekt een schakel, rapporteer dat als onopgeloste registratiekwestie. Laat AI hoogstens verdachte combinaties aanwijzen; de uitvoerder controleert ze aan de hand van de bron.

Maak onvolledige termijnen zichtbaar in de tussenstand

Bekijk nu een eerder moment in dezelfde fictieve opzet. Bij B hebben 30 bedrijven al een passende aanvraag. Voor 10 andere toegewezen bedrijven is de afgesproken uitkomsttermijn nog niet afgelopen. De overige 60 hebben een complete termijn zonder passende aanvraag. De status is dus 90 complete bedrijfsuitkomsten en 10 nog onvolledige uitkomsten.

Je mag de 10 onvolledige bedrijven niet stilzwijgend als afwezig beschouwen of verwijderen. De oorspronkelijke toewijzing blijft 100 bedrijven bij B. Een berekening met alleen de 90 complete bedrijven zou een andere, mogelijk gunstiger selectie tonen. Ook 30% mag hier niet zonder statusvermelding als definitieve planuitkomst worden gepresenteerd.

Toon daarom afzonderlijk: toegewezen bedrijven, complete termijnen, positieve bedrijfsuitkomsten en nog lopende termijnen. De definitieve analyse volgens het gekozen plan wacht op passende complete uitkomsten. De eerder genoemde eindillustratie met 30 positieve bedrijven veronderstelt dat uiteindelijk alle termijnen compleet zijn; de tussenstand bewijst nog niet dat dit eindtotaal zo blijft.

Een lopende termijn is iets anders dan meetverlies. Bij een lopende termijn moet je wachten. Bij meetverlies ontbreekt informatie die beschikbaar had moeten zijn, bijvoorbeeld een beoordeling zonder terugvindbare aanvraag. Noteer de aantallen en oorzaken per variant. Laat de analist bepalen wat het verlies betekent voor de geldigheid, zonder ontbrekende uitkomsten te verzinnen.

Scheid een veiligheidsingreep van het eindbesluit

Stel dat tijdens deze wachtfase een formulierfout wordt ontdekt. De uitvoerder kan dan volgens de afgesproken veiligheidsprocedure pauzeren en de fout herstellen. Noteer het tijdstip, de betrokken versie en welke bedrijven mogelijk zijn geraakt. Zo’n ingreep beschermt de aanvraagroute; hij betekent niet dat A of B inhoudelijk gewonnen heeft.

De vooraf gekozen eindanalyse blijft daarnaast bestaan. Dagelijks een gewone p-waarde bekijken en stoppen zodra die gunstig is, verandert de beslisprocedure. Als doorlopende statistische besluitvorming gewenst is, moet de analist daarvoor vooraf een geldige eigen methode vastleggen. Een kalenderduur, conversieaantal of door AI voorgesteld stopmoment is op zichzelf geen algemene geldigheidsregel.

Controleer of de variant je segment heeft gevormd

Veronderstel dat versie B meer medewerkers naar een hulppagina trekt. Een vergelijking van uitsluitend hulppaginabezoekers selecteert dan mogelijk andere bedrijven en medewerkers dan bij A. Hetzelfde probleem ontstaat wanneer je alleen aanklikkers vergelijkt. De tekst kan beïnvloeden wie in het segment terechtkomt, waardoor dat segment de oorspronkelijke willekeurige bedrijfsvergelijking niet vervangt.

Gebruik zulke gegevens om een vervolgvraag te formuleren: welke onduidelijkheid bracht medewerkers naar de hulppagina? Laat het oorspronkelijke bedrijfsresultaat daarnaast staan. Meng bovendien medewerkers en bedrijven niet binnen één segmentteller. Twee medewerkers van hetzelfde bedrijf die de hulppagina bezoeken, leveren voor een bedrijfssegment nog steeds één betrokken bedrijf op.

Een vooraf vastgelegd bedrijfstype is een ander vertrekpunt. Je kunt bijvoorbeeld vóór toewijzing onderscheiden of een bedrijf zelf uitvoert of voor opdrachtgevers inkoopt, mits die indeling werkelijk beschikbaar en passend is. Een aparte hypothese daarover vraagt een eigen geldige analyseafspraak. Kleine subgroepen en meerdere vergelijkingen geven geen vrijbrief om de mooiste uitsnede als bevestiging te kiezen.

Bereken verwerking over dezelfde hele testperiode

Voor de zakelijke afweging krijgt de fictieve eindillustratie een extra aanname: ieder positief bedrijf levert precies één passende aanvraag op. Het verschil tussen 20 en 30 positieve bedrijven betekent hier dus 10 extra passende aanvragen. Zonder die aanname moet je eerst de werkelijke aantallen aanvragen bepalen voordat je behandeltijd berekent.

Bij 25 minuten extra behandeling per extra aanvraag vraagt dat verschil 250 minuten. Er is uitsluitend 200 minuten extra verwerkingsruimte beschikbaar voor de hele gekozen testperiode. De resterende 50 minuten vormen een zakelijk gat. De beschikbare ruimte is geen weekbudget en wordt niet vermenigvuldigd met het aantal weken waarin de test loopt.

Leg vervolgens een uitvoerbare keuze vast: de werkwijze aanpassen, extra capaciteit organiseren of voorlopig niet invoeren. Beschrijf bij extra capaciteit wie de ontbrekende tijd beschikbaar maakt en voor welk tijdvak. Een gunstige klikscore vult die tijd niet aan. Ook een statistisch overtuigender uitkomst zou deze afzonderlijke bedrijfsbeperking niet oplossen.

Gebruik een ingevuld dossier voor de besluitoverdracht

Dit fictieve dossier hoort bij de complete eindillustratie. Het geeft geen werkelijk akkoord voor een experiment of publicatie. De autorisaties blijven expliciet open totdat verantwoordelijken de echte inhoud, inrichting en analyse hebben gecontroleerd.

  • Vraag: vergroot de verduidelijkte instructie het aandeel geselecteerde bedrijven met minstens één passende aanvraag binnen de vastgelegde uitkomsttermijn?
  • Eenheid: het vooraf geselecteerde bedrijf; medewerkers, bezoeken en afzonderlijke events zijn geen aanvullende onafhankelijke bedrijven.
  • Hypothese: de verduidelijking helpt bedrijven de gevraagde projectinformatie aan te leveren; alleen de instructietekst verschilt.
  • Toewijzing: 100 fictieve bedrijven bij A en 100 bij B, willekeurig verdeeld. De praktische borging bij meerdere medewerkers is nog te verifiëren.
  • Complete gegevens: de eindillustratie veronderstelt 200 afgeronde uitkomsttermijnen. De eerdere tussenstand met 10 onvolledige termijnen krijgt een afzonderlijk tijdstip en status.
  • Meetverlies: voor het rekenvoorbeeld niet gemodelleerd; werkelijk verlies onbekend. De uitvoerder moet ontbrekende koppelingen en beoordelingen per variant verantwoorden.
  • Primaire uitkomst: 20% tegenover 30%, een verschil van 10 procentpunt en 50% relatief. Dit zijn verzonnen oefencijfers.
  • Bewakingsmetric: formulierfouten en extra behandeltijd. De tijdsberekening geeft 250 benodigde minuten tegenover 200 beschikbare minuten over dezelfde gehele testperiode.
  • Onzekerheid: geen geldige eindtoets uitgevoerd en geen statistische winnaar vastgesteld. Een passende analist beoordeelt ontwerp, volledigheid en de vooraf gekozen analysemethode.
  • Capaciteit: 50 minuten ontbreken. Het zakelijke oefenbesluit is voorlopig niet invoeren zolang daarvoor geen uitvoerbare oplossing bestaat.
  • Autorisatie: geen daadwerkelijke toestemming vastgelegd. Inhoudelijk eigenaar, uitvoerder, analist en ondernemer moeten hun eigen besluit met naam, datum en toepasselijke versie registreren.

Laat de inhoudelijk eigenaar de instructie en eventuele belofte beoordelen, de uitvoerder de registratie, de analist het experiment en de ondernemer het zakelijke besluit. AI mag het dossier ordenen en opvallende records signaleren. Iedere latere conclusie moet terug te voeren zijn op echte brontellingen; gegenereerde cijfers worden nooit observaties.

Draag stoppen, pauzeren en herstarten afzonderlijk over

Stoppen sluit de huidige vergelijking af met reden en status. Pauzeren onderbreekt de uitvoering terwijl je onderzoekt wat herstel vereist. Herstarten vraagt een expliciet besluit over versie, deelname en bruikbare gegevens. Uitrollen activeert een goedgekeurde variant buiten de testverdeling en vraagt het afzonderlijke zakelijke akkoord.

Bewaar bij iedere overdracht de oorspronkelijke goedgekeurde variant, meetdefinities, toewijzingen en wijzigingsgeschiedenis. Een herstart met een gewijzigd aanbod krijgt een nieuwe versie en een verklaring van het verschil. Eerdere records blijven bij hun oorspronkelijke omstandigheden horen; je hernoemt ze niet tot resultaten van de nieuwe variant.

Laat de ontvanger de telling zelfstandig reconstrueren

Een overdracht is pas bruikbaar als de ontvanger zonder mondelinge toelichting begrijpt hoe de teller is ontstaan. Geef daarom bij het aanvraagoverzicht ook de beoordelingsversie mee. Laat de ontvanger voor K01 terugzoeken welke inhoud Q01 passend maakte en waarom R02 geen tweede event oplevert. Laat daarna voor K02 uitleggen waarom een verzonden aanvraag nog geen positieve bedrijfsuitkomst betekent. Deze twee controles toetsen verschillende stappen: samenvoegen en inhoudelijk beoordelen.

Voeg een apart overzicht toe van beslissingen die nog openstaan. Gebruik per regel de velden [onderwerp], [verantwoordelijke], [benodigde bron], [gevolg voor analyse] en [status]. Bij een ontbrekende koppeling kan de benodigde bron het oorspronkelijke aanvraagrecord zijn. Bij een onduidelijke geschiktheidsbeoordeling is juist de vastgelegde aanboddefinitie nodig. Zo krijgt een ontbrekende waarneming geen inhoudelijke verklaring toegeschreven alleen omdat iemand het dossier snel wil afronden.

Neem ook een controle op tegenstrijdige versies op. Stel dat een bronrecord bij K01 versie A noemt terwijl toewijzingsrecord T01 versie B vermeldt. De ontvanger mag dat niet oplossen door de gunstigste registratie te kiezen. De uitvoerder onderzoekt wat werkelijk is aangeboden en welke registratie fout kan zijn. De analist beoordeelt vervolgens volgens het plan de gevolgen voor de vergelijking. Tot die beoordeling blijft het verschil herkenbaar als afwijking bewaard.

Koppel ieder akkoord aan een concrete handeling

Schrijf bij autorisatie precies waarvoor het akkoord geldt. Inhoudelijke goedkeuring van de tekst betekent dat de instructie klopt; zij geeft nog geen toestemming om een ongeteste registratie te activeren. Een technisch gereed oordeel zegt evenmin dat de beschikbare capaciteit voldoende is. Gebruik daarom bijvoorbeeld: [naam] keurt [handeling] goed voor [versie] vanaf [moment], onder [voorwaarden]. Een leeg veld blijft open en wordt niet door een positieve samenvatting vervangen.

Laat de ondernemer bij het tekort van 50 minuten aangeven welke keuze uitvoerbaar is. Wordt aanvullende tijd toegezegd, controleer dan of die werkelijk beschikbaar is binnen hetzelfde gekozen tijdvak en voor deze verwerking. Wordt de aanvraagroute aangepast om werk te besparen, beschrijf dan of daarmee de onderzochte variant verandert. Een aangepaste route kan opnieuw beoordeling vragen; het eerdere percentage gaat niet automatisch mee als onderbouwing voor die gewijzigde uitvoering.

Leg ten slotte vast wie na overdracht open beoordelingen bewaakt en wie een afwijking mag afsluiten. De ontvanger bevestigt welke bestanden en definities zijn ontvangen en welke vragen nog niet zijn opgelost. Daardoor blijft zichtbaar of het dossier klaar is voor analyse, alleen voor technisch herstel, of uitsluitend voor een volgend ontwerpbesluit. Die status voorkomt dat een tussentijds werkdocument ongemerkt als definitief invoerbesluit wordt gebruikt.

Bewaar bij een correctie zowel de eerdere als de herziene telling. Vermeld welke bedrijven geraakt zijn en waarom. Zo kan de beoordelaar controleren of het besluit op dezelfde gegevensversie berust.

Een vervolg in e-mail of bij een ander bedrijfstype krijgt een nieuwe onderzoeksvraag en controlegroep. Leg daarbij opnieuw vast hoe de bedrijfseenheid zich verhoudt tot ontvangers en medewerkers. De eerste vergelijking levert hoogstens een aanleiding om verder te onderzoeken, geen beloofde doorwerking naar een ander kanaal of segment.

Veelgestelde vragen over A/B-testen met AI

Wat is het verschil tussen A/B-testen met AI en een gewone A/B-test?

AI kan helpen met hypotheses, varianten en analyse. De betrouwbaarheid komt uit het experimentele ontwerp, de meting en de besluitregel. Een vaste A/B-test kan dus AI gebruiken zonder dat de statistische methode verandert. AI verklaart niet automatisch waarom een verschil ontstaat.

Is A/B-testen met AI geschikt voor een kleine website?

Dat hangt af van het beschikbare verkeer, de uitgangsconversie, het minimaal relevante effect en de meetperiode. Laat eerst de testhaalbaarheid berekenen. Bij te weinig informatie kunnen interviews, taakobservaties of een beperkter experiment nuttiger zijn, maar die leveren niet dezelfde zekerheid over een conversie-effect.

Kan ik een winnende boodschap ook in e-mail of advertenties gebruiken?

Gebruik de bevinding als aanleiding voor een nieuwe hypothese. Publiek, verwachtingen en kanaalcontext kunnen verschillen. Test de aangepaste boodschap daarom met een nieuwe controlegroep en een passende bedrijfsuitkomst voordat je de eerdere winst ook voor dat kanaal aanneemt.

Welke menselijke controle blijft nodig bij AI-varianten?

Een verantwoordelijke controleert inhoud, merk en beloften vóór publicatie. De uitvoerder controleert werking en registratie; de analist controleert ontwerp en conclusies. Leg versies en wijzigingen vast en spreek af wie bij fouten kan pauzeren of terugdraaien.

Leg je aanvraagpagina en testvraag voor

Wil je bepalen of een experiment voor jouw WordPress-website of Shopify-webshop zinvol is? Niblah biedt webdesign, WordPress, Shopify en SEO. Stuur via het contactformulier de URL van je pagina, de gewenste bedrijfsuitkomst, je huidige conversiedefinitie en het beschikbare verkeersvolume over een herkenbare periode.

Voeg toe welke verandering je overweegt, waarover je twijfelt en wie de aanvragen of bestellingen beoordeelt. Heb je het werkblad al ingevuld, neem dan de aannames en ontbrekende gegevens op in je bericht. Vraag specifiek om te beoordelen of eerst de meting, de pagina of het onderzoeksplan aandacht nodig heeft.