AI meetbaar maken

AI-functies hebben een eigenschap die gewone software niet heeft: ze falen zonder foutmelding. Een verkeerd antwoord ziet er precies zo uit als een goed antwoord. Daardoor wordt de vraag 'werkt het' een kwestie van gevoel, en gevoel is geen basis om iets op te leveren.

De oplossing is niet ingewikkeld, maar wordt vaak overgeslagen omdat hij saai is: leg vast wat goed betekent, verzamel voorbeelden, en meet. Hieronder staat hoe we dat opzetten in projecten waarin AI een onderdeel van het product is.

Waarom 'het werkt goed' geen antwoord is

De gebruikelijke gang van zaken is dat iemand tien vragen probeert, tevreden is, en de functie live zet. Tien voorbeelden zeggen bijna niets over het gedrag op duizend. Erger nog: die tien zijn meestal bedacht door dezelfde persoon die de instructie schreef, en die kent de zwakke plekken niet.

Het echte probleem komt bij de eerste wijziging. Iemand past de instructie aan om één klacht op te lossen. Werkt het nu beter, of alleen anders? Zonder meetpunt is dat niet te beantwoorden, en dus wordt elke volgende wijziging een gok met onbekende bijwerkingen.

Begin met een testset, niet met een instructie

Een testset is een verzameling voorbeelden met het gewenste resultaat erbij. Honderd is genoeg om te beginnen; vijfhonderd is comfortabel. Vier eigenschappen bepalen of hij bruikbaar is:

• De voorbeelden komen uit de praktijk, niet uit de fantasie van het team. Echte invoer is rommeliger dan bedachte invoer, en juist die rommel breekt dingen.
• Er zitten bewust moeilijke gevallen in: dubbelzinnige vragen, ontbrekende gegevens, invoer in de verkeerde taal. Een testset waarop alles slaagt, meet niets.
• De set verandert niet omdat het resultaat tegenvalt. Wie de meetlat aanpast aan de uitkomst, meet uiteindelijk alleen zichzelf nog.
• Iemand met verstand van het onderwerp heeft vastgelegd wat het juiste antwoord is. Hier gaat de meeste tijd in zitten, en dit is het deel dat niet over te slaan is.

Deze set is het belangrijkste bezit van een AI-functie. Modellen wisselen, instructies worden herschreven, leveranciers passen hun prijzen aan — de testset blijft, en is het enige waarmee u die veranderingen kunt beoordelen.

Scoren zonder uzelf voor de gek te houden

Hoe u scoort hangt af van wat de functie doet. Drie manieren dekken de meeste gevallen:

• Bij classificatie en extractie is een antwoord goed of fout. Meet het percentage juist, en kijk apart naar de gevallen die het vaakst verward worden.
• Bij vrije tekst werkt een checklist per voorbeeld beter dan een cijfer: staat het gevraagde erin, staat er niets in wat er niet in hoort, klopt de toon. Een taalmodel kan die checklist afvinken, mits de punten concreet zijn.
• Voor alles waarvan de uitkomst gevolgen heeft, blijft een steekproef door een mens nodig. Niet op alles — op genoeg om te merken wanneer de automatische score iets anders meet dan kwaliteit.

Belangrijker dan de methode is dat de score elke keer op dezelfde manier tot stand komt. Een ruwe maat die consistent is, is bruikbaarder dan een verfijnde maat die per meting anders werkt.

Meten houdt niet op bij livegang

Het gedrag van een AI-functie verandert ook zonder dat iemand iets aanpast. Gebruikers stellen andere vragen dan verwacht, de onderliggende gegevens verschuiven, en leveranciers werken hun modellen bij.

Een AI-functie die niet gemeten wordt, is niet af — die is alleen live.

Concreet betekent dat: leg invoer en resultaat vast, laat gebruikers een antwoord als onbruikbaar markeren, en draai de testset opnieuw bij elke wijziging aan instructie, model of gegevens. Die drie samen kosten weinig en vormen het verschil tussen zien dat het misgaat en horen dat het misging.

Kort samengevat

Bouw eerst de testset, dan de functie. Houd de set vast, meet elke keer op dezelfde manier, en blijf meten na livegang. Zonder die drie is elke uitspraak over kwaliteit een mening; met die drie is het een getal waar u op kunt sturen.