Auditen van AI

Achtenzeventig procent van de medewerkers die AI gebruiken doen dit zonder toestemming of toezicht van de IT-afdeling. En organisaties hebben naar schatting zicht op minder dan elf procent van het werkelijke AI-gebruik. Lees die twee cijfers nog eens. Terwijl jij wacht tot je er klaar voor bent, draait AI op veel plekken in je organisatie. Elke maand uitstel is een maand ongezien risico. Het goede nieuws: je hoeft niet eerst alles te weten om te beginnen. Sterker nog, wie begint, ontdekt sneller waar verdieping en mogelijk versterking nodig zijn.

Het ongemak is herkenbaar

Vraag een willekeurige internal auditor waarom AI nog niet op de planning staat, en je hoort vaak dezelfde redenen. Het is technisch. Er is geen eenduidige methodiek. Niemand in het team kan een neuraal netwerk doorrekenen. En de kaders die er zijn, van de EU AI Act tot ISO/IEC 42001 en het NIST AI Risk Management Framework, zijn dik, abstract en vooral geschreven voor mensen die er fulltime mee bezig zijn. Dat ongemak is terecht, en het is geen teken van onkunde. Maar het leidt tot de verkeerde conclusie: dat je moet wachten tot je het allemaal beheerst. De grootste drempel bij het auditen van AI is niet technisch.

Drie redenen waarom je het al kunt

Eén: het overgrote deel van het AI-risico is gewoon auditwerk. Wie een AI-systeem onderzoekt, vindt de meeste problemen niet in het model maar eromheen: er is geen beleid, er is geen register, niemand is eigenaar, de monitoring toont alleen volumes, klanten krijgen geen uitleg over een beslissing die hen raakt. Dat is governance, proces en uitkomst. Geen wiskunde. Precies het terrein waar zowel een operational als IT-auditor thuis in is.

Twee: je beste instrumenten heb je al. Vragen stellen, evidence opvragen en gezond wantrouwen. De model owner zegt dat alles gevalideerd is? Mooi. Mag ik het validatierapport zien? Vaak is dat rapport er niet, of is de validatie gedaan door dezelfde mensen die het model bouwden. Dan heb je al een verbeterpunt, en je hebt nog geen regel code gezien.

Drie: je levert snel inzicht. Vraag het AI-register of de AI-inventarisatie op en leg dat naast wat er op de werkvloer echt gebeurt. Vaak ontstaat dan voor het eerst een compleet beeld van waar AI in de organisatie wordt gebruikt. Dat overzicht is op zichzelf al waardevol, ook voor het management. Je hoeft geen model door te rekenen om binnen twee weken iets op te leveren waar de organisatie wat aan heeft.

Wat is er dan wél anders?

Eerlijk is eerlijk: drie eigenschappen maken AI anders dan een klassiek IT-systeem, en daar komt dat ongemak vandaan.

1)     AI is opaque (opaak): de redenering achter een uitkomst is niet altijd te reproduceren, dus de vraag verschuift van 'hoe werkt het?' naar 'hoe weten we dat het werkt zoals bedoeld?'.

2)     AI is autonoom: het systeem kan autonoom handelen of besluitvorming beïnvloeden die eerder door mensen werd uitgevoerd.

3)     AI verandert snel: een control die vandaag effectief is, hoeft dat over drie maanden niet meer te zijn.

Geen van deze drie vraagt om een data scientist. Ze vragen om een auditor die zijn vragen iets anders stelt en zijn cyclus iets korter maakt. Hiermee ontstaat ook een duidelijker beeld van wat een AI-audit is. Het is niet per definitie een diep technisch onderzoek naar algoritmes, trainingsdata en modelarchitectuur. Vaak begint het veel eenvoudiger: bestaat er overzicht, zijn keuzes vastgelegd, is duidelijk wie mag besluiten over AI-gebruik, en kan de organisatie uitleggen waarom een uitkomst acceptabel is? Wie daar geen antwoord op krijgt, heeft al genoeg aanknopingspunten voor een waardevolle audit.

Begin morgen

Je eerste AI-audit begint niet met een model, maar met een vraag. Vraag het AI-register of de AI-inventarisatie op. Loop daarna langs drie afdelingen en vraag wat ze met AI doen, ook informeel. De kans is groot dat je binnen een dag twee aanknopingspunten hebt: het overzicht is incompleet, en er draait schaduw-AI waar niemand zicht op heeft: het overzicht is incompleet, en er draait schaduw-AI waar niemand zicht op heeft. Vanaf dat moment ben je een auditor die het gesprek over AI in de organisatie heeft geopend. Dat is de helft van het werk.

Begin dus niet te groot. Je hoeft niet meteen alle AI in je organisatie te beoordelen of een oordeel te geven over elk model. Kies één herkenbare toepassing waar AI invloed heeft op klantcommunicatie, beoordeling, prioritering of besluitvorming. Kijk wie eigenaar is, welke afspraken gelden, welke data worden gebruikt, of een mens nog meekijkt en wat er gebeurt als de uitkomst niet klopt. Daarmee heb je nog geen allesomvattende AI-audit gedaan, maar wél een eerste, waardevolle toets op de plekken waar het risico zich in de praktijk vaak manifesteert.

Systematisch verder?

Wil je het daarna gestructureerd aanpakken, dan hebben we het voor je uitgewerkt. In de whitepaper 'Grip op AI' vind je ons vijflagenmodel: één raamwerk om AI te beheersen én te auditen, met een mapping op de grote kaders (EU AI Act, ISO 42001, NIST, ForHumanity, IIA/NOREA), een volwassenheidsmodel, een uitgewerkte casus en twee afvinkbare checklists. Ook bruikbaar voor de riskfunctie.