De 10-stappenchecklist: AI-output reviewen als professional

AI supervisen is niet anders dan het begeleiden van een junior medewerker. De verantwoordelijkheid verschuift nooit. Deze checklist helpt je om AI-output systematisch te reviewen voordat het je kantoor verlaat.

Waarom een checklist?

Piloten gebruiken checklists, niet omdat ze niet kunnen vliegen, maar omdat de consequenties van een gemiste stap te groot zijn om op het geheugen te vertrouwen. Voor juristen die met AI werken geldt hetzelfde. De American Bar Association publiceerde recent een praktische checklist voor verantwoord AI-gebruik, en het National Center for State Courts bracht een uitgebreide gids uit over AI en hallucinaties voor juridische praktizijns.

De noodzaak is urgent. Stanford-onderzoek toont foutpercentages van 17% voor Lexis+ AI en 34% voor Westlaw AI-Assisted Research. Dat zijn gespecialiseerde juridische tools van gevestigde aanbieders. Bij algemene AI-modellen liggen de foutpercentages nog hoger. Meer dan 729 rechtszaken wereldwijd betreffen inmiddels AI-hallucinaties. Een gestructureerd reviewproces is geen luxe, het is een beroepsplicht.

De onderstaande checklist is samengesteld op basis van de ABA-richtlijnen, de NCSC-gids en best practices uit de Jones Walker AI-analyse. Je kunt hem morgen gebruiken.

De checklist

Stap 1: Verifieer elke bron. Controleer elk geciteerd wetsartikel, elke uitspraak en elke verwijzing tegen een betrouwbare juridische database. AI-modellen produceren overtuigend klinkende citaten die niet bestaan. Dit is de meest fundamentele stap en mag nooit worden overgeslagen. Zoals het NCSC het formuleert: de voorspellende aard van taalmodellen genereert tekst die goed klinkt in plaats van tekst die juist is.

Stap 2: Controleer de jurisdictie. Bevestig dat de aangehaalde wetgeving en jurisprudentie betrekking hebben op de juiste jurisdictie. AI-modellen mengen regelmatig bronnen uit verschillende rechtsgebieden en jurisdicties zonder dat expliciet te vermelden. Een ogenschijnlijk correct antwoord kan gebaseerd zijn op Duits recht terwijl je een Nederlandse kwestie behandelt.

Stap 3: Controleer de actualiteit. Verifieer dat de aangehaalde wetgeving en uitspraken nog geldend recht zijn. AI-modellen worden getraind op data tot een bepaalde datum en hebben geen besef van wetswijzigingen, ingetrokken artikelen of herziene uitspraken. Controleer altijd of het recht nog actueel is.

Stap 4: Beoordeel de redenering. Lees de juridische analyse niet alleen op feitelijke juistheid, maar ook op logische samenhang. Klopt de redenering? Volgen de conclusies uit de premissen? Zijn er onuitgesproken aannames? AI kan een structureel overtuigend betoog opbouwen op een fundamenteel onjuiste premisse. Alleen inhoudelijke kennis ontmaskert dat.

Stap 5: Identificeer wat ontbreekt. AI geeft je wat je vraagt, maar niet wat je niet vraagt. Zoek actief naar wat er ontbreekt: relevante uitzonderingen, tegenargumenten, recente ontwikkelingen, nuances die de standaardanalyse doorbreken. De grootste risico's zitten niet in wat AI fout zegt, maar in wat het niet zegt.

Stap 6: Controleer op bias en eenzijdigheid. AI-modellen kunnen systematische vooroordelen weerspiegelen uit hun trainingsdata. Wees alert op eenzijdige presentatie van een juridisch vraagstuk, op het ontbreken van minderheidstandpunten in de rechtsliteratuur, en op cultureel of jurisdictioneel bepaalde aannames die niet overeenkomen met de context van jouw zaak.

Stap 7: Verifieer feiten en cijfers. Controleer niet alleen juridische bronnen maar ook feitelijke claims: statistieken, data, historische feiten, namen en data die in de output voorkomen. AI-modellen hallucineren niet alleen juridische citaten maar ook feitelijke informatie, en doen dat met dezelfde stelligheid.

Stap 8: Beoordeel de toon en gepastheid. Is de toon passend voor het doel? Een advies aan een client vereist een andere benadering dan een processtuk. AI levert standaard een neutrale, generieke toon die niet altijd past bij de specifieke communicatiecontext. Pas aan waar nodig en verwijder formuleringen die niet passen bij je eigen stem of die van je kantoor.

Stap 9: Controleer op vertrouwelijkheid. Verifieer dat de output geen vertrouwelijke informatie bevat die niet in het eindproduct thuishoort. Als je clientgegevens hebt gebruikt in je prompt, kan de AI die informatie verwerken in de output op manieren die je niet had voorzien. Controleer of het eindproduct geschikt is voor het beoogde publiek.

Stap 10: Documenteer je review. Leg vast welke AI-tool je hebt gebruikt, welke prompt je hebt gegeven, welke output je hebt ontvangen, en welke stappen je hebt ondernomen om die output te verifiëren en aan te passen. Deze documentatie beschermt je als er later vragen rijzen over de totstandkoming van je werk, en het dwingt je om elke stap bewust te doorlopen.

Hoe de checklist te gebruiken

Niet elke stap weegt even zwaar bij elke taak. Het NCSC adviseert om de verificatie-inspanning af te stemmen op het risiconiveau. Een interne brainstormnotitie vereist minder rigoureuze verificatie dan een processtuk dat bij de rechter wordt ingediend. Maar de basisstappen, met name bronverificatie (stap 1), jurisdictiecontrole (stap 2) en het identificeren van lacunes (stap 5), zijn bij elk gebruik relevant.

De ABA benadrukt dat het reviewen van AI-output niet fundamenteel verschilt van het superviseren van het werk van een junior medewerker. De standaard is dezelfde: je bent verantwoordelijk voor de nauwkeurigheid, integriteit en ethische naleving van alles wat onder jouw naam de deur uitgaat. AI verandert het proces, niet de verantwoordelijkheid.

De checklist inbedden in je workflow

Een checklist werkt alleen als je hem daadwerkelijk gebruikt. Drie suggesties om hem te integreren in je dagelijks werk.

Ten eerste: print hem uit en leg hem naast je scherm. Fysieke zichtbaarheid is een krachtige herinnering. Na een paar weken wordt het een gewoonte.

Ten tweede: bouw de checklist in je documentatieproces. Voeg aan elk AI-ondersteund werkstuk een kort verificatielog toe: welke stappen heb je doorlopen? Welke bronnen heb je gecontroleerd? Dit kost minuten en kan je uren besparen als er later vragen komen.

Ten derde: deel de checklist met je team. Maak er een gedeelde standaard van. Bespreek regelmatig ervaringen: welke stappen leveren het vaakst problemen op? Waar zijn de blinde vlekken? Collectief leren versnelt individuele groei.

De standaard zetten

In een beroep waar vertrouwen de basis is, is zorgvuldigheid geen keuze maar een verplichting. AI maakt je sneller, maar alleen een gestructureerd reviewproces maakt je betrouwbaar. De jurist die deze discipline nu opbouwt, onderscheidt zich in een markt waar steeds meer output wordt geproduceerd maar het vermogen om die output te beoordelen schaars blijft.