Starten met AI in tien stappen, stap 2: fouten in AI-antwoorden voorkom je grotendeels voordat je de vraag stelt
Fouten in AI-antwoorden, vaak hallucinaties genoemd, ontstaan doordat een taalmodel een aannemelijk antwoord samenstelt in plaats van feiten op te zoeken. Het grootste deel voorkom je door het model aan echte bronnen te koppelen, het ruimte te geven om te zeggen dat het iets niet weet en het te laten aanwijzen waar elke bewering vandaan komt. Wat dan overblijft, controleer je gericht en in verhouding tot wat je met het antwoord gaat doen. Dat is minder werk dan veel juristen denken, en het is de vaardigheid die het verschil maakt tussen AI die tijd kost en AI die tijd oplevert.
Hoe groot het probleem is, laat de database van onderzoeker Damien Charlotin zien. Op 10 oktober 2026 telt die wereldwijd 2.184 rechterlijke uitspraken waarin AI-gegenereerde, niet-bestaande bronnen een rol speelden, waarvan zeven uit Nederland. Een recent Nederlands voorbeeld is de uitspraak van de rechtbank Amsterdam van 12 augustus 2026. Een conclusie van antwoord bevatte een citaat uit een arrest van de Hoge Raad dat in dat arrest en in geen enkele andere gepubliceerde uitspraak voorkomt. Of AI was gebruikt, liet de rechtbank in het midden. Ze verhoogde wel de proceskostenveroordeling, omdat de wederpartij en de rechtbank tijd kwijt waren aan het nazoeken.
Waarom een taalmodel overtuigend fout kan zitten
In stap 1 zag je dat een taalmodel een antwoord samenstelt op basis van patronen uit trainingstekst. OpenAI legt in een publicatie over het ontstaan van hallucinaties uit dat de manier waarop modellen worden getraind en getest gokken beloont. Een model dat een zelfverzekerd antwoord geeft, scoort in veel tests beter dan een model dat toegeeft het niet te weten. Zeldzame feiten, zoals een specifiek arrest of een artikelnummer, vult het model daardoor in met iets wat er plausibel uitziet.
Gespecialiseerde juridische tools hebben dat probleem in mindere mate. Onderzoekers van Stanford testten de AI-functies van grote Amerikaanse juridische databanken en vonden dat die bij 17 tot 33 procent van de vragen een hallucinatie bevatten, minder dan een algemeen taalmodel zonder bronnen. De onderzoekers concluderen dat het koppelen van een model aan een databank met echte bronnen fouten flink terugdringt zonder ze uit te bannen. Die techniek heet retrieval-augmented generation, kortweg RAG: het model zoekt eerst relevante documenten op en baseert zijn antwoord daarop.
Fouten voorkomen aan de voorkant
De meeste winst haal je voordat het model begint te schrijven. Vijf technieken werken bij elke tool.
Geef het model de bron zelf. Wil je iets weten over een openbare uitspraak of wettekst, download die dan en voeg hem toe aan je vraag. Het model werkt dan met de echte tekst in plaats van met een herinnering eraan. Anthropic, de maker van Claude, beveelt in zijn handleiding voor het beperken van hallucinaties aan om het model eerst letterlijke passages uit het document te laten halen en pas daarna te laten redeneren.
Laat het model zoeken in echte bronnen. Zet de zoekfunctie aan als je tool die heeft, of gebruik een tool die is gekoppeld aan een juridische databank. Een voorbeeld is de koppeling van Moonlit, een Nederlands platform voor wetgeving en rechtspraak. Zo'n koppeling heet een connector: een verbinding waarmee een chatbot in een externe bron kan zoeken. De connector van Moonlit werkt volgens de eigen beschrijving van Moonlit met onder meer Claude, ChatGPT en Copilot, doorzoekt wetgeving, rechtspraak en publicaties van toezichthouders, laat zien welke uitspraken naar elkaar verwijzen en geeft bij elk resultaat een link naar de vindplaats. Er is een gratis instapvariant met een beperkt aantal zoekopdrachten per maand. Je stelt je vraag dan gewoon in de chatbot, en het model haalt zijn antwoord uit de databank in plaats van uit zijn geheugen.
Geef het model ruimte om te zeggen dat het iets niet weet. Dat klinkt vanzelfsprekend, maar zonder die uitnodiging vult een model gaten liever op. Anthropic noemt dit in dezelfde handleiding als eerste techniek.
Vraag een bron bij elke bewering. Laat het model elke stelling koppelen aan een wetsartikel of uitspraak, met vindplaats, en laat het beweringen schrappen die het niet kan onderbouwen.
Baken je vraag af. Noem het rechtsgebied, Nederlands recht en zo nodig de periode. Hoe ruimer de vraag, hoe meer het model moet invullen.
Samen ziet dat er bijvoorbeeld zo uit, voor een bedrijfsjurist die een vraag over het huurrecht verkent:
Ik ben bedrijfsjurist. Beantwoord de volgende vraag naar Nederlands recht: wanneer kan een verhuurder van bedrijfsruimte de huur opzeggen wegens dringend eigen gebruik? Zoek de relevante wetsartikelen en rechtspraak op. Geef bij elke bewering de bron met een link. Citeer bij rechtspraak letterlijk de passage waarop je je baseert, met het nummer van de rechtsoverweging. Weet je iets niet of vind je geen bron, zeg dat dan in plaats van te gokken.
Hoe je een model een uitspraak echt laat lezen
Een algemeen taalmodel zonder zoekfunctie leest geen rechtspraak. Noemt het een uitspraak, dan komt die uit zijn trainingsteksten, als het die al heeft gezien, en daar zit de kans op verwisselde datums, verkeerde ECLI-nummers en verzonnen citaten. Wil je dat een model een uitspraak werkelijk doorneemt, dan moet de volledige tekst in het gesprek komen.
Daar zijn twee routes voor. De eerste is zelf de uitspraak downloaden van rechtspraak.nl en toevoegen. Dat werkt goed voor één of enkele openbare uitspraken, en je weet precies welke tekst het model voor zich heeft. De tweede is een connector zoals die van Moonlit, die een uitspraak opzoekt en de volledige tekst ophaalt. Vraag in beide gevallen om letterlijke citaten met het nummer van de rechtsoverweging. Dan kun je in een paar seconden zien of de passage er echt staat.
Eén beperking blijft. Ook met een goede connector leest het model wat de zoekopdracht oplevert. Of daarmee alle relevante rechtspraak is gevonden, weet je niet zeker. De tool kiest welke documenten hij ophaalt, en een uitspraak met andere bewoordingen kan buiten de zoekresultaten vallen. Het oordeel of je onderzoek volledig is, blijft dus bij jou. Bij lange uitspraken komt daar nog bij dat een tool niet onbeperkt tekst tegelijk kan verwerken; daarover gaat stap 7.
Waarom je niet alles hoeft te controleren
Controleren is noodzakelijk, maar de mate ervan hangt af van wat je met het antwoord doet. Laat je een begrip uitleggen om zelf beter te begrijpen waar een vraagstuk over gaat, dan volstaat een globale toets aan je eigen kennis. Gaat een bron, citaat of feit in een stuk dat je organisatie verlaat, zoals een advies, een besluit, een processtuk of een memo aan het bestuur, dan controleer je die ene bron wel altijd. De NOvA zegt dat voor advocaten met zoveel woorden in haar aanbevelingen over AI: citaten, rechtspraak en feiten handmatig controleren voordat je ze gebruikt, en alleen tools gebruiken met bronvermelding. Voor andere juristen is dat dezelfde norm van zorgvuldigheid.
Wie de technieken hierboven toepast, merkt dat die controle snel gaat. Een antwoord met een link en een letterlijk citaat bij elke bron controleer je in seconden per bron. Een antwoord zonder bronnen kun je eigenlijk alleen opnieuw uitzoeken. Het werk zit dus vooral in hoe je de vraag stelt. Welke gevolgen een gemiste controle kan hebben, liet de Raad van Discipline in 's-Hertogenbosch op 27 juli 2026 zien: een advocaat kreeg een berisping nadat zij rechtspraak uit een AI-tool ongecontroleerd in processtukken had overgenomen, met een ECLI-nummer dat niet bestond en zeven uitspraken die iets anders inhielden dan zij stelde.
Zo controleer je een antwoord in een paar minuten
Deze controles kosten weinig tijd en vangen de meeste fouten:
Open elk ECLI-nummer. Zoek het op via rechtspraak.nl. Een ECLI bestaat uit vijf vaste onderdelen, waaronder de code van de instantie en het jaar. Klopt de instantie of het jaar niet met wat het model zegt, dan is dat al een signaal.
Zoek het citaat letterlijk op. Gebruik de zoekfunctie van je browser of pdf-lezer en zoek op een kenmerkend stukje van de geciteerde zin. Vind je het niet, dan staat het er niet.
Lees de rechtsoverweging. Een bestaande uitspraak kan iets anders zeggen dan het model beweert. Lees de genoemde overweging en de alinea ervoor.
Controleer wetsartikelen op de geldende versie. Op wetten.overheid.nl kun je zien welke tekst op een bepaalde datum gold. Modellen noemen soms een oude versie of een vernummerd artikel.
Let op de datum. Vraag je naar recente ontwikkelingen, controleer dan of het model zocht of uit zijn trainingsteksten put. Zonder zoekactie kent het niets van na zijn kennisdatum.
Een extra hulpmiddel is dezelfde vraag stellen in een nieuw gesprek of een tweede tool. Wijken de antwoorden op een punt sterk af, dan weet je waar je moet zoeken. Ook dat beveelt Anthropic aan. De eindcontrole blijft wel jouw werk: een tweede model kan dezelfde fout maken.
Wat wij juristen adviseren
Bij TIL zien we dat juristen die AI na een paar mislukte pogingen opgeven, meestal met een algemeen model naar rechtspraak hebben gevraagd zonder bron of zoekfunctie. Dat is precies het gebruik waarbij de kans op fouten het grootst is. Onze lezing is daarom dat je een algemeen taalmodel zonder bronnen gebruikt voor uitleg, structuur en schrijfwerk, en voor rechtspraak en wetgeving altijd een route kiest waarbij het model met de echte tekst werkt: een toegevoegd document, de zoekfunctie of een juridische connector. Met die verdeling verdwijnt het grootste deel van de fouten, en blijft de controle beperkt tot het nalopen van bronnen die je met één klik opent. In onze Legal Prompt van de Week over het beperken van hallucinaties vind je meer instructies die je hiervoor kunt gebruiken.
De oefening van deze week
Pak de vraag uit stap 1 er weer bij, met je aantekeningen over wat er misging. Stel dezelfde vraag opnieuw, nu met de voorbeeldinstructie hierboven en met de zoekfunctie aan. Heb je geen tool met zoekfunctie, voeg dan zelf een openbare uitspraak of wettekst toe die over het onderwerp gaat en laat het model alleen op dat document antwoorden.
Leg de twee antwoorden naast elkaar. Controleer drie bronnen uit het nieuwe antwoord met de stappen uit de vorige paragraaf en houd bij hoeveel tijd dat kost. De meeste deelnemers aan onze trainingen zijn verrast hoe snel dat gaat zodra er links en citaten bij staan.
Volgende week in de reeks
In stap 3 gaat het over het account waarmee je werkt. Gratis of betaald, privé of via je organisatie: het maakt veel uit voor wat er met je invoer gebeurt, voor persoonsgegevens en voor vertrouwelijke informatie. We laten zien welke instellingen je zelf kunt aanpassen en wanneer een zakelijk account nodig is.