Legal Prompt van de Week: Bronvalidatie met search aan

Elke week delen we op onze website de Legal Prompt van de Week om juristen te inspireren bij het gebruik van taalmodellen in hun dagelijkse werk. Of je nu op zoek bent naar een nieuwe invalshoek, een efficiëntere manier om informatie te analyseren of een innovatieve aanpak voor juridische vraagstukken, onze prompts helpen je slimmer gebruik te maken van taalmodellen en AI. Deze week laten we zien hoe je een taalmodel verwijzingen laat natrekken bij de officiële uitgever in plaats van ze af te schermen: we introduceren de Verified-Search Mode, een afgedwongen bronhiërarchie en een dekkingstabel waarin per bewering staat of de aangehaalde bron haar daadwerkelijk draagt. Volg ons via social media of schrijf je in voor onze nieuwsbrief om op de hoogte te blijven.

De keerzijde van No-Search Mode

In de editie over ECLI-validatie van 27 februari draaide alles om afsluiten. Geen web search, geen externe kennis, uitsluitend de tekst die je zelf aanlevert. Dat regime lost het probleem van verzonnen jurisprudentie op door het model geen ruimte te geven om iets te verzinnen, en voor de analyse van één uitspraak of één wetsartikel blijft het de juiste keuze.

Er hangt een prijs aan. Een afgesloten model kan niets verifiëren: het kan bevestigen dat een ECLI in jouw tekst voorkomt, niet dat die ECLI bestaat. Voor werk waarbij je verwijzingen daadwerkelijk wilt natrekken, of waarbij je wilt weten of een uitspraak inmiddels is bevestigd, vernietigd of achterhaald, moet search juist aan. Daarmee verandert het risicoprofiel volledig, en dat is het onderwerp van deze editie.

Alles wat hierna volgt werkt op openbare bronnen: rechtspraak.nl, EUR-Lex, wetten.overheid.nl, officielebekendmakingen.nl en de gepubliceerde tuchtrechtspraak. Dossiermateriaal en cliëntinformatie horen niet in een taalmodel thuis, en zeker niet in een sessie waarin het model naar buiten mag.

Echte bron, verkeerde bewering

Met search aan verdwijnt het risico van de verzonnen ECLI grotendeels, maar er komt een lastiger fout voor terug: een verwijzing die klopt, gekoppeld aan een bewering die er niet in staat. Dat gaat als volgt. Het model formuleert eerst een juridisch plausibele stelling, zoekt vervolgens naar een bron die daarbij past, vindt een bestaande uitspraak over hetzelfde onderwerp en ziet in het zoekresultaat een fragment dat in de buurt komt. De ECLI is echt, de link werkt, de rechtbank bestaat, en de rechtsoverweging die de stelling zou moeten dragen ontbreekt.

Dit type fout overleeft vrijwel elke controle die in de praktijk wordt uitgevoerd. Je klikt, je ziet een echte uitspraak over het juiste onderwerp, en je gaat door. Alleen wie de overweging zelf opzoekt merkt dat de dekking er niet is, en dat is precies de stap die overgeslagen wordt bij een verwijzing die er betrouwbaar uitziet.

Daar komt de aard van zoekresultaten bij. Een zoekmachine rangschikt op relevantie en vindbaarheid, niet op gezag, waardoor een goed geschreven blog over een arrest vaak hoger staat dan het arrest zelf. Een model dat mag zoeken zonder opgelegde bronhiërarchie citeert dan de samenvatting van de samenvatting, met alle vertekening die onderweg is ontstaan.

Drie regimes, drie momenten

Werken met search vraagt om een bewuste keuze per taak, en die keuze maak je vooraf. In het gesloten regime analyseer je één tekst die jij aanlevert, zonder search en zonder externe kennis. Dat is het regime uit de februari-editie, geschikt voor het ontleden van een uitspraak, een wetsartikel of je eigen concept.

Het regime dat je in verreweg de meeste gevallen wilt, is gesloten met een aparte verificatieronde. Je laat de analyse gesloten uitvoeren en zet daarna in een schoon gesprek search aan met één enkele opdracht: controleer elke verwijzing. Doordat de analyse en de verificatie elkaar niet raken, is het model tijdens de controle niet gemotiveerd om zijn eigen eerdere conclusie overeind te houden. Die scheiding kost je een minuut en levert het meeste op.

Het derde regime is open zoeken met brondiscipline, voor het geval dat je nog niet weet of iets bestaat, bijvoorbeeld bij recente rechtspraak over een specifieke vraag. Hier heb je geen aangeleverde tekst die het model begrenst, dus de bronhiërarchie is het enige wat je beschermt tegen een net iets te behulpzaam antwoord.

Het protocol voor niet gevonden

Het scharnier van deze editie zit in wat er gebeurt als de zoekopdracht niets oplevert. Een taalmodel dicht dat gat met een naderende formulering: waarschijnlijk, vermoedelijk, in vergelijkbare zin. Op dat moment verandert een controle in een nieuwe hallucinatie, en wel eentje die extra overtuigend oogt omdat er een verificatieronde omheen zit.

Er zijn drie mogelijke uitkomsten per verwijzing en het model moet er expliciet één kiezen: gevonden en gedekt door een aanwijsbare passage, gevonden maar zonder passage die de bewering draagt, of niet gevonden bij de officiële uitgever. In het derde geval vervalt de bewering, zonder tussenoordeel en zonder benadering. Die hardheid is de reden dat het protocol werkt.

Concrete prompts

Verified-Search Mode

Wanneer gebruiken Bij het natrekken van verwijzingen in een tekst, in een schoon gesprek, los van de analyse die de verwijzingen opleverde.

Waarvoor Verificatie zonder dat het model zijn eigen eerdere conclusies verdedigt.

Verified-Search Mode.

Je taak is uitsluitend verificatie. Je voegt geen analyse,
geen duiding en geen nieuwe verwijzingen toe.

Voor elke verwijzing in de tekst hieronder:
1. Zoek de bron op bij de officiele uitgever
   (rechtspraak.nl, EUR-Lex, wetten.overheid.nl,
   officielebekendmakingen.nl, tuchtrecht.nl).
2. Bepaal of de bron bestaat.
3. Bepaal of de bewering die aan de bron wordt gekoppeld
   wordt gedekt door een aanwijsbare passage in die bron.
4. Citeer die passage letterlijk, met vindplaats
   (rechtsoverweging, artikellid of randnummer).

Geef per verwijzing exact een van deze drie uitkomsten:
- GEDEKT: bron bestaat en passage dekt de bewering
- NIET GEDEKT: bron bestaat, passage ontbreekt
- NIET GEVONDEN: bron niet aangetroffen bij de officiele uitgever

Bij NIET GEVONDEN vervalt de bewering. Formuleer geen
benadering en geen waarschijnlijkheid.

Bronhiërarchie afdwingen

Wanneer gebruiken Bij open zoekopdrachten waarbij je nog niet weet welke bronnen er zijn.

Waarvoor Voorkomen dat samenvattingen, blogs en aggregators als grondslag dienen.

Gebruik uitsluitend primaire bronnen als grondslag:
- rechtspraak.nl voor Nederlandse uitspraken
- EUR-Lex voor EU-wetgeving en HvJ-rechtspraak
- hudoc.echr.coe.int voor EHRM-rechtspraak
- wetten.overheid.nl voor geldende wetteksten
- officielebekendmakingen.nl voor Kamerstukken en consultaties
- tuchtrecht.nl voor tuchtrechtspraak

Secundaire bronnen (blogs, nieuwsberichten, samenvattingen,
commentaren) mag je gebruiken om iets te vinden, nooit om
iets te onderbouwen.

Label elke gebruikte bron als PRIMAIR of SECUNDAIR.
Elke conclusie die uitsluitend op een SECUNDAIRE bron rust,
markeer je als ONBEVESTIGD.

Dekkingstabel

Wanneer gebruiken Voordat een stuk met verwijzingen de deur uitgaat.

Waarvoor In een oogopslag zien welke verwijzingen daadwerkelijk dragen.

Zet je bevindingen in een tabel met deze kolommen:

| Bewering in de tekst | Verwijzing | Vindplaats in de bron |
| Letterlijke passage | Dekking (ja/nee) | Bronstatus |

Vul geen kolom in met een aanname. Als een kolom niet kan
worden ingevuld op basis van de gevonden bron, schrijf je
"niet vast te stellen".

Sluit af met een lijst van alle beweringen met dekking "nee".

Actualiteitscheck

Wanneer gebruiken Bij uitspraken en wetgeving waarvan je de status wilt weten.

Waarvoor Zien of je op een achterhaalde versie bouwt.

Controleer per verwijzing de actuele status:
- Is de wettekst nog geldend op vandaag, en zo nee,
  sinds wanneer niet meer?
- Is de uitspraak in hoger beroep of cassatie gevolgd,
  vernietigd of bevestigd?
- Is er een latere uitspraak van een hogere instantie
  over dezelfde rechtsvraag?

Vermeld per antwoord de vindplaats waarop je dit baseert.
Als je de status niet kunt vaststellen bij de officiele
uitgever, schrijf dan "status niet vastgesteld" en geef
aan waar dit handmatig te controleren is.

Wat je zelf blijft doen

Een dekkingstabel vervangt het lezen van de uitspraak niet, en dat is ook niet de bedoeling. Wat het model met search wel doet, is de plek aanwijzen waar je moet kijken en zichtbaar maken welke beweringen nergens op rusten. In een open zoeksessie gaat het doorgaans om een kwart tot de helft van de gevonden verwijzingen, wat het verschil maakt tussen een controle van tien minuten en een middag lezen.

Daarmee verandert de aard van je controle. Je opent de bronnen bij de regels waar dekking ontbreekt en slaat de rest over, in plaats van alles vluchtig te bekijken. Wie het zonder dekkingstabel doet, controleert het hardst op de verwijzingen die er betrouwbaar uitzien, en dat is precies waar de fout zit.