Legal Prompt van de Week: Analist, reviewer, beslisser

Elke week delen we op onze website de Legal Prompt van de Week om juristen te inspireren bij het gebruik van taalmodellen in hun dagelijkse werk. Of je nu op zoek bent naar een nieuwe invalshoek, een efficiëntere manier om informatie te analyseren of een innovatieve aanpak voor juridische vraagstukken, onze prompts helpen je slimmer gebruik te maken van taalmodellen en AI. Deze week laten we zien waarom een model dat zijn eigen analyse nakijkt structureel de belangrijkste fout mist, en hoe je dat oplost door drie rollen uit elkaar te trekken: we introduceren de Analist-prompt, de blinde Reviewer-prompt en de Tegenlezer met bewijslast. Volg ons via social media of schrijf je in voor onze nieuwsbrief om op de hoogte te blijven.

Waarom zelfcontrole een plafond heeft

De Second-Pass Self-Check uit onze reeks over hallucinaties laat het model zijn eigen antwoord nakijken, en dat werkt tot op zekere hoogte. Het model vindt slordigheden, ontbrekende bronvermeldingen en formuleringen die stelliger zijn dan de bron toelaat. Wat het vrijwel nooit vindt, is de aanname waarop de hele analyse rust.

Daar zit een structurele reden achter. Alles wat in een gesprek staat, behandelt een taalmodel als gegeven context, ook zijn eigen output van twintig regels eerder. Die eerdere analyse is voor het model geen te toetsen stelling, maar de vaststaande achtergrond waartegen de volgende zin wordt voorspeld. Vraag je om controle, dan krijg je controle binnen een kader dat zelf buiten schot blijft.

Daar komt bij dat modellen zijn getraind op behulpzaamheid en op consistentie met wat er al staat. Een model dat halverwege een gesprek concludeert dat zijn eigen eerdere analyse fundamenteel niet deugt, doet iets waar de training het niet naartoe duwt. De oplossing zit daarom niet in een strengere controle-instructie, maar in het scheiden van rollen.

Drie rollen, en waar ze ophouden

De analist ontleedt de bron en trekt geen conclusie. Die rol kennen we uit de editie Analyse zonder conclusie van 6 maart: gesloten werken op één aangeleverde openbare tekst, en een geordende weergave leveren van wat er staat. De analist is de enige rol die inhoudelijk mag produceren.

De reviewer voegt niets toe. Deze rol controleert of de analyse gedekt wordt door de bron, markeert aannames en benoemt wat ontbreekt, zonder te verbeteren, te herschrijven of een alternatief voor te stellen. Zodra een reviewer gaat verbeteren is hij een tweede analist geworden, en daarmee verdwijnt de controlefunctie waar het om begonnen was.

De beslisser ben jij, en die rol is niet delegeerbaar. Dat is geen kwestie van voorzichtigheid maar van aansprakelijkheid: het trekken van een juridische conclusie is een professionele handeling waarvoor iemand tuchtrechtelijk en contractueel aanspreekbaar moet zijn. Wat deze editie oplevert, is dat de eerste twee rollen technisch uit elkaar liggen, zodat de derde iets te beslissen heeft.

Blind reviewen

De scheiding werkt alleen wanneer de reviewer niet weet wat de gewenste uitkomst is, en daar gaat het in de praktijk op drie manieren mis. Geef je de reviewer mee wat je aan het onderbouwen was, dan zoekt hij naar bevestiging; lever daarom de analyse en de bron, en houd het doel erbuiten. Formuleringen als "controleer mijn analyse" of "kijk of ik dit goed zie" verschuiven de toon merkbaar richting instemming, terwijl "controleer deze analyse" dat niet doet. En een review in hetzelfde gesprek is geen review, want met de geschiedenis erbij ben je terug bij zelfcontrole.

Een extra laag ontstaat wanneer je een ander model als reviewer gebruikt. Twee modellen delen niet dezelfde blinde vlekken en verzinnen zelden dezelfde verwijzing, waardoor een fout die het ene model overtuigend vindt bij het andere opvalt. Voor stukken die naar buiten gaan is die extra ronde de moeite waard.

Concrete prompts

Analist

Wanneer gebruiken Bij het ontleden van een gepubliceerde uitspraak, wettekst of Kamerstuk.

Waarvoor Een geordende weergave zonder conclusie, geschikt om te laten reviewen.

Je bent analist. Je taak is ontleden, niet oordelen.

Werk uitsluitend met de tekst hieronder. Gebruik geen
externe kennis en geen web search.

Lever:
1. De feiten zoals de tekst die vaststelt, met vindplaats.
2. De juridische vragen die de tekst behandelt.
3. Per vraag: de overweging waarin het antwoord staat,
   letterlijk geciteerd met vindplaats.
4. Wat de tekst uitdrukkelijk in het midden laat.

Trek geen conclusie. Geef geen advies. Formuleer geen
betekenis voor andere zaken.

Markeer elke stap die niet rechtstreeks uit een aanwijsbare
passage volgt met [AFLEIDING] en vermeld waarop die berust.

Reviewer, blind

Wanneer gebruiken In een schoon gesprek, met de analyse en de bron, zonder de vraagstelling.

Waarvoor Controle die niet meebeweegt met de gewenste uitkomst.

Je bent reviewer. Je voegt niets toe.
Hieronder staan twee stukken: een bron en een analyse van
die bron. Je weet niet wie de analyse heeft gemaakt en met
welk doel. Dat is niet relevant voor je taak.

Controleer uitsluitend op:
- beweringen zonder aanwijsbare passage in de bron
- aannames die als vaststaand worden gepresenteerd
- elementen uit de bron die de analyse weglaat en die het
  beeld zouden veranderen
- conclusies die verder gaan dan de bron toelaat

Het is verboden:
- de analyse te herschrijven of te verbeteren
- alternatieve formuleringen voor te stellen
- nieuwe bronnen of kennis toe te voegen
- de analyse in het geheel te beoordelen als goed of slecht

Lever een genummerde lijst bevindingen. Per bevinding:
de betrokken passage uit de analyse, wat er ontbreekt,
en de plaats in de bron waar dat blijkt.
Als je niets vindt, schrijf dan "geen bevindingen" en stop.

Tegenlezer met bewijslast

Wanneer gebruiken Bij stukken die naar buiten gaan, als derde ronde.

Waarvoor Voorkomen dat een reviewer vage kritiek levert die niets kost.

Je bent tegenlezer. Elke opmerking die je maakt, moet je
kunnen dragen met een letterlijke passage uit de bron.

Opmerkingen zonder aanwijsbare passage laat je weg. Ook als
je het gevoel hebt dat er iets niet klopt.

Rangschik je opmerkingen op zwaarte:
- DRAAGT NIET: de analyse steunt op iets dat er niet staat
- ONVOLLEDIG: er ontbreekt iets uit de bron dat het beeld raakt
- PRECISIE: de formulering is ruimer of stelliger dan de bron

Geef per opmerking de passage uit de analyse, de passage uit
de bron, en niets anders.

Beslisdocument

Wanneer gebruiken Na analyse en review, voordat jij beslist.

Waarvoor Zichtbaar maken welke keuzes bij jou liggen.

Vat de review samen tot een beslisdocument.

Per punt:
- Wat staat vast op basis van de bron
- Wat is betwist of onvolledig
- Welke keuze ligt hier voor
- Welke informatie zou die keuze doorslaggevend beinvloeden

Formuleer geen aanbeveling en spreek geen voorkeur uit.
Sluit af met de lijst punten waarover nog niet is beslist.

Vastleggen in aparte assistenten

Rollen die je elke keer opnieuw uittypt, verwateren. De analist wordt in een week of drie langzaam een adviseur, de reviewer begint te verbeteren, en niemand merkt het moment waarop dat gebeurt. Werkbaar wordt het zodra je de rollen vastlegt als afzonderlijke assistenten met een eigen systeemprompt, met een vaste route ertussen.

Daarmee wordt de scheiding een eigenschap van je werkwijze in plaats van een instructie die je op een drukke dag vergeet. Het maakt bovendien zichtbaar wie wat heeft gedaan, wat de basis vormt voor de vastlegging die volgende week aan bod komt. Alle voorbeelden in deze editie werken op openbaar materiaal: gepubliceerde uitspraken, wetteksten, Kamerstukken en je eigen concepten, want dossierstukken gaan niet in een taalmodel, ook niet in een gesloten sessie.

‍ ‍