Dreigen, een fooi beloven of het model vragen zich voor te doen als expert levert bij recente taalmodellen gemiddeld geen betere antwoorden op. Dat blijkt uit een reeks gecontroleerde tests van de Generative AI Labs van de Wharton School, waarin onderzoekers vijf taalmodellen duizenden examenvragen lieten beantwoorden met en zonder zulke toevoegingen. Ethan Mollick, een van de auteurs, concludeert in zijn nieuwe boek Co-Existence dat het werk verschuift van het vinden van de juiste formulering naar het meegeven van de juiste context. Voor juristen schuurt dat advies, omdat de context die een model het meest zou helpen vaak onder het beroepsgeheim valt. Bij TIL zien we daarin de vaardigheid die er nu toe doet: bepalen welke context het model nodig heeft, en welke het niet mag zien.
Wat het Wharton-onderzoek naar prompttrucs heeft gemeten
De onderzoekers werken met benchmarks: vaste sets toetsvragen met één juist antwoord, waarmee je meet hoe vaak een model goed scoort. Ze gebruikten meerkeuzevragen op promotieniveau uit de natuurwetenschappen en een tweede set die ook rechtsvragen bevat. Elke vraag stelden ze vele keren, zodat toevalstreffers tegen elkaar wegvallen.
In het derde rapport, uit augustus 2025, voegden de onderzoekers dreigementen en beloningen toe aan de vragen. Over de hele linie had dat geen meetbaar effect op de score. Het vierde rapport, uit december 2025, toetste expertrollen. Een rol als "je bent een expert in dit vakgebied" verbeterde de score op één model na niet, ook niet als de expertise precies bij de vraag paste. Rollen die weinig kennis suggereren, zoals een leek of een kleuter, verlaagden de score juist vaak. Het tweede rapport, uit juni 2025, keek naar de instructie om stap voor stap te redeneren. Bij modellen die al een ingebouwde redeneerstap hebben, leverde die instructie nauwelijks iets op en kostte ze vooral extra rekentijd. Veel modellen bleken uit zichzelf al op die manier te redeneren.
Twee kanttekeningen horen erbij. Per afzonderlijke vraag kan een andere formulering wel degelijk verschil maken, alleen is vooraf niet te voorspellen in welke richting. Dat bleek al uit het eerste rapport, waarin beleefdheid de ene keer hielp en de andere keer schaadde. Daarnaast meten meerkeuzevragen feitelijke juistheid. Het schrijven van een memo of een clausule is een ander soort taak, en de onderzoekers wijzen er zelf op dat een rol de toon van een antwoord wel verandert. De conclusie die het onderzoek draagt, is dat trucs die de kennis van een model zouden moeten opvoeren dat niet doen.
Een expertrol maakt een juridisch antwoord niet juister
Veel promptgidsen voor juristen beginnen met het toekennen van een rol, ook deze praktische gids van de Universiteit van Wisconsin uit november 2025. Het Wharton-onderzoek laat zien wat zo'n rol doet. Een taalmodel heeft geen verborgen expertstand die je met de juiste aanhef activeert. Wat het weet, ligt vast in de training. Een rol stuurt woordkeuze en register, en daarmee hoe deskundig het antwoord klinkt.
Voor juristen is dat verschil relevant, omdat een antwoord dat klinkt als dat van een ervaren advocaat makkelijker wordt vertrouwd. Wij raden aan de rol te vervangen door wat je er eigenlijk mee bedoelde: voor wie de tekst is, met welk doel, en op welk niveau. "Schrijf voor een bestuurder zonder juridische achtergrond" geeft het model bruikbare informatie. "Je bent een topadvocaat" geeft het model alleen een toon.
Context engineering werkt als een goede opdracht aan een collega
Anthropic, de maker van Claude, beschreef context engineering in september 2025 als de volgende stap na prompt engineering. Het gaat om het bewust samenstellen van alle informatie die een model tijdens een taak tot zijn beschikking heeft, met zo min mogelijk ruis. Mollick vertaalt dat naar delegeren. Een opdracht van één regel levert een tekst op die de vorm heeft van wat je vroeg, zonder de inhoud die je bedoelde. Het model kent jouw organisatie, jouw lezer en jouw maatstaf niet, en vult de gaten met gemiddelden.
Wie een stagiair een notitie laat schrijven, vertelt welke vraag beantwoord moet worden, onder welk recht, voor welke lezer, welke bronnen tellen en wanneer het resultaat goed is. Een taalmodel heeft dezelfde informatie nodig. Daar hoort ook bij hoe het model moet omgaan met wat het niet weet. In onze Legal Prompt van de Week over het Herkomstlabel lieten we zien dat een model zonder die instructie ontbrekende informatie zelf invult, en dat je dat achteraf in de tekst niet meer terugziet.
Context geven zonder het beroepsgeheim te raken
Hier botst het advies om meer context te geven met de praktijk van juristen. Vertrouwelijke clientstukken horen niet in een algemeen taalmodel, hoe nuttig ze als context ook zouden zijn. Wij denken dat dit de verschuiving naar context minder hindert dan het lijkt, omdat de meest waardevolle context zelden clientgebonden is.
Neem het opstellen van een modelclausule over aansprakelijkheidsbeperking in een softwareovereenkomst. Het model wordt beter van de mededeling dat het om Nederlands recht gaat, dat je de afnemer bijstaat, dat de tekst wordt gelezen door een inkoopafdeling, dat je korte zinnen wilt, en dat het moet aangeven waar het onzeker is. Een geanonimiseerde modeltekst uit eigen archief als voorbeeld van de gewenste stijl helpt ook. Openbare bronnen zoals wetgeving en gepubliceerde rechtspraak kun je zonder bezwaar meegeven. Geen van die elementen raakt een cliënt.
Context die wel clientgegevens bevat, kan alleen in een afgeschermde omgeving met een verwerkersovereenkomst, waarin de aanbieder niet traint op jouw invoer, en waar mogelijk na anonimisering vooraf. Ons standpunt is dat de verschuiving naar context het belang van zo'n goedgekeurde werkomgeving vergroot. Wie het model meer wil vertellen, moet eerst weten in welke omgeving dat mag.
Wat een organisatie nu kan vastleggen in promptbibliotheek en AI-beleid
Een bestaande promptbibliotheek verdient een opschoonronde. Dreigementen, beloningen en standaardrollen kunnen eruit. De ruimte die vrijkomt, gebruik je voor een taakbeschrijving: doel, lezer, rechtsgebied, kwaliteitseisen en de omgang met bronnen en onzekerheid.
Voor terugkerende taken loont het om vaste contextblokken te maken, zoals een standaardinstructie voor het samenvatten van openbare rechtspraak of voor het opstellen van een eerste opzet van een modeltekst. Medewerkers zetten zo'n blok in een project of in de aangepaste instructies van hun tool, zodat ze de context niet elke keer opnieuw hoeven te typen.
In het AI-beleid leg je per werkomgeving vast welke soorten context er mogen worden ingevoerd. Dat geeft medewerkers houvast op het moment dat ze de keuze maken.
Omdat het effect van een formulering per vraag onvoorspelbaar blijft, is het verstandig nieuwe instructies te testen op een handvol eigen voorbeeldtaken zonder clientgegevens voordat ze in de bibliotheek komen. En de vaardigheid zelf, een opdracht helder formuleren, hoort thuis in de AI-geletterdheid die artikel 4 van de AI-verordening van organisaties vraagt.