Marijn Rooijmans over de ‘human in the loop’, de geruststelling waar onze hele sector op leunt zodra het over AI gaat. Volgens hem biedt die menselijke controle schijnzekerheid en zegt ze meer over aansprakelijkheid dan over het werkelijk uitsluiten van fouten.
We hebben van human in the loop een soort toverformule gemaakt. ‘Ah, als er nog een mens naar kijkt dan is AI gebruik prima’ hoor ik vaak. Het is de standaard bezwering van kritische vragen over AI systemen in de juridische praktijk. Ik hoor het in de praktijk, lees het in aanbevelingen van de orde, eigenlijk overal. Sterker nog, ik zeg het zelf ook!
Maar wat zegt het nou echt?
Eind juli kwam naar buiten dat PwC, een van de grootste advieskantoren ter wereld, klanten rapporten had gestuurd vol verzonnen bronnen. Echt een hele dikke uitglijder van een super professionele partij. Er stonden fouten in die geen mens zou maken (klopt, want het waren AI hallucinaties). En reken maar dat er een mens naar dat rapport had gekeken voor het de deur uit ging, waarschijnlijk zelfs meerdere. En toch ging het mis.
En wie ontdekte de fouten? Een machine! De fouten werden gespot door een AI-detector die alle bronnen natrekt, geverifieerd door de Financial Times. Dezelfde detector betrapte dit jaar al Deloitte, EY en KPMG en nu dus ook PWC. De vier grootste kantoren ter wereld, partijen die hun klanten adviseren over verantwoord AI-gebruik.
Volgens mij staat dit niet op zichzelf.
In de Nederlandse juridische markt zijn de juridische AI-missers die rondgaan meestal van eenpitters en kleine kantoren die betrapt worden op verzonnen jurisprudentie. Daar doen we dan een beetje laatdunkend over in de trant van ‘prutsers die hun proces niet op orde hebben’. Om vervolgens te denken dat het ons niet zal overkomen. Maar is dat zo? Kijkend naar het buitenland twijfel ik daar zeer over, want dit voorjaar moest een van de meest prestigieuze kantoren ter wereld, Sullivan & Cromwell, door het stof bij een rechter voor een motie vol onjuiste en verzonnen citaten. Het kantoor gaf toe dat de eigen interne review de fouten niet had gevangen. Saillant is dat dit toevallig ook het kantoor is dat OpenAI (het bedrijf achter ChatGPT) adviseert over verantwoorde inzet van AI. Ze zijn niet de enigen. De menselijke eindcontrole beschermt je dus niet vanzelf, zoals ook de database die dit soort zaken wereldwijd bijhoudt laat zien.
En ik snap dat wel want controleren wordt steeds lastiger.
Toen de stagiair vroeger zijn eerste memo’s produceerde wist je als senior makkelijk te spotten waar het misging. Je legde dat werk langs je eigen maatstaf, je kende je pappenheimers, dus je had een instinct voor waar de fouten zaten. Bovendien, een mens die fouten maakt laat sporen na, een kromme redenering, een bron die half klopt, of iets anders dat schuurt.
Bij AI-output is dat er niet. Je krijgt een stuk dat er in alles perfect uitziet. Je senioren zitten iets te controleren dat gemaakt is om de controle te doorstaan.
Dan kun je wel van je mensen vragen om elke fout eruit te halen en dat willen ze ook oprecht, maar het is eigenlijk niet reëel om het van ze te verwachten. Je vraagt iets onmenselijks van ze. Zeker omdat AI-systemen steeds beter worden en er dus steeds minder fouten in zitten. Hoe zeldzamer de fout, hoe moeilijker het is om scherp te blijven op het moment dat hij langskomt. Ik schreef daar in april al over voor Advocatie.
Vandaar ook dat ik ook wat wantrouwen begin te ontwikkelen tegen partijen die nog steeds zeggen dat de kwaliteit van hun AI output geborgd is omdat er altijd nog een senior of een partner naar kijkt.
Dat op zichzelf zegt zo weinig namelijk. Als het onmenselijk is om fouten in AI output er met de hand uit te vissen, moet je het niet menselijk willen oplossen. Verzonnen bronnen, verkeerde citaten, onjuiste artikelen, machines zijn goed in het consequent spotten daarvan en mensen slecht. Is het dan niet sneu dat we elkaar allemaal voorhouden dat het juist andersom moet worden ingericht, dat mensen dat moeten checken?
Natuurlijk moet de mens in de loop blijven, maar draai het om. Laat een machine als eerste natrekken wat machinaal te controleren valt, en zet je mensen daar in het proces waar ze wél echt iets kunnen toevoegen. Dus niet om jurisprudentie en wetsartikelen te checken, maar om kritisch te beoordelen of iets klopt, of een redenering deugt.
Zolang dat niet expliciet het uitgangspunt is, ben ik bang dat de controle door je senior medewerkers of partners niet betekent dat je stukken geen fouten bevatten. Het betekent alleen maar dat je kantoor aansprakelijkheid aanvaardt.
Want als straks bij ons het eerste gerenommeerde kantoor door het stof moet, zal de vraag vast niet zijn of er wel een human in the loop was. Dat zal echt wel. De vraag is of je dan van die arme senior medewerker mocht verwachten dat hij of zij de fouten had voorkomen, of dat het kantoor haar mensen een onmenselijke taak gaf en dat controle noemde.
