Advocatenkantoren schermen met de ‘human in the loop’ als garantie voor kwaliteit. Marijn Rooijmans verdiepte zich in het effect van AI op het menselijk brein en trekt een ongemakkelijke conclusie: de ‘human in the loop’ aanpak biedt schijnzekerheid en is op termijn onhoudbaar. Niet omdat lawyers het niet willen, maar omdat ons brein er neurobiologisch niet voor gebouwd is.
Naar aanleiding van een column hier op Advocatie sprak ik een tijdje geleden bij een advocatenkantoor over AI en wat dat met ons doet. Goed gesprek. Slimme mensen, maar achteraf hield ik er toch een onbestemd gevoel aan over.
‘Dit gaat niet over mij.’
Niemand zei het letterlijk, maar het was wel een beetje de ondertoon. De zorg over de impact van Artifical Intelligence gold voor de juniors, de stagiaires, de mensen die het vak nog moeten leren en die misschien op een dag overbodig zouden zijn door AI. De ervaren lawyers hadden niet het gevoel dat de technologie een probleem voor henzelf zou kunnen worden, althans ik merkte dat niet. Ze zien zichzelf alleen als degenen die de AI-output beoordelen, die de kwaliteit bewaken. Zij zijn de human in the loop waar alle kantoren mee schermen.
En dat klopt, maar het is precies daar waar ik een blinde vlek zie.
Toezicht houden is zwaarder dan zelf doen
In alle eerlijkheid, ik ben zelf een zware AI-gebruiker en had er zelf dan ook niet eerder bij stilgestaan. Tot een hersenwetenschapper van de VU, die ik voor m’n talk raadpleegde, wees op een studie die Boston Consulting Group begin dit jaar publiceerde in de Harvard Business Review. Die gaat over wat ze AI brain fry noemen. BCG onderzocht 1.488 werkenden en kwam tot een conclusie die mij aan het denken zette: de meest mentaal belastende vorm van AI-gebruik blijkt namelijk niet het gebruik zelf, maar het toezicht houden op dat wat AI produceert.
Werknemers die veel oversight doen op wat AI levert, zoals de human in the loop bij advocatenkantoren, leveren 14% meer mentale inspanning. Ze rapporteren 12% meer mentale vermoeidheid, 19% meer informatie-overload en 33% meer beslissingsmoeheid. En ze maken 39% meer grote fouten.
Betere AI, minder waakzaamheid
Mijn zorg werd nog concreter toen ik dit artikel las van de Operations, Information and Decisions faculteit van Wharton (een bekende US business school).
Moderne AI maakt fouten. Het worden er steeds minder, maar het blijft moeilijk te voorspellen waar de fouten zich voordoen. Vandaar ook dat kantoren genoodzaakt zijn tot menselijk toezicht. Maar naarmate AI betrouwbaarder wordt, wordt dat toezicht houden steeds zwaarder voor je hersenen, omdat de concentratie steeds minder ‘beloond’ wordt met het vinden van fouten. Wharton noemt dit de human-AI contracting paradox: organisaties die human-in-the-loop verplichten zonder de beloning en accountability opnieuw te ontwerpen, creëren in feite een illusie van controle en regie, want die wordt in de werkelijkheid niet waargemaakt.
De human in the loop die nu te pas en onpas wordt aangehaald, biedt dan niet meer de zekerheid die kantoren en cliënten er nu aan toedichten, maar vergroot dan juist de kans op fouten.
Ons brein is er niet voor gebouwd
Als je je hier verder in verdiept ontdek je dat dit komt doordat ons brein hier simpelweg niet voor gebouwd is. We zijn briljant in actief redeneren en oplossen, maar we zijn neurobiologisch slecht in het passief controleren van output die 99% van de tijd klopt. Dat geldt misschien nog wel sterker voor ervaren professionals dan voor junioren want voor hen valt er minder te leren van de stof die ze checken.
Wat dan?
Het probleem is niet de AI zelf. Die is juist briljant voor het verminderen van routinewerk en dus ook voor het verlagen van werkdruk. Het probleem is de neiging om AI-output bovenop bestaande werklast te stapelen en de meest ervaren mensen in de organisatie te vragen om vervolgens de output van die extra laag te bewaken. Juist die mensen, juist die laag krijgt het dan steeds zwaarder.
Daarom is volgens mij op termijn de human in the loop geen houdbare oplossing.
Ik vraag me af of daar wel genoeg bij wordt stilgestaan. Wat denk jij?
