Slechts 32,2 procent van de juridische professionals krijgt doorgaans na één prompt een direct bruikbaar antwoord van AI. Dat blijkt uit onderzoek van Legal Benchmarks, met Zeno als Founding Research Partner, onder 115 professionals in de Nederlandse rechtspraktijk.
De 115 deelnemers aan de Dutch Legal AI Adoption Survey zijn afkomstig uit negentien organisaties in de Nederlandse juridische sector. Het onderzoek maakt deel uit van DELTA, een publieke benchmark die moet meten hoe AI presteert bij juridisch werk in de Nederlandse praktijk. Aan het bredere DELTA-project werken twaalf advocatenkantoren mee, waaronder Banning Advocaten, De Clercq Advocaten Notariaat, Holla Legal & Tax, HVG Law, Ploum en Wijn & Stael Advocaten.
Uit de survey blijkt een duidelijke kloof tussen een eerste AI-antwoord en juridisch werk dat direct kan worden gebruikt. Van de respondenten zegt 67,8 procent dat het eerste antwoord van een AI-tool in hooguit de helft van de gevallen bruikbaar is. Daarvan krijgt 46,1 procent ongeveer de helft van de tijd een bruikbaar resultaat. Nog eens 21,7 procent zegt dat de uitkomst zelden bruikbaar is.
AI is ondertussen al stevig ingeburgerd in juridisch onderzoek. 63,5 procent van de ondervraagden gebruikt AI hiervoor dagelijks en 98,3 procent doet dit minstens eenmaal per week.
Van correct naar bruikbaar
DELTA kijkt niet alleen of AI juridisch correcte antwoorden produceert, maar ook naar ‘legal taste’: het professionele beoordelingsvermogen om te bepalen wat relevant is en een antwoord op te leveren dat een jurist daadwerkelijk kan gebruiken.
Daarvoor beoordeelt de benchmark juridische onderzoekstaken op drie onderdelen: inhoud, bronverwijzing en vorm. Bij inhoud gaat het onder meer om juridisch correcte en professioneel verdedigbare conclusies en het behandelen van relevante regels en vraagstukken. Bij bronverwijzing wordt gekeken of noodzakelijke juridische bronnen correct worden geïdentificeerd en toegepast. Vorm ziet onder meer op structuur, prioritering, proportionaliteit en voldoende nuancering.
Uit het onderzoek blijkt bovendien dat juridische professionals niet iedere AI-fout even zwaar wegen. Zo beschouwt 82,6 procent verzonnen of onjuiste wetgeving, feiten of bronverwijzingen als een ernstige tekortkoming. Bij het missen van relevante kwesties, feiten, argumenten of bronnen is dat 53,9 procent.
De eerste openbare DELTA-taken zijn afkomstig uit een verzameling van ruim tweehonderd juridische onderzoeksopdrachten. Nederlandse advocaten waren betrokken bij de beoordeling van de vragen en criteria. Daarmee wil DELTA de prestaties van AI toetsen aan de eisen die in daadwerkelijk juridisch werk worden gesteld.
