Tussen de gepersonaliseerde Facebook-berichten en Netflix-aanbevelingen door schreeuwt de NOS-app met een pushmelding om aandacht: ‘Overheid gebruikt op grote schaal voorspellende algoritmes’. Vooral die omvang maakt het bericht waarschijnlijk nieuwswaardig. Zelfs iemand die begin vorig jaar nog op dit onderwerp was gepromoveerd, is daardoor blijkbaar ‘verbaasd’ en vond die proporties ‘bizar’.
Door Niek van de Pasch
Terwijl programmeurs met een move fast and break things mentaliteit ijverig code kloppen, proberen beleidsmakers en wetgevers zinvolle interventies te bedenken. Zo kreeg elke Europese burger van de veelbesproken AVG kortweg ‘het recht niet te worden onderworpen aan een uitsluitend op geautomatiseerde verwerking gebaseerd besluit’. Bovendien moeten al die black boxes open gaan door ‘nuttige informatie over de onderliggende logica’. Ook rechters willen de techniek graag bijbenen. Zo heeft de Afdeling bestuursrechtspraak van de Raad van State inmiddels soortgelijke disclosure-verplichtingen geformuleerd.
Zeker als mensen generieke kenmerken tegengeworpen krijgen, of als er persoonsgegevens worden verwerkt die een risico op discriminatie in het leven roepen, moet inderdaad ergens in de keten een menselijke schakel opdoemen. Uiteindelijk kan iemand het bestreden besluit (of liever: de bestreden berekening) natuurlijk sowieso voorleggen aan een rechter. Aan de Kneuterdijk hopen ze dan dat burgers de inlichtingen van hun overheid zullen aanwenden ‘om de juistheid van de gebruikte gegevens, de gemaakte berekeningen en de daarop gebaseerde aannames, keuzes en beslissingen inhoudelijk te kunnen betwisten’. En dat de rechter daar vervolgens chocola van kan maken.
Zijn we daar met z’n allen eigenlijk wel tegen opgewassen? Op dezelfde dag dat de journalisten hun ge-WOB-te verhaal brachten, verscheen in New York een wetenschappelijke publicatie over ‘outsmarting deepfakes’. Het was de onderzoeksgroep gelukt om manipulatie door algoritmes te ontmaskeren. Zelfs als het kunstmatig intelligente eindproduct integer leek, kwam bijna altijd aan het licht waar in de pijplijn iets geks verstopt zat. Was dit de ultieme triomf van menselijke intuïtie of academisch vernuft? Misschien, maar dan wel een tikje unheimisch. Er was namelijk een nieuw algoritme nodig om de afwijkingen op te sporen.
Het gebruik van voorspellende algoritmes door andere staatsmachten verdient dus serieuze aandacht van de rechterlijke macht, zeker als dat schijnbaar op grote schaal plaatsvindt. Veel zorgen komen telkens weer terug. Aan de voorkant kan een dataverzameling bol staan van de vooroordelen uit ons verleden. Een algoritme zal dan de lelijkste kanten van ons erfgoed uitvergroten. Aan de achterkant kan een computersuggestie fungeren als psychologisch anker met de massa van een zwart gat, waar geen rechter nog aan kan ontsnappen. Van ‘computer says no’ naar ‘computer says so’ – want rechters zijn net mensen.
Maar misschien grijpt deze ontwikkeling nog wel aan op een fundamenteler niveau. “Wij vormen onze instrumenten en daarna vormen ze ons,” schreef oud-priester en mediacriticus John Culkin ooit. Zullen professionele besluitvormers zichzelf straks nog herkennen, als ze nu niet in de spiegel kijken? De rechtsstaat kan wel wat nuttige informatie over die onderliggende logica gebruiken. Dan kunnen we de juistheid van de daarop gebaseerde aannames en keuzes inhoudelijk betwisten.