U heeft het vast al gelezen: de nieuwe creditcard van Apple, Apple Pay, blijkt seksistisch te zijn. Om precies te zijn: vrouwen krijgen lagere kredietlimieten dan mannen, ook als hun financiële situatie hetzelfde of zelfs beter blijkt te zijn. Dat komt door het algoritme, aldus Apple, en daarmee zou de kous af zijn. Want algoritmes zijn neutraal en wat de computer zegt is waar. Eh, niet helemaal.
Door Arnoud Engelfriet, correspondent Legal Tech
Apple geeft sinds augustus een eigen creditcard uit in de VS, in samenwerking met de bank Goldman Sachs. De creditcard werkt via Apple Pay, het betaalsysteem waarmee iPhone- en Apple Watch-gebruikers contactloos kunnen betalen. De digitale betaalkaart is vrij van maandelijkse kosten en heeft een beloningssysteem: van iedere betaling krijgen mensen 2% teruggestort op hun bankrekening.
Het blijft een creditcard, en dus zit er een kredietlimiet aan. Die wordt op algoritmische wijze vastgesteld, wat op zich niet heel gek is. Er zijn tal van factoren die je kredietwaardigheid bepalen, zoals hoe snel je schulden afbetaalt, hoe vaak je iets koopt met de kaart, hoeveel kaarten en leningen je nog meer hebt, enzovoort. Voor al die factoren is vast een objectieve verklaring te verzinnen die rechtvaardigt dat je meer of minder krediet moet kunnen krijgen.
Relevante factoren
Opvallend in deze zaak is dat vrouwen dus structureel minder krediet konden krijgen, ook wanneer ze exact dezelfde kredietgeschiedenis en -situatie hadden als mannen. Het lijkt onwaarschijnlijk dat Apple het geslacht van haar kaartaanvragers betrekt in de analyse, dus hoe kan zoiets gebeuren? Algoritmes zijn toch neutraal?
Apple heeft vooralsnog geen verklaring gegeven, maar wel de vrouw van de grootste klager snel een hogere limiet gegeven. Tussen de regels door lezend is mijn gevoel dat Apple (of haar partner Goldman Sachs) met machine learning een analyse van kredietwaardigheid doet: gooi een hele bak met data in een Artificial Intelligence-systeem en laat dat zoeken naar factoren die wijzen op meer of minder kredietwaardigheid.
Ook dat klinkt heel objectief: een computer die zoekt naar relevante factoren, dat gaat zonder aanziens des persoons of des geslachts. Zeker als je de kolom ‘geslacht’ gewoon weglaat in de dataset (ik mag aannemen dat Apple zo slim is geweest). Maar vaak gaat het op subtiele wijze dan toch fout. De reden? Nou ja, dat je dus een hele bak met data in een Artificial Intelligence-systeem gooit en dat laat zoeken naar factoren die wijzen op meer of minder kredietwaardigheid. En het grappige is, dat is dus heel objectief: het legt keihard en zakelijk bloot waar wij als mensen altijd op scoorden.
Factor ‘koopt vaak maandverband’
Waar die systemen naar zoeken, zijn verbanden. Correlaties, dingen die samen gaan. En daarbij zoeken die systemen naar de beste, snelste, makkelijkste verbanden. Of dat nu een leeftijd tussen 18 en 24 is, een creditscore van minstens 400 of het geregeld kopen van maandverband, doet er voor de computer niet toe. Als die factor het beste samengaat met de conclusie ‘is slechte betaler’, dan spreekt het systeem een lage kredietwaardigheid uit voor die persoon.
Waarschijnlijk zit er dus iets van dat laatste in de dataset; een factor die uniek is voor vrouwen, zonder dat deze evident te herkennen is als een discriminatie-factor. Daarom is het ook niet echt uit te uit te leggen, vermoed ik. Want er is niet simpelweg een kolom met ‘koopt vaak maandverband’, wat nog iets is dat je met enige moeite eruit kunt vissen. Een patroon dat typisch is voor een vrouw bestaat natuurlijk uit vele factoren, waarbij je niet één van die factoren eruit kunt pikken en elimineren.
Het rare is: dit is volkomen objectief. Gegeven de data trekt het systeem zijn conclusies, zonder oneigenlijke overwegingen. Dat patroon ís nu eenmaal indicatief voor slechte wanbetalers, de feiten liegen niet. Er zit dus geen boze opzet in dit systeem of bij haar ontwerpers. Het systeem legt dit bloot, meer niet.
Kwade opzet?
Ook in het achterliggende systeem – de mensen die de data genereerden – zit niet perse kwade opzet of vrouwenhaat. Onbewuste vooringenomenheid is minstens zo vaak aanwezig; als je het die mensen had gevraagd, hadden ze waarschijnlijk hard ontkend dat ze vrouwen lagere kredieten geven dan mannen. Maar de feiten liegen niet.
Dit is in de kern het probleem met AI, zoals ik al eerder schreef. De kwaliteit van de data is beslissend voor de kwaliteit van het systeem. Een voorbeeld als deze creditcard laat weer eens zien hoe moeilijk het is om die goed te krijgen.