Door Barend de Rooij (Tilburg University)

De Amerikaanse Glenn Rodriguez kon zijn geluk niet op. Na een jarenlange gevangenisstraf kwam hij eindelijk in aanmerking voor voorwaardelijke vrijlating. Zijn geluk was echter van korte duur. Het controversiële COMPAS-algoritme bestempelde zijn vrijlating als risicovol en zijn verzoek werd geweigerd. Waarom? Dat kon de rechter niet zeggen: hoe COMPAS precies in elkaar zit, is een bedrijfsgeheim.

Ook in Nederland spelen algoritmes een rol in het nemen van beslissingen. Deze rol is niet altijd zichtbaar. Zo werd pas laat duidelijk dat discriminerende algoritmes hebben bijgedragen aan het ontstaan van de toeslagenaffaire. Recentelijk werden ook de fraude-algoritmes van DUO en de Gemeente Rotterdam beschuldigd van discriminatie. Op zoek naar bijstandsfraude en misbruik van studiefinanciering wezen deze algoritmes ‘opvallend vaak’ personen met een migratieachtergrond aan als mogelijke fraudeurs. Het kostte journalisten moeite om de algoritmes en hun werking boven tafel te krijgen.

Recht op uitleg

Nu bedrijven en overheden steeds vaker naar algoritmes grijpen om hun besluitvorming te verbeteren, klinkt ook de roep om uitlegbare algoritmes steeds luider. Onlangs nam het Europees Parlement de AI-verordening aan, een wetsvoorstel dat het belang van transparante algoritmes onderstreept. Maar ook de eerder aangenomen privacyregels van de EU, de zogenaamde AVG, stellen dat personen inzicht horen te krijgen in de automatische besluiten die over hen worden genomen. De Europese burger, zo lijkt, heeft recht op uitleg.

Pleiten voor een recht op uitleg is koren op de molen van de filosoof. Want wat is nu eigenlijk een adequate ‘uitleg’ van algoritmische beslissingen? De gemiddelde burger zal weinig begrijpen van een technische uitleg die precies uit de doeken doet hoe bijvoorbeeld een neuraal netwerk een tumor kan opsporen. Maar doet een versimpelde uitleg recht aan de complexe algoritmes die ons leven beïnvloeden?

Bovendien: op welke grond kunnen we uitleg als ‘recht’ erkennen? Het uitleggen van een algoritme vereist openheid over de werking daarvan. Je vraagt nogal wat wanneer je bedrijven en organisaties dwingt hun algoritmes te openbaren. Daar moet dus een zwaarwegend belang tegenover staan.

Verborgen algoritmes

Eén belang ligt voor de hand. Wanneer je bijvoorbeeld beschuldigd wordt van fraude, is het belangrijk dat je jezelf kunt verdedigen. Je kunt jezelf niet goed verweren wanneer je beschuldigd wordt door een algoritme waarvan de werking onduidelijk is (weet ook de eerdergenoemde Glenn Rodriguez).

Kennis van algoritmes is onmisbaar voor het maken van weloverwogen keuzes

Filosofe Kate Vredenburgh stelt dan ook dat het recht op uitleg vooral belangrijk is zodat we kunnen opkomen voor onze eigen belangen. Weten hoe een fraudealgoritme in elkaar steekt stelt je in staat dat algoritme te controleren. Zo maken uitlegbare algoritmes het gemakkelijker om onjuiste of onrechtvaardige beslissingen op te sporen en aan te vechten. We verwachten in onze democratische samenleving bovendien dat besluitnemers verantwoording afleggen over keuzes die ons aangaan.

Je kunt het recht op uitleg ook op andere gronden verdedigen. Algoritmes beïnvloeden ons nieuwsdieet, onze relaties, of we worden uitgenodigd op sollicitatiegesprek en voor welke lening we in aanmerking komen. Zelfs wanneer er met deze algoritmes niets mis is – en veel algoritmes kunnen ons leven daadwerkelijk aangenamer maken! – is het fijn om te weten hoe ze werken.

In een wereld vol algoritmes is kennis van deze algoritmes namelijk onmisbaar voor het maken van weloverwogen keuzes (zoals onder andere Fleur Jongepier en Esther Keymolen benadrukken). Met deze kennis in de hand kunnen we sturing (blijven) geven aan ons eigen leven, bijvoorbeeld door ons gedrag aan algoritmes aan te passen of door bepaalde algoritmes bewust te mijden. Mogelijk is zonder deze kennis zelfs onze autonomie in het geding.

Zwarte dozen

Hoe moet die uitleg er dan uitzien? Dat hang ervan af.

De uitleg van algoritmes moet ons in staat stellen op te komen voor onze belangen en autonome keuzes te maken. In sommige gevallen zal daarvoor een technische uitleg nodig zijn. In veel gevallen volstaat een algemenere uitleg. Je hoeft niet precies te weten welke techniek een sociaal netwerk toepast om berichten te filteren om je postgedrag daarop aan te passen. Belangrijker is het om te weten welke criteria het hanteert.

Zelfs de ontwerpers van complexe algoritmes weten niet altijd hoe ze werken

In de praktijk kan het uitleggen van algoritmes knap lastig zijn. Niet alle algoritmes zijn namelijk even makkelijk te begrijpen. De zelflerende algoritmes achter recente doorbraken op het gebied van kunstmatige intelligentie zijn bijvoorbeeld zó complex dat ze wel ‘zwarte dozen’ (black boxes) worden genoemd. Zelfs de ontwerpers van deze algoritmes kunnen vaak niet precies achterhalen hoe deze algoritmes bepaalde verbanden leggen.

Wetenschappers zijn dan ook naarstig op zoek naar manieren om ook déze algoritmes uitlegbaar te maken. Tot die tijd kunnen we ons afvragen of het verantwoord is deze zwarte dozen te blijven gebruiken.

Wat is uw verhaal?

Autonomie, controle, democratische verantwoording – het zijn bekende morele waarden. Hebben we daarmee het bestaansrecht van uitlegbare algoritmes volledig in kaart gebracht?

Zelf hecht ik aan uitlegbare algoritmes om nóg een reden.

Franz Kafka vertelt in Het Proces over Josef K., een nietsvermoedende burger die op ondoorgrondelijke wijze ter dood wordt veroordeeld. Uitleg zou K. in staat stellen zichzelf te verdedigen en zijn gedrag aan raadselachtige wetten aan te passen. Maar los daarvan zou uitleg K. helpen de gebeurtenissen een plaats te geven en zijn levensloop te duiden.

Uitlegbare algoritmes helpen bij het vertellen van ons levensverhaal

Mensen zijn verhalende wezens. We ontlenen onze identiteit deels aan de verhalen die we over onszelf vertellen. Zo geven we bovendien betekenis aan ons leven: dít is mijn verhaal. Gaten in ons levensverhaal zijn dan ook enorm vervreemdend. Waarom kreeg ik die baan eigenlijk niet? Waarom werd ik aangemerkt als fraudeur? Wie bén ik eigenlijk? Slachtoffers van de toeslagenaffaire kunnen dit wellicht bevestigen: hun zelfbeeld werd in sommige gevallen grof aangetast door cryptische beschuldigingen van crimineel gedrag.

Uitlegbare algoritmes helpen ons dus ook bij het vertellen van ons levensverhaal. Ondanks de fikse weerstand die hij ervoer, kreeg zelfs Glenn Rodriguez weer grip op zijn verhaal. Hij bleek eigenhandig in staat de werking van het COMPAS-algoritme deels te achterhalen. Zo kwam hij erachter dat ook dit algoritme gevoelig is voor fouten en kon hij zijn risicoscore betwisten.

Tegenwoordig ziet Rodriguez zichzelf als voorvechter van een eerlijkere samenleving. Hij vertelt zijn verhaal graag aan anderen om hen te waarschuwen voor de gevaren van geheime algoritmes.

Barend de Rooij is universitair docent Filosofie aan Tilburg University.

Afbeelding: Yasmin Dwiputri & Data Hazards Project / Better Images of AI / Managing Data Hazards / CC-BY 4.0