Door Fleur Jongepier (Radboud Universiteit Nijmegen)

Sinds 25 mei 2018 is de EU-brede privacywetgeving ‘Algemene Verordening Gegevensbescherming’ (kortweg AVG) van toepassing, in het Engels bekend als de General Data Protection Regulation (GDPR). In de AVG staat onder andere dat je het recht hebt “niet te worden onderworpen aan een uitsluitend op geautomatiseerde verwerking, waaronder profilering” (Artikel 22). Daarop worden ook mogelijke uitzonderingen genoemd, bijvoorbeeld wanneer je zelf hiervoor toestemming hebt gegeven, of wanneer zo’n beslissing noodzakelijk is voor het “aangaan of uitvoeren van een overeenkomst met de betrokkene” of wanneer het is toegestaan op grond van de Nederlandse wet (bijvoorbeeld voor opsporing van fraude).

Wat deze uitzonderingsclausules precies inhouden en wanneer ze van toepassing zijn is vooral een vraag voor juristen. Maar we kunnen er vanuit gaan dat personen wel degelijk onderworpen zullen worden aan geautomatiseerde beslissingen. Een opvallend onderdeel van de AVG is dat personen in zo’n geval een zogenaamd “recht op uitleg” hebben. Wanneer een computer je bijvoorbeeld vertelt, zonder tussenkomst van een persoon, dat je geen hypotheek krijgt of niet voor een sollicitatiegesprek wordt uitgenodigd, dan heb je dus een recht op uitleg. Dat houdt in dat je recht hebt op “nuttige informatie over de onderliggende logica”. Wat telt als betekenisvolle of nuttige informatie is niet eenvoudig te beantwoorden, maar laten we aannemen dat een uitleg die alleen begrijpelijk is voor bijvoorbeeld wiskundigen of computerwetenschappers, in elk geval niet volstaat.

Het is vrij intuïtief om te denken dat we recht hebben op uitleg wanneer de computer van een bedrijf of instelling een beslissing maakt die een substantiële impact op ons heeft, zoals “Je bent niet kredietwaardig”, “Je mag deze studie niet volgen” of “Je wordt niet uitgenodigd op gesprek”.

Maar de vraag is: waarom eigenlijk? Waarom hebben we een recht op uitleg wanneer machines in plaats van mensen over ons beslissen? Intuïties, hoe sterk ze ook zijn, kunnen fout zijn. Dus wat rechtvaardigt die intuïtie?


Het zit ‘m in de machine

Het meest voor de hand liggende antwoord op de vraag wat er ten grondslag ligt aan het recht op uitleg is: omdat machines, en niet mensen, verantwoordelijk zijn voor de beslissing. Het motto is: als een computer het zegt, heb ik recht om te weten waarom.

Wat opvalt aan deze benadering is dat er sprake is van ‘normatieve asymmetrie’. Dat wil zeggen: geautomatiseerde beslissingen zijn in normatief opzicht anders of speciaal vergeleken met menselijke beslissingen. Kort gezegd: voor het hebben van een ‘recht op uitleg’ maakt het alles uit of je kredietonwaardig wordt bevonden door de persoon Ralph van de bank versus een algoritme van diezelfde bank.
Deze verklaring waarom we een recht op uitleg is op het eerste gezicht niet gek, misschien voor sommigen zelfs totaal vanzelfsprekend, maar is bij nader inzien niet zonder problemen.

Zit het ‘m wel in de machine?

Ten eerste lijkt er aan deze benadering een bepaald idee ten grondslag te liggen over de relatie tussen mens en machine. Namelijk, het idee dat een ‘menselijke’ beslissing er een is waar geen machines bij komen kijken, en een ‘geautomatiseerde’ beslissing er een is waar geen mensen bij aan te pas komen. De een wordt dus begrepen in termen van de afwezigheid van de ander.

Maar dit is te simplistisch. Het is in veel gevallen naïef om te denken dat er überhaupt zoiets bestaat als een ‘geautomatiseerde beslissing’ in pure zin. Dat wil zeggen, waar dit begrepen wordt als ‘een beslissing waar geen mensen aan te pas zijn gekomen’. Natuurlijk, er zijn inmiddels allerlei slimme self-learning machines die zichzelf hippe dingen aan kunnen leren, maar vooralsnog zijn er weinig algoritmische beslissingen waar, kijkend naar het complete proces, geen mensen bij aan te pas komen. Ergens op de rit is er altijd wel een mens die bepaalde data invoert; een mens die voorkeuren instelt of een mens die prioriteitsregels programmeert. Mocht het algoritme ook dat allemaal zelf kunnen doen, dan komen we nog altijd uit bij een mens die besluit de boel over te laten aan algoritmes. Kortom, het is nooit helemaal waar dat een machine in z’n uppie over jou een beslissing heeft gemaakt.

Maar als er niet zoiets is als een geautomatiseerde beslissing in ‘pure zin’, dan is de standaard verklaring waarom we een recht hebben op uitleg (omdat de machine de beslissing maakte) gelijk ook een stuk minder informatief.

De Mark achter onze timeline

Interessant genoeg is de toenemende vervlechting van mens en technologie nu juist precies waarom het volgens ons zinnig is een recht op uitleg te hebben. Het hebben van een recht veronderstelt namelijk dat er ergens aan de andere kant een morele actor is op wie je een claim maakt, dat wil zeggen, een ‘plichtsdrager’. Vooralsnog zijn dat niet algoritmes en machines, maar de mens daarachter. Algoritmes worden steeds slimmer, maar het is niet voor niets dat Mark Zuckerberg op het matje wordt geroepen, en niet zijn algoritmes. Het normatief relevante aspect van het recht op uitleg zit hem juist niet in de machine, maar in de mens die zich erachter verstopt heeft. Wat we feitelijk doen wanneer we van ons recht op uitleg gebruik maken, is te eisen om de mens achter de machine te spreken te krijgen; de Mark achter onze timeline.

Het is beslist zo dat taken soms aan machines of algoritmes worden gedelegeerd, en deze vervolgens het voortouw nemen in beslissingen. Maar wanneer we het hebben over dat een “machine iets heeft besloten” moeten we dus in acht nemen dat we het niet hebben over uitsluitend “menselijke” besluiten versus uitsluitend “technologische” besluiten, maar over een associatie van technologische en menselijke actoren waarbij beide verschillende rollen innemen. Het hebben van een recht op uitleg versterkt daarmee potentieel de positie van burgers om te zorgen dat deze steeds hechtere vervlechting van mens en machine verantwoorde vormen aanneemt.

Normatieve asymmetrie

Dan het tweede punt: de normatieve asymmetrie, ofwel, het idee dat het feit dat een machine iets heeft besloten (bovenstaande kwalificaties meegenomen) op zich zelf speciale normatieve overwegingen genereert. Maar waarom zou het eigenlijk principieel iets uitmaken dat een machine iets over jou beslist?
Machines beslissen de hele dag van alles over ons. Het feit dat machines dat doen, en niet personen, is uiteindelijk niet wat sommige van die beslissingen problematisch maakt. Persoonlijk heb ik vaak veel liever dat algoritmes zich met mij bemoeien dan mensen (zoals welke afslag ik op de rotonde zal nemen, welk nummer ik hierna zal luisteren, wanneer de liftdeur open gaat, wanneer mijn elektrische luxaflex naar beneden gaan, wanneer mijn verwarming aan slaat – ik moet er niet aan denken dat een mens dat de hele dag voor mij zou bepalen). Met andere woorden: het feit dat machines en algoritmes in het spel zijn, geeft ons niet direct reden te denken dat er in normatief opzicht iets speciaals of anders aan het gebeuren is, bijvoorbeeld dat ik speciale rechten heb die ik anders niet zou hebben.

Maar dit zijn toch allemaal vrij triviale beslissingen door machines en algoritmes?  Dat klopt. Maar ook wanneer het gaat over beslissingen die een serieuze impact hebben op ons leven, zoals beslissingen over je hypotheek, studie of baan (dat wil zeggen, de geautomatiseerde beslissingen waar de AVG op doelt) is het net zo min duidelijk waarom al het normatieve werk gedaan wordt door het feit dat machines voor een beslissing verantwoordelijk zijn. Stel dat Ralph van de bank je opbelt en zonder verdere uitleg mededeelt dat je kredietonwaardig bent en de hoorn erop gooit. Ik zie niet direct in hoe beslissingen die door onhandige, arrogante, onwetende of ongeduldige mensen worden gemaakt prima facie minder problematisch zou zijn dan beslissingen die door machines worden gemaakt. Of beter gezegd, waarom de laatste wél reden geeft voor een ‘recht op uitleg’, en de eerste niet, of minder, of om een andere reden.

Daarnaast zijn zeker niet alle geautomatiseerde beslissingen voor ons onbegrijpelijk (laat staan principieel onbegrijpelijk). Ik heb zelf misschien nog wel liever een machine van een bank die mij een automatische mail stuurt met de (sterk versimpelde) data en de regels die het gebruikt heeft om tot een beslissing te komen over een hypotheek dan te luisteren naar een weinig begrijpelijk juridische monoloog van een echt persoon (denk hierbij ook aan personen bij een callcenter of helpdesk die je iets ‘uitleggen’). Kortom, normatieve asymmetrie is bij nader inzien moeilijk te verdedigen.

Terug bij af

Ons alternatieve voorstel is eigenlijk heel simpel: wat een beslissing potentieel problematisch maakt is niet wie of wat de beslissing maakt, maar welke beslissing gemaakt wordt en waarom. Wat een claim om uitleg te krijgen legitiem maakt is eveneens niet wie of wat de beslissing maakt, maar of die beslissing voor jou begrijpelijk is (dat wil zeggen, of je de beslissing bijvoorbeeld kan zien als ‘juist’, ‘rechtvaardig’ of ‘eerlijk’). Een machine kan slechte of goede redenen hebben, wel of geen vooroordelen hebben en wel of geen nuttige informatie geven, maar een mens ook. Het feit dat machines en niet mensen een beslissing maken, is dan ook niet hetgeen dat normatief relevant is.

Maar dan zijn we eigenlijk weer terug bij af. Waarom hebben we dán een recht op betekenisvolle informatie “when computer says no”? Als het recht op uitleg niet te funderen is in een metafysisch onderscheid (mens/machine), hebben we überhaupt eigenlijk wel zo’n recht, zo ja waarom dan?

Vanaf hier zijn er eigenlijk twee opties. Eén optie is te zeggen dat er voor het recht op uitleg in de AVG eigenlijk geen solide normatief fundament te vinden is, en dat we misschien zo’n recht wel helemaal niet (zouden moeten) hebben. Een andere optie is om het meer specifieke recht op uitleg in de AVG af te leiden uit een meer algemeen moreel recht op uitleg. Er valt bijvoorbeeld een argument te maken dat autonoom handelen niet alleen maar de afwezigheid van dwang vereist, maar ook dat er voldaan wordt aan bepaalde epistemische condities (zoals kennis, begrip, en uitleg). Dat is althans wat wij in ons artikel willen voorstellen. Daarover wellicht een volgende keer meer!

Dit stuk is gebaseerd op een artikel van Fleur Jongepier en Esther Keymolen (‘Explanation and Agency:? Exploring the normative landscape of the “Right to Explanation”)’ dat zij 6 oktober presenteren op de Privacy Conferentie in Amsterdam.


Meer:

Volg ons op

TwitterInstagramFacebook

Op de hoogte blijven per mail?

Wanneer wil je een e-mail ontvangen?

Steun ons

Doneer Word vriend