Wat betekent ‘betekenisvol’? Wat menselijke tussenkomst ‘betekenisvol’ maakt is op eerste oogopslag niet altijd duidelijk. De Autoriteit Persoonsgegevens (AP) waarschuwt in het rapport ‘Betekenisvolle menselijke tussenkomst’ dat menselijke tussenkomst meer moet zijn dan een mensenkel op ‘akkoord’ klikt nadat het algoritme een beslissing voorlegt. Want “Het enkele feit dat een mens de uitkomst van een algoritme ‘aftekent’ maakt de tussenkomst niet betekenisvol” (Autoriteit Persoonsgegevens, 2025 p.3).
Voor menselijke tussenkomst om betekenisvol te zijn, moet de beoordelaar voldoende kennis, tijd en ruimte hebben om zelfstandig af te wijken van het algoritme. Gebeurt dat niet, dan is er alsnog sprake van een ‘uitsluitend geautomatiseerd besluit’. Zonder de eis van betekenisvolheid kan menselijke tussenkomst gebruikt worden als schijnzekerheid, wat verboden is onder artikel 22 van de AVG. Ook in de AI Verordening, artikel 14 zijn eisen aan menselijk toezicht op AI-systemen met een hoog risico geformuleerd tegen als bescherming tegen negatieve effecten op de gezondheid, veiligheid en grondrechten van mensen.
Het gevaar van uitsluitend geautomatiseerde besluiten ligt in de risico’s op discriminatie en bias die algoritme met zich meebrengen. Neem COMPAS, een risicotool in de VS adviseerde rechters over recidiverisico. In de praktijk namen rechters dat discriminerende advies, vooral wanneer het ging over beklaagden van een niet witte huidskleur, de rechters namen dit advies meestal klakkeloos over (Pro Publica, 2016).
Ook in Nederland zien we voorbeelden van mislukte menselijke tussenkomst. DUO voerde huisbezoeken uit bij studenten die verdacht werden van fraude door een algoritme. De menselijk beoordelaar handelde aan de hand van algoritmisch fraude beschuldigingen van studenten met een migratieachtergrond (NOS, 2023). Deze beschuldigingen resulteerde in huisbezoeken door DUO waarin beoordelaars onvoldoende de kennis en kunde hadden om niet stereotyperend te observeren tijdens de huisbezoeken. Betekenisvolle menselijke tussenkomst door een kritische beoordelaar met culturele achtergrondkennis was nodig om dit te voorkomen. Deze vormen van schijnbare menselijke tussenkomst ondermijnen democratische waarden.
Maar ook menselijke beoordelaars die wel kritisch willen zijn, zijn niet vrij van fouten. Helaas leidt Automation Bias (de neiging om algoritmes blind te vertrouwen) tot het opzijschuiven van eigen oordelen. En tegelijkertijd bestaat Algorithm Aversion (reflexmatige afkeer van algoritmes) zelfs als ze aantoonbaar nauwkeuriger zijn dan mensen. Beide uiteinde van bias kunnen betekenisvolle menselijke tussenkomst ondermijnen.
Daarom heeft de AP ‘handvatten voor betekenisvolle menselijke tussenkomst bij algorithmische besluitvorming' ontwikkeld. In het rapport biedt het AP praktische aanbevelingen op het gebied van technologie, proces en governance om het begrip ‘betekenisvol’ handen en voeten te geven. Het AP adviseert bijvoorbeeld dat beoordelaars:
- Moeten begrijpen hoe hun expertise het algoritme aanvult en weten welke factoren meegewogen worden in het besluit;
- Toegang moeten hebben tot voldoende (mentale) ondersteuning als dat nodig is, zoals een vertrouwenspersoon, of aandacht voor weerbaarheid tijdens trainingen;
- Getraind moeten worden in het herkennen van Automation bias, algoritmisch denken en ethiek.