Waarom menselijke controle over AI geen garantie biedt tegen discriminatie

De Europese Commissie publiceerde recent een studie over de rol van menselijke controle op AI-systemen in risicovolle besluitvorming, zoals bij kredietverstrekking en personeelsselectie. De conclusie? Menselijke tussenkomst alleen is geen remedie tegen discriminatie – sterker nog, ze kan die zelfs versterken.

De studie, getiteld “The Impact of Human-AI Interaction on Discrimination”, onderzocht hoe professionals in HR en de bankensector in Italië en Duitsland (N=1411) AI-adviezen opvolgen. Hierbij werd gebruikgemaakt van zowel een “generieke” AI die is geoptimaliseerd voor nauwkeurigheid (maar met discriminerende effecten), als een “faire” AI die expliciet ontworpen is om gender- en nationaliteitsbias te vermijden.

De resultaten zijn confronterend: deelnemers volgden het advies van de generieke (discriminerende) AI net zo vaak als dat van de faire AI. Dit betekent dat menselijke “oversight” onvoldoende werkt als beschermingsmechanisme wanneer AI bias vertoont. Zelfs wanneer een faire AI werd ingezet, bleken keuzes van deelnemers nog steeds beïnvloed door hun eigen (impliciete) voorkeuren.

Uit interviews blijkt dat deelnemers vaker de belangen van hun organisatie boven die van eerlijkheid plaatsen. Sommigen vonden dat ze beter dan AI in staat waren om ‘soft skills’ zoals motivatie in te schatten, ondanks aanwijzingen dat deze inschattingen juist bias gevoelig zijn.

De implicatie is helder: de juridische plicht tot menselijke controle, zoals voorgeschreven in Artikel 14 van de AI Act, moet verder worden uitgewerkt. Menselijke controle mag geen formaliteit zijn; het moet worden ondersteund door duidelijke richtlijnen, opleiding, en mechanismen die bewaken wanneer AI-adviezen moeten worden gevolgd of genegeerd.

Bovendien suggereren experts uit het onderzoek dat we toe moeten naar een systeemaanpak: niet alleen de AI zelf moet eerlijk zijn, maar ook de context waarin mensen ermee werken.