Ook voor dingen die alledaags lijken zoals spamfilters of het plaatsen van verhalen in je newsfeed wordt AI ingezet. In het extreme geval zal volgens doemdenkers (of realisten?) de technologie zelfs bepalen met welk land er oorlog gevoerd wordt.

In ieder geval vertrouwen we nu al op een groot aantal AI-toepassingen. De gevolgen van oneerlijke algoritmen kunnen daarom groot zijn. Onderzoek heeft bijvoorbeeld uitgewezen dat AI-systemen het voor bepaalde groepen moeilijker hebben gemaakt om door een selectieprocedure te komen. Zo hanteerde Amazon een AI-rekruteringstool die vrouwelijke sollicitanten ten opzichte van mannen achterstelde (nu geschrapt gelukkig).

Zoekresultaten
Wie tien jaar geleden de zoekterm ‘black girls’ op Google intikte, kreeg een rij pornosites. Boze wetenschappers stelden vervolgens de racistische en vrouwonvriendelijke trekjes van dit Google-algoritme aan de kaak. De zoekmachine beloofde beterschap, dergelijke zoekresultaten werden naar achter geplaatst. ‘Asian girls’ daarentegen levert nog steeds meteen erotisch materiaal op. En wie tegenwoordig het woord ‘vrouw’ intikt, krijgt vrijwel uitsluitend blanke gezichten te zien.

Ook Google Translate doet veel stof opwaaien. Bij het Turkse woord ‘o’, wat zowel ‘hij’ als ‘zij’ kan betekenen, koos Google zelf voor de mannelijke variant. Na een publicatie in het vakblad Science paste Google dit aan. Zowel ‘hij is een doctor’ als ‘zij is een doctor’ komen tegenwoordig in beeld.

Opmerkelijk is dat Google het hoofd van een ethisch onderzoeksteam bij het bedrijf vorige maand heeft ontslagen. Onderzoeker Margaret Mitchell maakte het zelf bekend op Twitter. Zij deed samen met andere wetenschappers onderzoek naar ethische kwesties rond kunstmatige intelligentie. Volgens haar waren diversiteit en inclusie ver onder de maat bij Google. Afgelopen december verliet onderzoeker Timnit Gebru het bedrijf. Naar eigen zeggen werd ze ontslagen, omdat ze vraagtekens zette bij een besluit van Google om haar onderzoek niet te publiceren.

Algoritme-ontslag: Uber
Een ander omstreden voorbeeld van oneerlijk AI-gebruik is de zaak van het algoritme-ontslag. Drie Britse en een Portugese chauffeur sleepten vrij recent hun voormalige werkgever Uber voor de rechter. Het taxibedrijf zou een algoritme hun ontslag hebben laten bepalen en dat is tegen de Europese wetgeving. De Amsterdamse rechtbank heeft echter geoordeeld dat Uber zich niet schuldig heeft gemaakt aan algoritme-ontslag. Bij het schrappen van de accounts van Uber-chauffeurs was geen sprake van uitsluitend op geautomatiseerde verwerking gebaseerde besluiten. De mens was betrokken bij het ontslag, maar Uber heeft desalniettemin de redenen voor de contractbeëindiging niet duidelijk gemaakt.

Uber is niet het enige grote bedrijf dat algoritmes inzet om personeel in de gaten te houden. Medewerkers van de Amerikaanse magazijnen van Amazon meldden eerder al dat een computer iedere beweging van hen controleert. Als zij hun werk niet snel genoeg doen, krijgen ze een waarschuwing of wordt er soms zelfs automatisch een ontslagbrief opgesteld.

Nu ook verkrijgbaar in Nederland
Ook in Nederland worden al jaren algoritmes bij ontslag ingezet. Bij een reorganisatie moeten bedrijven in bepaalde gevallen het afspiegelingsbeginsel toepassen: eerst verdeel je het bedrijf in vijf leeftijdsgroepen en op basis van leeftijd en dienstjaren bereken je vervolgens per groep wie ontslagen moet worden. Er is zelfs software voor. Van die rekensommen, oftewel algoritme, ligt niemand wakker. Waarom niet? Het afspiegelingsbeginsel biedt een vorm van bescherming en heeft dus iets eerlijks.

We liggen wél wakker over het gebruik van algoritmes bij de centrale overheid. De Algemene Rekenkamer concludeerde in een rapport dat overheidsinstanties te weinig doen om vooroordelen te voorkomen bij het gebruik van voorspellende algoritmes. Uitvoeringsinstanties als de Belastingdienst en het UWV laten de computer in steeds grotere mate de toekenning van toeslagen en fraudebestrijding bepalen. Dat is zorgwekkend gebleken, omdat het vaak maar moeilijk te achterhalen is hoe algoritmes werken en welke invloed ze hebben op besluiten.

De strijd om (on)eerlijkheid
Kan een algoritme leren wat eerlijkheid is? Dat is lastig, zelfs voor de mens. Wat eerlijk is voor de ene persoon, kan oneerlijk zijn voor de ander. Als het een kwestie is van ‘aanvoelen’, moeten we dus AI vertellen hoe dat moet. Kan dat? Persoonlijk denk ik van niet. Toch is kunstmatige intelligentie niet meer weg te denken.

We staan in de beginfase van AI en verzamelen steeds meer data om inzicht te krijgen in ‘eerlijke’ besluitvorming. Er valt op dit vlak nog veel winst te boeken. Als we vijf tot tien jaar vooruitkijken, dan hebben we hopelijk al wat stappen gezet. Nu hebben burgers nog het idee dat ze hun data niet moeten weggeven, want hun privacy is in het geding. Ik hoop dat we leren denken voorbij privacy in het belang van een goede ondersteuning bij belangrijke besluiten over bijvoorbeeld de juiste gezondheidszorg, een lening of welke sollicitant de baan krijgt tijdens een selectieproces.

Ana Miličević
Product Marketeer bij Underlined