Vertekening

Wat Betekent Vertekening in de Context van AI-Leerprocessen?

Binnen het domein van AI verwijst vertekening naar systematische fouten die kunnen leiden tot oneerlijke uitkomsten. Vertekening ontstaat wanneer een AI-model resultaten oplevert die bevooroordeeld zijn vanwege foutieve aannames in het machine learning-proces. Deze aannames kunnen voortkomen uit de data waarmee het model wordt getraind, de algoritmes zelf, of de implementatie- en uitrolfasen.

Hoe Beïnvloedt Vertekening het Leerproces in AI?

Vertekening kan het leerproces op verschillende manieren verstoren:

• Nauwkeurigheid: Een bevooroordeeld model kan goed presteren op de trainingsdata, maar niet generaliseren naar nieuwe, onbekende data.
• Eerlijkheid: Bepaalde groepen kunnen oneerlijk worden benadeeld of bevoordeeld op basis van bevooroordeelde modelvoorspellingen.
• Betrouwbaarheid: Het vertrouwen in AI-systemen neemt af als ze bevooroordeelde of oneerlijke uitkomsten produceren.

Voorbeelden van AI-Vertekening in de Praktijk

• Gezichtsherkenning: Systemen blijken minder accuraat te zijn voor mensen met een donkerdere huidskleur.
• Wervingsalgoritmen: Sommige AI-gestuurde recruitmenttools blijken mannelijke kandidaten te bevoordelen boven vrouwelijke door bevooroordeelde trainingsdata.
• Kredietscores: AI-modellen kunnen financiële discriminatie in stand houden als ze getraind zijn op bevooroordeelde historische data.

Wat is Beperking van Vertekening?

Beperking van vertekening omvat het systematisch identificeren, aanpakken en verminderen van vertekening binnen verschillende systemen, met name in kunstmatige intelligentie (AI) en machine learning (ML) modellen. In deze contexten kunnen vertekeningen leiden tot uitkomsten die oneerlijk, onnauwkeurig of zelfs schadelijk zijn. Daarom is beperking van vertekening cruciaal voor een verantwoorde en ethische inzet van AI-technologieën. Dit vereist niet alleen technische aanpassingen, maar ook een goed begrip van sociale en ethische implicaties, omdat AI-systemen de data en menselijke beslissingen weerspiegelen waarop ze zijn gebaseerd.

Begrip van Vertekening in AI

Vertekening in AI ontstaat wanneer machine learning-modellen resultaten genereren die bevooroordeelde aannames of systemische ongelijkheden uit de trainingsdata weerspiegelen. Er zijn meerdere bronnen en vormen van vertekening in AI-systemen:

• Bevooroordeelde Trainingsdata: Een veelvoorkomende bron van vertekening is de data zelf. Als de trainingsdata bepaalde groepen ondervertegenwoordigt of historische vooroordelen bevat, zal het model deze vertekeningen leren repliceren. Biased datasets voor wervingsalgoritmen kunnen bijvoorbeeld leiden tot gender- of raciale discriminatie, zoals het geval van Amazon’s AI-wervingshulpmiddel, dat mannelijke kandidaten bevoordeelde vanwege historisch onevenwichtige cv-data bron.
• Proxy-Variabelen: Dit zijn variabelen die, hoewel ogenschijnlijk neutraal, fungeren als proxies voor bevooroordeelde kenmerken. Bijvoorbeeld, het gebruik van postcodes als proxy voor ras kan onbedoeld raciale vertekening veroorzaken in modellen.
• Algoritmisch Ontwerp: Zelfs met de beste bedoelingen kunnen algoritmes vertekening bevatten als de makers onbewuste vooroordelen hebben of als het ontwerp van het systeem maatschappelijke vertekening weerspiegelt. Algoritme-audits en interdisciplinair samenwerken zijn essentieel om deze vertekeningen effectief te identificeren en aan te pakken bron.

Strategieën voor Beperking van Vertekening

Beperking van vertekening in AI kan grofweg worden onderverdeeld in drie fasen: pre-processing, in-processing en post-processing. Elke fase pakt vertekening op een ander moment in de modelontwikkelingscyclus aan.

Pre-Processing Technieken

• Dataverzameling: Het verzamelen van diverse en gebalanceerde datasets uit meerdere bronnen om een goede vertegenwoordiging van alle subgroepen te waarborgen. Bijvoorbeeld: zorgen voor een gender- en etnisch evenwichtige trainingsdata voor een recruitment-AI-systeem helpt vertekening in kandidatenbeoordeling te verminderen.
• Data Schoonmaken: Bevooroordeelde data verwijderen of corrigeren om te voorkomen dat deze de modelvoorspellingen vertekenen. Technieken zoals her-samplen of herwegen van data kunnen de representatie in balans brengen.
• Feature Engineering: Aanpassen of verwijderen van variabelen die als proxy kunnen dienen voor beschermde kenmerken helpt indirecte vertekening in modeluitkomsten te voorkomen.

Voorbeeldgebruik:
Bij een recruitment-AI-systeem kan pre-processing inhouden dat de trainingsdata een gebalanceerde vertegenwoordiging van gender en etniciteit bevat, waardoor vertekening in de kandidatenbeoordeling wordt verminderd.

In-Processing Technieken

• Algoritmische Aanpassingen: Algoritmes aanpassen zodat tijdens het trainen eerlijkheidscriteria worden meegenomen helpt vertekening te beperken. Technieken als fairness-aware algoritmen zijn ontworpen om ongelijke impact tussen demografische groepen te minimaliseren.
• Adversarial Debiasing: Het model trainen naast een adversariële component die vertekening detecteert en beperkt, waardoor een feedbackloop ontstaat waarin het model leert om bevooroordeelde beslissingen te vermijden.

Voorbeeldgebruik:
Een AI-tool voor leninggoedkeuring kan fairness-aware algoritmen toepassen om te voorkomen dat aanvragers worden gediscrimineerd op basis van ras of gender tijdens het besluitvormingsproces.

Post-Processing Technieken

• Uitkomstaanpassing: Modelvoorspellingen aanpassen na het trainen om aan eerlijkheidscriteria te voldoen. Technieken zoals het herkalibreren van voorspellingen om gelijke uitkomsten tussen groepen te waarborgen worden vaak gebruikt.
• Bias-Audits: Regelmatig de modeluitkomsten auditen om bevooroordeelde beslissingen te identificeren en corrigeren is essentieel. Dergelijke audits kunnen vertekening onthullen die tijdens daadwerkelijke inzet ontstaat, waardoor tijdige interventies mogelijk zijn.

Voorbeeldgebruik:
Een AI-systeem in de gezondheidszorg kan post-processing gebruiken om te garanderen dat de diagnostische aanbevelingen eerlijk zijn voor verschillende demografische groepen.

Types Data-Vertekening

1. Bevestigingsvertekening

Bevestigingsvertekening treedt op wanneer data wordt geselecteerd of geïnterpreteerd op een manier die bestaande overtuigingen of hypothesen bevestigt. Dit leidt tot vertekende uitkomsten, omdat tegenstrijdige data wordt genegeerd of ondergewaardeerd. Zo kan een onderzoeker zich vooral richten op data die de hypothese ondersteunt, terwijl data die deze tegenspreekt wordt genegeerd. Volgens Codecademy leidt bevestigingsvertekening er vaak toe dat data wordt geïnterpreteerd op een manier die onbewust de oorspronkelijke hypothese bevestigt, waardoor data-analyse en besluitvorming worden vertekend.

2. Selectievertekening

Selectievertekening ontstaat wanneer de steekproef niet representatief is voor de te analyseren populatie. Dit gebeurt door niet-willekeurige steekproeftrekking of wanneer bepaalde subsets systematisch worden uitgesloten. Bijvoorbeeld: een onderzoek naar consumentengedrag dat alleen data uit stedelijke gebieden bevat, weerspiegelt mogelijk niet het gedrag van consumenten in landelijke gebieden. Zoals het Pragmatic Institute benadrukt, kan selectievertekening voortkomen uit een slecht onderzoeksontwerp of historische vertekening bij dataverzameling.

3. Historische Vertekening

Historische vertekening is aanwezig wanneer data oude vooroordelen of maatschappelijke normen weerspiegelt die inmiddels achterhaald zijn. Dit gebeurt als datasets verouderde informatie bevatten die stereotypen in stand houdt, zoals genderrollen of raciale discriminatie. Een voorbeeld is het gebruik van historische wervingsdata die discrimineert tegen vrouwen of minderheidsgroepen. Amazon’s AI-wervingshulpmiddel bijvoorbeeld, benadeelde onbedoeld cv’s waarin vrouwenorganisaties werden genoemd vanwege historische genderonevenwichtigheden in de dataset.

4. Survivorship Bias

Survivorship bias houdt in dat alleen wordt gefocust op data die het “overleefd” heeft, terwijl data die niet succesvol was of is uitgesloten wordt genegeerd. Dit kan leiden tot een overschatting van succesfactoren. Bijvoorbeeld: alleen succesvolle startups onderzoeken om succesfactoren te bepalen zonder naar gefaalde startups te kijken, leidt tot onjuiste conclusies. Deze vertekening is vooral gevaarlijk in financiële markten en beleggingsstrategieën, waar alleen succesvolle entiteiten worden geanalyseerd en de gefaalde worden genegeerd.

5. Beschikbaarheidsvertekening

Beschikbaarheidsvertekening ontstaat wanneer beslissingen worden beïnvloed door data die het meest beschikbaar is, in plaats van alle relevante data. Hierdoor ontstaan vertekende inzichten als de beschikbare data niet representatief is. Bijvoorbeeld: nieuwsberichten over vliegtuigongelukken kunnen ertoe leiden dat mensen hun frequentie overschatten vanwege de opvallendheid en beschikbaarheid van zulke berichten. Beschikbaarheidsvertekening beïnvloedt sterk de publieke perceptie en beleidsvorming, wat tot vertekende risico-inschattingen kan leiden.

6. Rapportagevertekening

Rapportagevertekening is de neiging om vooral data te rapporteren die positieve of verwachte uitkomsten toont, terwijl negatieve of onverwachte resultaten worden genegeerd. Dit kan het waargenomen succes van een proces of product vertekenen. Bijvoorbeeld: alleen positieve resultaten van klinische studies rapporteren en studies zonder significant effect negeren. Rapportagevertekening komt veel voor in wetenschappelijk onderzoek, waar positieve resultaten vaak worden benadrukt en zo de literatuur vertekenen.

7. Automatiseringsvertekening

Automatiseringsvertekening treedt op wanneer mensen te veel vertrouwen op geautomatiseerde systemen en algoritmes, ervan uitgaand dat deze accurater of objectiever zijn dan menselijke beoordeling. Dit kan tot fouten leiden als de systemen zelf bevooroordeeld of gebrekkig zijn, zoals gps-systemen die bestuurders de verkeerde kant op sturen of AI-tools die bevooroordeelde wervingsbeslissingen nemen. Zoals Codecademy aangeeft, kunnen zelfs technologieën als gps automatiserings vertekening veroorzaken, doordat gebruikers ze blindelings volgen zonder hun juistheid te bevragen.

8. Groepsattributie-vertekening

Groepsattributie-vertekening is het generaliseren van kenmerken van individuen naar een hele groep of ervan uitgaan dat groepskenmerken op alle leden van toepassing zijn. Dit leidt tot stereotypen en verkeerde inschattingen, zoals aannemen dat alle leden van een demografische groep zich identiek gedragen op basis van enkele observaties. Deze vertekening kan sociale en politieke beleidsmaatregelen beïnvloeden en leiden tot discriminatie en oneerlijke behandeling van bepaalde groepen.

9. Overgeneralisatie-vertekening

Overgeneralisatie-vertekening houdt in dat conclusies uit één dataset zonder rechtvaardiging worden toegepast op andere datasets. Dit leidt tot brede aannames die mogelijk niet kloppen in verschillende contexten. Bijvoorbeeld: aannemen dat resultaten uit een onderzoek bij één demografie universeel gelden voor alle populaties. Overgeneralisatie kan resulteren in ineffectief beleid en interventies die geen rekening houden met culturele of contextuele verschillen.

Bias-Variance Trade-off in Machine Learning

Definitie

De Bias-Variance Trade-off is een fundamenteel concept binnen machine learning dat de spanning beschrijft tussen twee soorten fouten die voorspellende modellen kunnen maken: bias en variantie. Deze trade-off is cruciaal om te begrijpen hoe je modelprestaties optimaliseert door de complexiteit van het model in balans te brengen. Hoge bias leidt tot te simpele modellen, terwijl hoge variantie leidt tot modellen die te gevoelig zijn voor de trainingsdata. Het doel is een model te bouwen met een optimale complexiteit die de totale voorspellingsfout op onbekende data minimaliseert.

Kenmerken van Modellen met Hoge Bias

• Underfitting: Weerspiegelt de onderliggende trend in de data niet goed.
• Simpel Aangenomen: Mist belangrijke relaties in de data.
• Lage Trainingsnauwkeurigheid: Hoge fout op zowel de trainings- als testdata.

Variantie

Variantie meet de gevoeligheid van het model voor fluctuaties in de trainingsdata. Hoge variantie duidt erop dat een model de data te goed heeft geleerd, inclusief de ruis, wat resulteert in overfitting. Overfitting treedt op wanneer een model uitzonderlijk presteert op de trainingsdata, maar slecht op onbekende data. Hoge variantie komt vaak voor bij complexe modellen zoals beslissingsbomen en neurale netwerken.

Kenmerken van Modellen met Hoge Variantie

• Overfitting: Past zich te nauw aan de trainingsdata aan, waarbij ruis wordt geïnterpreteerd als signaal.
• Complexe Modellen: Voorbeelden zijn deep learning-modellen en beslissingsbomen.
• Hoge Trainingsnauwkeurigheid, Lage Testnauwkeurigheid: Presteert goed op trainingsdata, maar slecht op testdata.

De Trade-off

De Bias-Variance Trade-off draait om het vinden van een balans tussen bias en variantie om de totale fout te minimaliseren, dat wil zeggen de som van bias in het kwadraat, variantie en de onherleidbare fout. Modellen die te complex zijn hebben hoge variantie en lage bias, terwijl te simpele modellen lage variantie en hoge bias hebben. Het doel is een model te ontwikkelen dat niet te simpel en niet te complex is, zodat het goed generaliseert naar nieuwe data.

Belangrijke Vergelijking:

• Totale Fout = Bias² + Variantie + Onherleidbare Fout

Voorbeelden en Toepassingen

1. Lineaire Regressie: Heeft vaak hoge bias en lage variantie. Geschikt voor problemen waarbij de relatie tussen variabelen ongeveer lineair is.
2. Beslissingsbomen: Gevoelig voor hoge variantie en lage bias. Ze herkennen complexe patronen maar kunnen overfitten als ze niet worden gesnoeid of geregulariseerd.
3. Ensemble-methoden (Bagging, Random Forests): Gericht op het verminderen van variantie zonder de bias te verhogen door meerdere modellen te middelen.

Beheer van de Trade-off

1. Regularisatie: Technieken zoals Lasso of Ridge regression voegen een straf toe voor grote coëfficiënten en helpen variantie te verminderen.
2. Cross-Validatie: Helpt bij het schatten van de generalisatiefout van een model en het kiezen van de juiste complexiteit.
3. Ensemble Learning: Methoden zoals bagging en boosting kunnen variantie beperken terwijl bias onder controle blijft.