Diskriminierung

Diskriminierung in der KI bezeichnet die ungerechte oder ungleiche Behandlung von Einzelpersonen oder Gruppen aufgrund geschützter Merkmale wie Rasse, Geschlecht, Alter oder Behinderung. Diese Diskriminierung ist oft das Ergebnis von Vorurteilen, die in KI-Systemen verankert sind und sich während der Datenerhebung, der Algorithmusentwicklung oder in der Einsatzphase manifestieren können. Diskriminierung kann erhebliche Auswirkungen auf soziale und wirtschaftliche Gleichheit haben und zu nachteiligen Ergebnissen für marginalisierte oder unterversorgte Gemeinschaften führen. Da KI-Systeme zunehmend in Entscheidungsprozesse integriert werden, steigt das Potenzial für Diskriminierung, weshalb sorgfältige Prüfung und proaktive Maßnahmen zur Abmilderung dieser Effekte erforderlich sind.

Die Wurzeln der Diskriminierung in der KI verstehen

Künstliche Intelligenz (KI) und maschinelle Lernsysteme sind stark auf Daten angewiesen, um Entscheidungen zu treffen. Sind die für das Training verwendeten Daten verzerrt oder nicht repräsentativ, kann dies zu algorithmischer Voreingenommenheit führen, was wiederum diskriminierende Praktiken nach sich ziehen kann. Wird beispielsweise ein Gesichtserkennungssystem überwiegend mit Bildern weißer Personen trainiert, schneidet es bei der Erkennung von Gesichtern farbiger Menschen möglicherweise schlecht ab.

Die Wurzeln der Diskriminierung in der KI lassen sich auf verschiedene Faktoren zurückführen:

• Datenbias: KI-Systeme lernen aus den Daten, mit denen sie trainiert werden. Sind diese Daten vorurteilsbehaftet, spiegelt die KI diese Verzerrungen zwangsläufig in ihren Ergebnissen wider. Verzerrte Trainingsdaten können dazu führen, dass KI-Systeme bestimmte Gruppen gegenüber anderen bevorzugen.
• Algorithmendesign: Die Algorithmen selbst können so entworfen sein, dass sie unbeabsichtigt bestimmten Variablen Vorrang einräumen, was zu verzerrten Ergebnissen führt. Dies kann passieren, wenn Entwickler unbewusst ihre eigenen Vorurteile im System abbilden.
• Gesellschaftliche Vorurteile: KI-Systeme können bestehende gesellschaftliche Vorurteile widerspiegeln und systemische Probleme abbilden, die in den verwendeten Daten enthalten sind. Dazu zählen Vorurteile bezüglich Rasse, Geschlecht und sozioökonomischem Status.

Zentrale Begriffe

• Algorithmische Voreingenommenheit: Fehler oder Vorurteile in KI-Systemen, die zu unfairen Ergebnissen für bestimmte Gruppen führen. Algorithmische Voreingenommenheit kann aus verzerrten Trainingsdaten, fehlerhaftem Algorithmusdesign oder beidem resultieren. Treffen KI-Systeme Entscheidungen auf Basis vorurteilsbehafteter Muster, können sie gesellschaftliche Ungleichheiten aufrechterhalten oder sogar verstärken.
• Trainingsdaten: Der Datensatz, mit dem KI-Systeme „lernen“. Sind diese Daten verzerrt, übernimmt die KI diese Vorurteile und setzt sie fort. Eine vielfältige und ausgewogene Datengrundlage ist entscheidend für die Entwicklung fairer KI-Systeme.
• Diskriminierende Praktiken: Praktiken, die durch KI-Systeme zu unfairer Behandlung von Menschen aufgrund geschützter Merkmale führen. Diskriminierende Praktiken können in verschiedenen Bereichen auftreten, etwa bei der Personalgewinnung, im Strafjustizsystem oder im Gesundheitswesen, in denen KI eingesetzt wird.

Beispiele für Diskriminierung durch KI

1. Gesichtserkennung: Diese Systeme sind weniger genau bei der Identifikation von Menschen aus ethnischen Minderheiten, da das Trainingsdatenmaterial unausgewogen ist. Dies führt zu höheren Fehlidentifikationsraten bei People of Color und wirft Bedenken hinsichtlich Datenschutz und Bürgerrechten auf.
2. Algorithmen im Gesundheitswesen: Ein bekanntes Beispiel ist ein Algorithmus in US-Krankenhäusern, der weiße Patienten gegenüber schwarzen bevorzugte, da die Daten hinsichtlich der Gesundheitskosten verzerrt waren. Der Algorithmus nutzte historische Gesundheitsausgaben als Indikator für den Bedarf und benachteiligte dadurch schwarze Patienten, die in der Vergangenheit weniger Zugang zu medizinischer Versorgung hatten.
3. Einstellungsalgorithmen: Ein von Amazon eingesetztes KI-System war gegenüber Frauen voreingenommen, da es mit Lebensläufen trainiert wurde, die überwiegend von Männern eingereicht worden waren. Dadurch begünstigte der Algorithmus männliche Kandidaten und verstärkte Geschlechterungleichheiten bei der Rekrutierung in der Tech-Branche.

Anwendungsfälle und Auswirkungen

KI-Systeme werden zunehmend in Bereichen wie Personalgewinnung, Gesundheitswesen, Strafjustiz und Finanzwesen eingesetzt. Jeder dieser Bereiche birgt Diskriminierungspotenzial:

• Personalgewinnung: KI-basierte Recruiting-Systeme können bestehende Vorurteile aus historischen Einstelldaten unbeabsichtigt verstärken und so zu diskriminierenden Einstellungspraktiken führen. Solche Verzerrungen entstehen durch unausgewogene Daten, die bestimmte Bevölkerungsgruppen überrepräsentieren und qualifizierte Kandidat:innen aufgrund von Geschlecht, Rasse oder anderen Merkmalen ausschließen.
• Strafjustiz: Algorithmische Tools für Risikoabschätzungen können rassistische Vorurteile aus Kriminalitätsdaten perpetuieren und so Minderheiten benachteiligen. Diese Tools beeinflussen Entscheidungen zu Kaution, Strafmaß und Bewährung, wobei voreingenommene Algorithmen systemische Ungerechtigkeiten verschärfen können.
• Finanzdienstleistungen: Kreditbewertungsalgorithmen können aufgrund verzerrter Eingangsdaten bestimmte Personengruppen benachteiligen und damit die Kreditvergabe beeinflussen. Diese Verzerrungen stammen aus historischen Daten, die diskriminierende Kreditvergabepraktiken widerspiegeln und so wirtschaftliche Ungleichheit fortschreiben.

Abmilderung von Diskriminierung in der KI

Um Diskriminierung in der KI zu begegnen, können verschiedene Strategien angewandt werden:

• Bias-Tests: Regelmäßige Überprüfung von KI-Systemen, um Verzerrungen vor der Anwendung zu erkennen und zu beheben. Dazu gehört die Analyse der Ergebnisse auf unterschiedliche Auswirkungen für verschiedene Bevölkerungsgruppen und die entsprechende Anpassung der Algorithmen.
• Inklusive Datenerhebung: Sicherstellung, dass Trainingsdatensätze die gesamte Bevölkerung, einschließlich marginalisierter Gruppen, abbilden. Vielfältige Daten helfen, KI-Systeme gerechter und gesellschaftlich repräsentativer zu gestalten.
• Algorithmische Transparenz: KI-Systeme transparenter machen, damit Beteiligte potenzielle Verzerrungen erkennen und korrigieren können. Transparenz bedeutet eine klare Dokumentation des Algorithmusdesigns, der verwendeten Daten und der Entscheidungsprozesse.
• Ethische Governance: Interne und externe Aufsicht, um sicherzustellen, dass KI-Systeme ethischen Standards entsprechen und keine Diskriminierung fördern. Dazu zählen Richtlinien für Fairness, Verantwortlichkeit und Inklusivität bei Entwicklung und Anwendung von KI.

Rechtliche und ethische Überlegungen

Diskriminierung in der KI ist nicht nur ein ethisches, sondern auch ein rechtliches Thema. Verschiedene Gesetze, wie beispielsweise der UK Equality Act, verbieten Diskriminierung aufgrund geschützter Merkmale. Die Einhaltung dieser Gesetze ist für Organisationen, die KI-Systeme einsetzen, unerlässlich. Rechtliche Rahmenwerke geben Vorgaben, damit KI-Technologien die Menschenrechte achten und keine Ungleichheiten fördern. Ethische Überlegungen beziehen sich auf die gesamtgesellschaftlichen Auswirkungen von KI und stellen sicher, dass Technologien verantwortungsvoll und gerecht genutzt werden.

Diskriminierung in der KI: Wissenschaftliche Publikationen

Diskriminierung in der KI bezeichnet die ungerechte oder ungleiche Behandlung von Menschen durch KI-Systeme auf Basis bestimmter Merkmale. Da KI-Technologien zunehmend Entscheidungsfindungen in verschiedenen Sektoren beeinflussen, ist die Auseinandersetzung mit Bias und Diskriminierung von zentraler Bedeutung. Nachfolgend einige wissenschaftliche Arbeiten zu diesem Thema:

1. Bias and Discrimination in AI: a cross-disciplinary perspective
   Autoren: Xavier Ferrer, Tom van Nuenen, Jose M. Such, Mark Coté, Natalia Criado
   Diese Arbeit hebt die wachsende Sorge über Vorurteile in KI-Systemen hervor, die häufig zu Diskriminierung führen. Die Autoren analysieren Literatur aus technischen, rechtlichen, sozialen und ethischen Blickwinkeln, um das Verhältnis zwischen Bias und Diskriminierung in der KI zu verstehen. Sie betonen die Notwendigkeit interdisziplinärer Zusammenarbeit, um diese Probleme wirksam anzugehen. Mehr dazu
2. “Weak AI” is Likely to Never Become “Strong AI”, So What is its Greatest Value for us?
   Autor: Bin Liu
   Obwohl der Fokus nicht direkt auf Diskriminierung liegt, behandelt die Arbeit Kontroversen rund um KI, darunter ihre Grenzen und gesellschaftlichen Auswirkungen. Sie unterscheidet zwischen „schwacher KI“ und „starker KI“ (artificial general intelligence) und untersucht den potenziellen Wert von „schwacher KI“. Das Verständnis dieser Paradigmen kann aufzeigen, wie Vorurteile von verschiedenen KI-Systemen verstärkt werden können. Mehr dazu
3. Putting AI Ethics into Practice: The Hourglass Model of Organizational AI Governance
   Autoren: Matti Mäntymäki, Matti Minkkinen, Teemu Birkstedt, Mika Viljanen
   Diese Publikation präsentiert ein KI-Governance-Framework namens „Hourglass Model“, das darauf abzielt, ethische KI-Prinzipien in die Praxis umzusetzen. Es adressiert Risiken wie Bias und Diskriminierung, indem es Governance-Anforderungen auf mehreren Ebenen – Umwelt, Organisation und KI-System – bereitstellt. Das Framework ist auf den kommenden European AI Act ausgerichtet und soll eine gesellschaftlich verantwortungsvolle KI-Entwicklung gewährleisten. Mehr dazu