Diskriminierung durch KI

KI-Glossar

Die ungleiche Behandlung von Personen oder Gruppen durch KI-Systeme, oft als Folge verzerrter Daten oder unzureichender Prüfung.

Kurzdefinition

Diskriminierung durch KI bezeichnet die systematische Schlechterstellung bestimmter Personen oder Gruppen durch KI-gestützte Entscheidungen oder Inhalte, oft ohne bewusste Absicht des Anwenders.

Einfach erklärt

Diskriminierung durch KI ist die praktische Konsequenz von Bias. Wenn ein Modell etwa Bewerbungen bestimmter Gruppen systematisch schlechter bewertet oder bei Kreditentscheidungen Muster aus der Vergangenheit fortschreibt, entstehen reale Nachteile für Betroffene.

Im Berufsalltag wird das vor allem dort wichtig, wo KI Entscheidungen vorbereitet, etwa in HR, Finanzdienstleistungen, Versicherungen, Sicherheit oder Verwaltung. Schon die Reihenfolge von Vorschlägen kann Folgen haben.

Beispiel aus dem Arbeitsalltag

Eine Bank prüft den Einsatz von KI zur Vor-Sortierung von Kreditanträgen. Tests zeigen, dass Anträge aus bestimmten Postleitzahlen seltener positiv vorbewertet werden. Das Team ergänzen Fairness-Checks und entscheidet, dass die KI nur unterstützend, nicht entscheidend eingesetzt wird. Eine rechtliche Prüfung begleitet die Einführung.

Warum ist der Begriff wichtig?

Diskriminierung durch KI hat reale Folgen für Menschen und ernste rechtliche Konsequenzen für Unternehmen. Unbemerkt zu bleiben ist keine Option.

Für Unternehmen sinnvoll: Sorgfältige Auswahl bei sensiblen Einsatzfeldern, regelmäßige Tests, transparente Kommunikation mit Betroffenen. Bei Hochrisiko-Einsatz im Zweifel rechtlich begleiten lassen.

Chancen

  • Bewusste Prüfung verbessert die Qualität der Entscheidungen
  • Transparenz schafft Vertrauen bei Betroffenen
  • Vorgaben aus dem EU AI Act werden frühzeitig erfüllt
  • Diversität in Teams und Tests reduziert blinde Flecken

Risiken und typische Fehler

  • Reale Nachteile für Menschen, die schwer wieder gut zu machen sind
  • Rechtliche und reputationelle Folgen für Unternehmen
  • Verzerrungen sind oft schwer zu erkennen ohne Spezialwissen
  • Vertrauen in automatisierte Entscheidungen verschleiert Risiken

Verwandte Begriffe

Passende Inhalte im KI College