Vor einigen Jahren gab es eine große Aufregung um einen AMS-Algorithmus, der offenbar Frauen weniger unterstützte als Männer. Wie kann man solche Entwicklungen vermeiden?
Dieser Algorithmus ist ein gutes Beispiel, um zu erklären, warum es bei der Einführung einer Technologie so wichtig ist, sich genau zu überlegen, was dahintersteht. Der AMS-Algorithmus war ein transparentes statistisches Modell, das berechnete, wie hoch die Chancen für Menschen mit bestimmten Merkmalen, also Alter, Geschlecht, Migrationshintergrund, Bildung etc., sind, auf dem Arbeitsmarkt einen Job zu finden. Der Algorithmus hat auf Basis von individuellen Daten und Arbeitsmarktdaten eine empirische Realität abgebildet und Menschen anhand ihrer Chancen in drei Gruppen aufgeteilt: gut vermittelbar, vermittelbar und schlecht/nicht vermittelbar. Auf Basis dieser Kategorisierung sollten Personen Zugang zu AMS-Förderungen wie Ausbildungen bekommen oder eben nicht. Das ist aber eine ethische Fragestellung: Wer soll vom AMS profitieren? Wie können wir unsere Ressourcen effizient und sozial gerecht einsetzen? Was ist fair?
Das ist ziemlich problematisch …
Das Problematische dabei ist, dass eine schwierige Entscheidung auf ein vermeintlich objektives und intelligentes System übertragen wird – etwa die Entscheidung, ob eine Frau über 50, die kaum mehr Chancen auf dem Arbeitsmarkt hat, noch eine Schulung bekommen soll. Den Mitarbeiter:innen im AMS wird aber damit ein Stück weit die Handlungsmacht genommen – und auch die Verantwortung. Entscheidungen, die sie sonst selbst treffen müssten, indem sie jeden einzelnen Fall individuell beurteilen, übernimmt der Algorithmus.
Welchen Auftrag haben wir als Gesellschaft dabei?
Wir müssen als Gesellschaft die Wertefrage lösen, wie wir Menschen fördern wollen und wie wir Ressourcen effizient einsetzen können. Diese Entscheidung kann nicht an KI-Systeme delegiert werden. AMS-Mitarbeiter:innen sollten auch die individuelle Situation ihrer Klient:innen berücksichtigen. Solche Entscheidungen dürfen daher nicht Maschinen überlassen werden, sie können aber durch algorithmische Systeme, die transparent und vertrauenswürdig sind, gestützt sein. Der springende Punkt bei der Einführung solcher Systeme ist daher, wo am Ende die Handlungsmacht liegt. Diese sollte immer beim Menschen sein.
Wie sieht es heute mit dem Einsatz von KI auch in Personalabteilungen von Unternehmen aus?
KI wird mittlerweile auch im Recruiting eingesetzt. Auch da kann man viele Entscheidungen automatisieren. Am meisten bringt das großen Konzernen mit tausenden Bewerbungen, vor allem auch Initiativbewerbungen. Ein kleiner Betrieb mit zehn oder auch mit 100 Mitarbeiter:innen wird nicht so viele Bewerbungen bekommen, dass es weniger sinnvoll sein wird, Algorithmen für dieses Datenmaterial zu erstellen. Bei einer großen Datenbank kann man dann nicht nur offensichtliche Marker wie das Geschlecht oder den Bildungsgrad auswählen. Es können dann auch implizite Kriterien ausgewählt werden, die beispielsweise über das Klick-Verhalten auf Social Media sichtbar werden. Hier ist das Problem, dass dann für die Bewerber:innen schwer zu fassen ist. Sie werden gar nicht einmal angesprochen und wissen nicht, dass Sie hier nicht als potenzielle Kandidat:innen identifiziert wurden. Diese implizite Diskriminierung ist schwierig zu erkennen.
Es gibt aber auch Unternehmen, die von Bewerber:innen verlangen, ein Video hochzuladen. Dann wird KI Software verwendet, um zum Beispiel Rückschlüsse auf ihrer Persönlichkeit zu ziehen. Da gibt es dann die Probleme, die es auch bei der Bild- und Spracherkennung gibt: Wenn Sie eine halbe Gesichtslähmung haben, funktioniert das System überhaupt nicht, und wenn Sie Migrationshintergrund haben und eben nicht zu diesen Standard weißen Männern gehören, werden möglicherweise falsche Rückschlüsse über ihre Persönlichkeit gezogen. Es ist also grundsätzlich problematisch, dass man das macht, zusätzlich kann es dann aber auch zu sehr viel ungerechtfertigter Diskriminierung kommen.
Bräuchte es hier nicht gesetzliche Vorgaben?
Genau das sieht nun der Regulierungsentwurf der Europäischen Kommission, der AI Act, vor. Alles, was im Arbeitskontext an KI eingesetzt wird, Recruiting Systeme werden da auch explizit genannt, müssen Zertifizierungsverfahren durchlaufen. Und da muss nachgewiesen werden, dass keine Diskriminierung stattfindet. Der Algorithmus muss also so trainiert und die Daten müssen so sorgfältig kuratiert werden, dass so ein Bias ausgeschlossen wird.
