Wenn KI die Diskriminierung skaliert

Die Bewerbung am Freitagnachmittag abgeschickt und dann kommt eine Standardabsage – am Samstag um 3 Uhr. Der Verdacht: Moment, hat hier etwa gar kein Mensch entschieden, sondern ein Algorithmus? Und wenn ja, warum? Sind meine hohen Qualifikationen doch nicht gut genug, weil es mehr Konkurrenz gibt, als ich dachte? Oder hat das gar etwas mit meiner ausländischen Herkunft zu tun?

Auf der anderen Seite: Auf eine Stellenausschreibung erhält eine Firma Hunderte von Bewerbungen. Doch das Recruiting-Team sieht davon nicht besonders viel – die vom Hiring-Algorithmus zusammengestellte Shortlist besteht aus vielleicht 20 Profilen. Ja, gute Profile, aber trotzdem. Ein Gefühl beschleicht das Team: Was, wenn wir etwas verpassen? Was, wenn die KI ganz anders entschieden hätte, als wir, und dabei gar kapitale Fehler gemacht hat, von denen wir nicht einmal erfahren? Und was ist ganz allgemein mit all den Profilen, die wir nie zu Gesicht bekommen?

Wenn Algorithmen entscheiden, heisst das keineswegs, dass diese Entscheidungen gut oder rechtens sind. Denn automatisierte Systeme sind – wie wir Menschen – weder vor Fehlern gefeit, noch von Vorurteilen verschont. 

Einerseits, weil auch Algorithmen von Menschen programmiert werden, andererseits, weil die von ihnen produzierten Ergebnisse nur so gut sind wie ihre Datensätze, die ihrerseits ebenfalls menschlichen Ursprungs sind. Technologie ist nicht so neutral, wie wir manchmal glauben. 

Anders gesagt: Wenn ein Unternehmen in seiner jahrzehntelangen Firmengeschichte vorwiegend weisse Männer eingestellt hat, obwohl es gleich oder sogar besser qualifizierte schwarze Frauen gegeben hätte und diese Daten schliesslich die Grundlage für die Entscheidungen eines Algorithmus bilden, wiederholt sich die Geschichte.

Das nennt man algorithmische Diskriminierung – und daran hängt ein Themenfeld, das mindestens genauso komplex ist, wie die Diskriminierungsforschung selbst. Es stellt Politik, Wirtschaft und Gesellschaft vor viele neue, aber eben auch alte Probleme, die bisher ungelöst sind und sich nun zu verschärfen drohen. 

Menschen vs. Computer – wessen Bias eigentlich wiegt schwerer?

«Vielerorts ist man sich noch zu wenig bewusst, dass Algorithmen nicht automatisch neutraler oder ‹objektiver› sind als Menschen», sagt denn auch Moira Daviet, Researcherin bei AlgorithmWatch Schweiz, einer Organisation, die sich mit den Prozessen algorithmischer Entscheidungsfindung und ihren rechtlichen, politischen und gesellschaftlichen Rahmenbedingungen befasst. Dort ist sie zuständig für das von Horizon Europe finanzierte Projekt FINDHR, das mit interdisziplinären Ansätzen untersucht, wie algorithmische Diskriminierung im Personalwesen reduziert werden kann. Involviert sind dabei nicht nur wissenschaftliche Institutionen, sondern auch Partner aus der Industrie und zivilgesellschaftliche Organisationen. 

«Algorithmische Diskriminierung wird oft mit dem Argument relativiert, Menschen würden ebenfalls Entscheidungen aufgrund von Vorurteilen treffen», sagt Daviet, «das ist sicher richtig, aber problematisch an algorithmischer Diskriminierung ist die enorme Skalierbarkeit die daraus erfolgen kann.» Wenn ein Mensch diskriminiert, ist das zwar auch problematisch, aber «wenn Algorithmen das tun, betrifft das potenziell sehr viel mehr Menschen, als wenn das eine Einzelperson tut», erklärt Moira Daviet. «Zudem wird die Verantwortlichkeit verwässert: Im Gegensatz zu menschlichen Entscheiden, die dokumentiert werden müssen, ist es bei einer KI-basierten Entscheidung schwer nachvollziehbar, wie es zur Entscheidung gekommen ist und wer dann dafür Verantwortung trägt». 

KI-Systeme können dazu nicht nur bestehende Diskriminierungsformen übernehmen, sondern auch neue schaffen. So habe man beim Projekt FINDHR mit einem Experiment auch herausgefunden, dass eine KI, beauftragt mit dem Zusammenstellen einer Shortlist für die Besetzung einer Stelle, ganz andere Kandidatinnen oder Kandidaten in die engere Auswahl nahm als Menschen im Recruiting – zum Beispiel nur schon, weil die KI bestimmte Formatierungen oder Dateien nicht richtig lesen kann und in der Folge eigentlich sehr qualifizierte Leute aussortiert hat.

Um HR-Professionals für die Thematik zu sensibilisieren, hat FINDHR ein spezielles Toolkit entwickelt. Dieses gibt Empfehlungen speziell für Recruiterinnen und Recruiter, was es zum Beispiel bei der Anschaffung oder der Inbetriebnahme von KI-Systemen zu beachten gilt – quasi «als Einstieg in die Thematik», wie Daviet erklärt. Zudem bietet FINDHR eine Masterclass und ein 30-stündiges Training zu Fairness in der KI-gestützten Personalauswahl an. Beide Kurse stehen kostenlos zur Verfügung. 

Diskriminierung beginnt schon, bevor die Bewerbung aussortiert wird

Algorithmische Diskriminierung kann aber bereits beginnen, bevor eine KI entscheidet, ob eine Kandidatin oder ein Kandidat auf eine Shortlist kommt – oder sich überhaupt auf eine Stelle bewirbt. «Oft hat man den Eindruck, immer dieselben Jobanzeigen in seinem Feed angezeigt zu kriegen, und man fragt sich dann, weshalb das so ist», sagt Daviet. Sowohl die Wahl der Jobplattform als auch deren algorithmische Zielgruppenoptimierung bestimmen wesentlich, wer eine Anzeige überhaupt zu sehen bekommt – bereits hier findet also eine Vorselektion und «eine Art Personalisierung statt», sagt Daviet. Gerade jenen, die bereits jetzt einen erschwerten Zugang zum Jobmarkt haben, wird die Suche damit zusätzlich erschwert. «Algorithmische Diskriminierung kann alle treffen. Besonders häufig trifft sie jedoch Menschen, die auch sonst bereits diskriminiert werden – etwa aufgrund ihres Geschlechts, ihrer Herkunft, ihres Alters, ihrer sexuellen Orientierung oder ihrer Religion», so Daviet.

FINDHR hat deshalb in sieben EU-Ländern Fokusgruppen gegründet – zusammen mit Menschen, die von Diskriminierung betroffen sind. Diese wurden aktiv zum Thema algorithmische Diskriminierung befragt. «Das hat mir die Augen geöffnet. Bei diesen Menschen herrscht eine enorm grosse Unsicherheit, aber auch Frustration und ein Gefühl der Ohnmacht. Manche kriegen selbst bei hohen Qualifikationen hunderte von Absagen und wissen schlicht nicht warum», schildert Daviet. 

Das Vertrauen sinkt, die Unsicherheit steigt

Immer mehr scheint es unabdinglich, KI-Tools nutzen zu müssen. Ob als Person auf Jobsuche, um die sich verändernden Herausforderungen des Jobmarkts zu meistern, oder als Recruiting-Abteilung, um die CV-Flut zu bewältigen. Die Folge: Die gegenseitige KI-Aufrüstung und das Versprechen nach mehr Effizienz produzieren eine Art paradoxe Ineffizienz und einen Vertrauensverlust auf allen Seiten. (HR Today berichtete) 

Wenn Personalentscheide bedeuten, eine Wahl zwischen zwei Alternativen treffen zu müssen, die sich gegenseitig ausschliessen – also quasi ein Urteil sprechen zu müssen – möchte man sich dieser Wahl sicher sein. Wenn aber KI-Systeme einerseits potenziell andere Entscheide treffen als Recruiting-Teams und dabei strukturelle Diskriminierungen nicht nur reproduzieren, sondern verstärken und gar neue Formen schaffen können, ist Verunsicherung die logische Folge. 

«Auf Seite der Stellensuchenden ist die Unsicherheit aber noch viel grösser», sagt Moira Daviet, «weil sie gar nicht wissen, ob ihre Bewerbung von einem Menschen oder einem System gesichtet wird, geschweige denn welche Daten analysiert und wie diese genau bewertet werden. Die Systeme sind oftmals sehr intransparent.»  

Darum fordert AlgorithmWatch, dass der Einsatz von KI-Systemen transparent gemacht werden und die Entscheidungswege so nachvollziehbar wie möglich sein sollen. Ganz so einfach ist das jedoch nicht, da viele KI-Systeme so komplex sind, dass ihre Entscheidungswege auch für Fachpersonen und selbst ihre Entwickelnden schwer nachvollziehbar sind – das sogenannte «Black-Box-Problem».  

Zu analysieren, weshalb man mit einer Bewerbung nun genau abgeblitzt ist, gleicht also dem Kaffeesatzlesen, nur ohne Kaffee, ohne Kaffeesatz und ohne Tasse. Entsprechend schwierig ist es deshalb auch, nur schon zu bemerken oder den Verdacht zu schöpfen, einer unpersönlichen, algorithmischen Entscheidung zum Opfer gefallen zu sein, geschweige denn, ob dahinter diskriminierende Gründe stecken könnten. 

Um dem entgegen zu wirken, bietet AlgorithmWatch ein Formular, mit dem man sich bei Verdacht melden kann. Weiterhin setzt sich die Organisation dafür ein, dass rechtliche Rahmenbedingungen geschaffen werden, um in Zukunft die Beweislast nicht weiter dem diskriminierten Individuum aufzubürden. Die Hürden für Einzelpersonen seien schlicht zu hoch. Stattdessen sollen Unternehmen beweisen, dass es alles unternommen hat, um Diskriminierung zu vermeiden. 

Zusätzlich fordert AlgorithmWatch, dass kollektive Rechtsmittel geschaffen werden, weil es sich bei algorithmischer Diskriminierung eben oft um systematische Diskriminierung handelt, die für Einzelpersonen schwer nachzuweisen ist.

Bitter für den ganzen Jobmarkt

Kein Wunder also, dass das diffuse Unbehagen steigt, wenn man Opfer von algorithmischer Diskriminierung sein könnte, ohne das überhaupt zu bemerken. Das sei eine grosse Herausforderung, findet auch Daviet. Obwohl algorithmische Diskriminierung nur schwer greifbar ist, ist «sie kein rein theoretisches Konstrukt, sondern real und damit bittere Realität für die Betroffenen.»  

Die scheinbare Vagheit algorithmischer Diskriminierung und daraus folgende Verunsicherung ist aber nicht zwingend ein «Fehler» im System, sondern vielmehr dessen logische Konsequenz, wie verschiedene Autoren festhalten, die sich mit Themen wie KI-, Netzpolitik und technokratischem Neoliberalismus befassen, darunter etwa Douglas Rushkoff, Mark Fisher oder Cory Doctorow. So hätten diverse Technologien durch die Menschheitsgeschichte hindurch nicht nur Effizienz geschaffen, sondern auch eine unpersönliche Distanz zwischen den Menschen – und damit auch eine Distanz von den realen menschlichen Konsequenzen der Technologie. 

So wird der Recruiting-Prozess, je nach Interpretation, durch den Einsatz von KI-Systemen vielleicht effizienter, aber das Gros der Bewerbenden kriegen die Teams nie zu Gesicht – und damit jede bedeutsame Information, die es im Angebot hat. Damit lagern HR-Abteilungen genau das an KI-Systeme aus, womit sie sich immer wieder rechtfertigen: Die Sensoren für das Menschliche zu sein. Oder anders: Ihre eigene Existenzgrundlage wird dadurch untergraben. 

Dass algorithmische Systeme bestehende Diskriminierungsformen reproduzieren und verstärken, ist darum, wenn man sie durchdenkt, nicht nur bitter für die von KIs aussortierten Menschen und Recruiting-Teams. Auch für Unternehmen ergeben sich daraus Nachteile. 

Diversität – erwiesenermassen ein ökonomischer Erfolgsfaktor – sinkt und es eröffnen sich neue Risiken. Es drohen etwa Reputationsschäden oder rechtliche Konflikte. Kurz: Die Wettbewerbsfähigkeit ist gefährdet. Ganz grundlegend betrachtet sind also alle Seiten vom Thema betroffen – und damit auch das ohnehin schon angespannte Verhältnis zwischen Arbeitnehmenden und Unternehmen sowie der Jobmarkt. 

Das Recht greift noch zu wenig

Da das Diskriminierungsverbot in der Schweizer Bundesverfassung verankert ist, können potenziell auch Unternehmen in rechtliche Konflikte geraten. Was aber, wenn im Recruiting-Prozess ein externes KI-System eingesetzt wird und dieses diskriminiert? Wer ist dann juristisch verantwortlich? Insgesamt: Die Situation ist komplex. Aber zunächst: «Wer einen Personalentscheid trifft und sich dabei auf Empfehlungen einer KI stützt, entscheidet rechtlich gesehen selbst und ist deshalb verantwortlich», erklärt Moira Daviet. 

Auf europäischer Ebene begegnet man der Frage nach der Verantwortlichkeit mit dem EU AI Act. Dieser soll die Entwickler in die Pflicht zu nehmen: «Anbieter von sogenannten High-Risk-Systemen – dazu gehören auch KI-Recruiting-Systeme – sollten nun möglichst viele Massnahmen zur Erkennung, Verhinderung und Minderung von Diskriminierung unternehmen, bevor das System in der EU überhaupt auf den Markt gebracht werden darf.» Inwiefern die Schweiz von der Gesetzgebung der EU betroffen sein wird, ist hierbei noch unklar. 

Im Schweizer Recht sieht AlgorithmWatch noch Defizite. Das Diskriminierungsverbot in der Bundesverfassung betreffe nämlich private Akteure nur in einigen wenigen Fällen. Zwar folge daraus die «grundrechtliche Schutzpflicht des Staates, Diskriminierung auch zwischen Privaten zu verhindern». Da es aber kein allgemeines Gesetz gebe, das Diskriminierung durch Private untersage und sich diskriminierende KI-Systeme gesellschaftlich schnell ausbreiten würden, reiche der bestehende Schutz nicht aus. Denn algorithmische Diskriminierung verfüge über besondere Merkmale. 

Zusammengefasst: Die rechtlichen Rahmenbedingungen für den Einsatz von KI-Systemen sind wackelig und bergen Risiken für alle Seiten – besonders aber für jene, die von Diskriminierung betroffen sind.  

Schon die Wortwahl kann dazu führen, dass Frauen ausgeschlossen werden

Eines dieser besonderen Merkmale – das rechtliche, aber auch ganz praktische Fragen aufwirft –, lässt sich am besten am Beispiel des Tech-Giganten Amazon erklären.

Der Konzern hatte über mehrere Jahre versucht, ein Recruiting-System zu entwickeln. Nach einer Weile hatte man schliesslich festgestellt, dass das System Frauen benachteiligt. Mehrfache Versuche, dem System diesen Bias auszutreiben respektive wegzuprogrammieren, scheiterten. Und dies obwohl die Geschlechtsidentität explizit als Bewertungskriterium für potenzielle neue Hirees ausgeschlossen wurde. 

«Ein Glaubenssatz, der sich in HR-Kreisen hartnäckig hält, ist, dass es reicht, Bewerbungen zu anonymisieren», sagt Moira Daviet von AlgorithmWatch. Doch warum reicht das Debiasing von Systemen – etwa eben durch Anonymisierungen oder Anweisungen, ein bestimmtes Kriterium nicht zu gewichten – nicht aus, um Diskriminierung zu verhindern? Ein Grund dafür: «Proxy-Variablen», erklärt Daviet. 

^{Ein Erklärvideo von AlgorithmWatch bringt Ihnen das Thema Proxy Variablen näher.}

Wie bereits eingangs erklärt: Was bei KI-Systemen vorne reinkommt, kommt hinten wieder raus, sieht aber etwas anders aus. Begründet ein Unternehmen seinen Erfolg mit vergangenen Recruiting-Entscheiden und nimmt das als Zielvorgabe für die KI, wird diese versuchen, genau jenes Ziel zu erreichen. Wenn die explizit genannte Geschlechtsidentität vom System als Recruiting-Kriterium ausgeschlossen werden soll, respektiert ein KI-System das zwar. Trotzdem findet es auf Umwegen aber wieder zurück zum Ursprungsziel und schliesst aufgrund anderer Merkmale im CV auf die Geschlechtsidentität – und sortiert aus. Wie ein Fluss, der einen Stein umfliesst. 

«Bereits die Erwähnung im CV, man sei auf eine «Girl's School» gegangen, bringt den Algorithmus dazu, implizit auf die Geschlechtsidentität zu schliessen», sagt Moira Daviet, «aber auch Hobbys, Sprachkenntnisse, die Berufserfahrung oder der Bildungsweg können etwa stellvertretend für die ethnische Herkunft, das Alter oder das Geschlecht stehen. Da Diskriminierung durch Proxy-Variablen versteckt stattfindet, ist es schwierig, sie aufzudecken und zu verhindern». 

Im Falle von Amazon hat man zudem herausgefunden, dass KIs sogar das Vokabular im CV unterschiedlich gewichten und dadurch Frauen gegenüber Männern benachteiligt werden – schlicht, weil historisch gesehen primär weisse, heterosexuelle Männer eingestellt wurden, die tendenziell ein anderes Vokabular nutzen als Frauen. Dieses Vokabular wiederum wird dann als Erfolgskriterium gewertet – und Frauen ausgeschlossen.

Doch damit nicht genug: «Auch die Postleitzahl kann zu Rückschlüssen über eine Person führen, zum Beispiel auf die sozialen Umstände, unter denen sie aufgewachsen ist.» 

Ein theoretisches Gedankenspiel: Wenn ein KI-System, basierend auf einem diskriminierenden Datensatz, die Schweizer Staatsbürgerschaft als Erfolgsmassstab wertet, könnte es absurderweise also bereits für eine Absage reichen, wenn im CV etwa die Postleitzahlen von Schwamendingen oder Quartieren in Kleinbasel stehen – schlicht, weil das Gemeinden mit hohem Ausländeranteil sind. Diesen konkreten kausalen Zusammenhang dingfest zu machen, ist aber aufgrund der Intransparenz der Systeme kaum möglich.

Proxy-Variablen können also, obwohl sie vermeintlich neutral sind, stellvertretend für eine diskriminierungsrechtlich geschützte Kategorie stehen. 

«Es gibt im CV ganz viele Informationen, bei denen man gar nicht realisiert, dass sie Rückschlüsse auf sensible Daten zulassen», sagt Moira Daviet. Dem entgegenwirken könne man individuell zum Beispiel, indem man so wenig Persönliches wie möglich über sich preisgebe, «und das ist ja eigentlich auch schade». 

Wo Probleme sind, sind auch Lösungsansätze

AlgorithmWatch fordert deswegen, dass der Diskriminierungsschutz auch bei Diskriminierung durch solche Proxy-Variablen greift und so zum Beispiel eben auch Postleitzahlen und andere Variablen bei der Auswahl von geeigneten Jobkandidierenden durch KI-Systeme nicht als Kriterium gewertet werden dürfen. Die Forderung betrifft aber nicht nur das Recruiting, sondern auch Bereiche wie das Asylwesen oder die Sozialhilfe, da auch dort KI-Systeme zum Einsatz kommen können, die Empfehlungen abgeben, die Menschen betreffen.

Auf Forschungsseite bietet FINDHR potenzielle Lösungsansätze für diese komplexe Problemstellung, sagt Moira Daviet. Zum Beispiel wurde ein «synthetischer Datensatz» entwickelt. Da in Hinblick auf Diskriminierung ausgewogene Datensätze nicht existieren, hat man versucht, so einen Datensatz synthetisch – also künstlich – herzustellen. «Dank Datenspenden von über 1100 Personen haben wir einen Datensatz entwickelt, der auch oftmals unterrepräsentierte Gruppen abbildet», erklärt Daviet, «aber es ist natürlich enorm schwierig, einen wirklich ausgeglichenen Datensatz zu entwickeln». Einblick in die Forschung finden Sie hier.

Solche synthetischen Datensätze können in der Entwicklungsphase von Systemen – also bevor sie veröffentlicht werden – als Massstab dienen, algorithmische Systeme auf diskriminierende Muster zu prüfen. Das ist nötig, denn selbst ein fairer Algorithmus mit vergleichsweise ausgeglichenen Daten kann ab dem Moment, in dem er eingesetzt wird, diskriminierende Muster entwickeln, da das komplexe Zusammenspiel aus Algorithmus, Datensatz und menschlicher Interaktion zu Lerneffekten führt. 

HR-Professionals müssen sich jetzt bereits Gedanken machen

Unter dem Strich lässt sich festhalten: Algorithmische Diskriminierung ist bereits jetzt ein reales Problem, das Gefahren sowohl für marginalisierte Menschen als auch Unternehmen – im Grunde die ganze Gesellschaft – birgt. Die rasante Entwicklung von KI stellt dabei besonders die Regulatoren vor Herausforderungen. Nur schon die Probleme, die sich seit den 00er-Jahren durch die Popularisierung der sozialen Medien stellen, sind noch zum grossen Teil ungelöst. Doch auch die Unternehmen sollten, alleine schon um ihrer selbst willen, ein Interesse daran haben, Lösungen für diese Herausforderungen aktiv mitzugestalten. 

Die Problemstellungen, die sich nun durch KI offenbaren, sind enorm komplex und derart ineinander verflochten, dass es schwierig scheint, nur schon den Versuch zu wagen, sie sinnig aufzudröseln. Diskriminierung trifft in allererster Linie marginalisierte Menschen. Die Welleneffekte, die sich daraus ergeben, betreffen am Ende aber alle. Jetzt schon. Es ist darum unerlässlich, dass HR-Professionals sich und Führungspersonen für das Thema sensibilisieren, proaktiv informieren und Massnahmen ergreifen, um nicht von der Diskriminierungswelle überrollt zu werden.