Algorithmenbasierte Entscheidungen und Diskriminierung

ANDREASTINHOFER (WIEN)
Der Einsatz von Computerprogrammen zur Entscheidungsfindung kann zur Diskriminierung bestimmter Personengruppen führen. Die möglichen Ursachen hierfür sind vielfältig und für die Betroffenen häufig schwer zu durchschauen. Der Beitrag behandelt die spezifischen Probleme algorithmischer Entscheidungssysteme aus gleichbehandlungsrechtlicher Sicht und erörtert die in der Literatur entwickelten Lösungsansätze.
  1. Einleitung

  2. Was sind „Algorithmenbasierte Entscheidungssysteme“?

    1. Planungsphase

    2. Entwicklungsphase

    3. Anwendungsphase

  3. Probleme aus der Sicht des Gleichbehandlungsrechts

    1. Das Vorurteilsproblem (Der „menschliche Faktor“)

    2. Das Datenproblem

    3. Das Korrelations- und Stellvertreter- Problem

    4. Das Transparenz- und Erklärungsproblem

    5. Das Umfangs- und Geschwindigkeitsproblem

    6. Das Verantwortlichkeitsproblem

  4. Lösungsansätze zum Schutz vor algorithmischer Diskriminierung

    1. Transparenz, Erklärbarkeit und Rechenschaftspflicht

    2. Verbesserung des Rechtsschutzes

  5. Schlussbemerkungen

1.
Einleitung
„Diese unsichtbaren Algorithmen, die die Schrauben und Rädchen des modernen Maschinenzeitalters bilden, haben zahllose Dinge ermöglicht, von Social-Media-Feeds bis zu Suchmaschinen, von der Satellitennavigation bis zu automatischen Musikempfehlungen. Sie sind ebenso Teil unserer modernen Infrastruktur wie Brücken, Gebäude und Fabriken. [...] Sie sagen uns, was wir anschauen, was wir lesen und mit wem wir ausgehen sollen. Gleichzeitig üben sie eine geheime Macht aus: Sie verändern langsam und unmerklich, was es heißt, ein Mensch zu sein.“*

Tatsächlich sind algorithmische Entscheidungssysteme aus dem Alltagsleben der meisten Menschen im globalen Norden nicht mehr wegzudenken. Neben den bereits erwähnten Suchmaschinen für das Internet (Stichwort: „Google“), Spam-Ordnern für E-Mails, Empfehlungssystemen für die Auswahl von Nachrichten (zB Newsfeed in Sozialen Medien), Filmen (zB Netflix), Musik (zB Spotify), Urlaubsunterkünften (zB Booking.com) oder potenziellen Lebenspartner*innen (zB Parship) sind sie ua auch für die Wettervorhersage, Verkehrsnavigationssysteme, Bonitätsbeurteilungen, intelligente Haushaltsgeräte uvm unverzichtbar. Algorithmen sind also zunehmend auch bei Entscheidungen involviert, welche die Lebensführung und Persönlichkeitsentfaltung der Menschen beeinflussen.*

Auch der Staat setzt zunehmend auf den Einsatz von algorithmischen Entscheidungssystemen. So wird etwa in vielen US-Bundesstaaten das System COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) zur Unterstützung von Richter*innen bei der Entscheidung über eine vorzeitige Haftentlassung verwendet. Anhand zahlreicher persönlicher Merkmale der betroffenen Häftlinge berechnet ein Algorithmus die Wahrscheinlichkeit der Strafrückfälligkeit. Dieser Wert soll den Richter*innen eine Entscheidungsgrundlage für die Risikoprognose bieten. Nach Recherchen 171 des Journalistenverbundes ProPublica prognostiziert dieses Tool für Farbige doppelt so häufig zu Unrecht ein hohes Rückfallrisiko wie für Weiße.

Dies wurde allerdings vom Unternehmen equivant, das den Algorithmus entwickelt hatte, bestritten. equivant verwies darauf, dass in der jeweiligen Risikoklasse die Fehlerquote bei beiden Bevölkerungsgruppen gleich hoch sei. Da jedoch gemäß den erhobenen empirischen Daten Farbige eine höhere Rückfallquote ausweisen als Weiße, sind in der vom Algorithmus gebildeten „Hochrisikogruppe“ Farbige in einem höheren Anteil vertreten als in der Gesamtbevölkerung. Trotz derselben Fehlerquote für beide Teilgruppen (sogenannte „false positives“) sind daher von einer falschen Prognose überproportional mehr Farbige betroffen als Weiße.*

Auch in Europa setzen bereits zahlreiche Staaten algorithmische Entscheidungssysteme in unterschiedlichen Bereichen ein.* Neben dem Polizeiwesen (Stichworte „predictive policing“ und „Betrugsbekämpfung“) betrifft dies etwa die Vergabe von Sozialleistungen, die Arbeitsmarktverwaltung oder den Bildungsbereich.

In Österreich sorgte der Einsatz eines Algorithmus in der öffentlichen Verwaltung für Kontroversen. Die Rede ist vom „Arbeitsmarktchancen Assistenz-System“ des Arbeitsmarktservice (AMS) Österreich, das medial unter der Bezeichnung „AMS-Algorithmus“ bekannt wurde.* Der Testbetrieb begann 2018, die Einführung war zunächst für 2020 vorgesehen und wurde dann aufgrund der Corona-Pandemie auf 2021 verschoben. Mit Bescheid vom 16.8.2020 untersagte die Datenschutzbehörde (DSB) dem AMS die Verwendung des Algorithmus mangels ausreichender Rechtsgrundlage. Diese Entscheidung der DSB wurde vom BVwG am 18.12.2020 aufgehoben, worauf die belangte Behörde Revision beim VwGH einlegte. Das Verfahren ist derzeit noch anhängig. In einer parlamentarischen Anfragebeantwortung teilte der Bundesminister für Arbeit mit, dass der AMS-Algorithmus bis zur Entscheidung des VwGH nicht zum Einsatz komme.*

Worum geht es? Der AMS-Algorithmus berechnet die Wahrscheinlichkeit, dass ein*e vorgemerkte*r Arbeitssuchende*r innerhalb eines bestimmten Zeitraums in der Zukunft eine bestimmte Anzahl von Tagen beschäftigt sein wird. Zu diesem Zweck wird aus insgesamt 13 Personenmerkmalen eine sogenannte „Integrationschance“ berechnet. Diese Datenkategorien sind ua Altersgruppe, Geschlecht, Staatengruppe, Ausbildung, gesundheitliche Beeinträchtigungen, Betreuungspflichten und Berufsgruppe. Auf Basis der errechneten Integrationschance werden die Arbeitssuchenden in drei Kategorien eingeteilt: hohe, mittlere und niedrige Arbeitsmarktchancen. Die Gewährung von Fördermaßnahmen soll auf die Gruppe mit mittleren Arbeitsmarktchancen konzentriert werden.

Die Ergebnisse des AMS-Algorithmus sollen für die Berater*innen bloß ein Ausgangspunkt sein, die Letztentscheidung wird von diesen getroffen. Nach den einschlägigen Richtlinien haben die Berater*innen bei ihrer Entscheidung noch zusätzliche Kriterien zu berücksichtigen, die keinen Eingang in den Algorithmus gefunden haben. Dies betrifft ua Motivation und Selbsthilfepotenzial der Arbeitssuchenden, Sucht, Schulden oder Wohnsituation.

Am AMS-Algorithmus wurde vor allem kritisiert, dass sein Einsatz zu einer Festschreibung von struktureller Diskriminierung führen werde. Die verwendeten Kategorien (Personenmerkmale) seien überdies zu grob und die verwendeten historischen Arbeitsmarktdaten durch die COVID-19- Pandemie überholt. Davon abgesehen wird darauf verwiesen, dass schon wegen der knappen Zeitressourcen das Risiko einer routinemäßigen Übernahme der computergenerierten Ergebnisse durch die AMS-Berater*innen besteht.*

Im Folgenden sollen zunächst die grundlegenden Begriffe und die Funktionsweise von algorithmenbasierten Entscheidungssystemen (im Folgenden auch: „AES“) erläutert werden (Kap 2.). Danach werden die mit dem Einsatz von AES zusammenhängenden Probleme aus der Sicht des Gleichbehandlungsrechts erörtert (Kap 3.). Das letzte Kapitel (Kap 4.) widmet sich zwei Problembereichen, wo in der Literatur ein Regulierungsbedarf zur Bekämpfung von algorithmischer Diskriminierung erkannt wurde.

2.
Was sind „Algorithmenbasierte Entscheidungssysteme“?

Für den Begriff „Algorithmus“ gibt es keine einheitliche Definition. Angehörige unterschiedlicher Berufsgruppen (zB Informatiker*innen, Sozialwissenschafter*innen etc) verwenden den Begriff in unterschiedlicher Weise. Nach einem weiten Begriffsverständnis sind Algorithmen „eindeutig definierte Lösungswege, um für ein festgelegtes Problem eine korrekte Lösung zu finden“.* Dieser Definition würde freilich auch ein Kochrezept genügen. Im vorliegenden Zusammenhang geht es hingegen um Algorithmen, die im Rahmen eines Softwaresystems ausgeführt werden können.*172 Es können vor allem folgende zwei Typen von Algorithmen unterschieden werden. Regelbasierte Algorithmen werden zur Gänze von Menschen nach den Regeln der menschlichen Logik entwickelt. Sie folgen häufig einer Wenn-Dann-Logik und können durch – mitunter komplexe – „Entscheidungsbäume“ bzw Flussdiagramme schematisch dargestellt werden. Damit eignen sie sich auch für die Implementierung in Computersystemen. Für deren Erstellung sind somit neben den Programmierkenntnissen immer auch spezifische Fachkenntnisse betreffend die konkrete Aufgabenstellung erforderlich.*

Mit solchen „wissensbasierten Systemen“ (auch „Expertensysteme“ genannt) kann für bestimmte Problemtypen innerhalb kürzester Zeit eine hohe Anzahl von Lösungen gefunden werden (zB Fehlererkennung bei Produkten am Fließband, Geschwindigkeitsmessung durch Radargerät im Straßenverkehr). Gerade bei repetitiven Tätigkeiten sind diese Systeme Menschen idR überlegen, weil sie nicht ermüden und ihnen daher keine Flüchtigkeitsfehler unterlaufen. Allerdings sind regelbasierte Algorithmen statisch, dh sie können die ihnen zu Grunde liegenden Regeln nicht selbstständig anpassen.* Wird also etwa die erlaubte Höchstgeschwindigkeit für einen bestimmten Straßenabschnitt geändert, so muss das betreffende EDV-Programm für die dort im Einsatz befindlichen Radargeräte umprogrammiert werden. Davon abgesehen lassen sich manche Anforderungen nicht klar oder widerspruchsfrei ausdrücken. So ist es praktisch unmöglich, zB eine Katze für ein Bilderkennungsprogramm vollständig in allen denkbaren Erscheinungsformen zu beschreiben.*

Im Unterschied hierzu erzeugen sogenannte „selbstlernende Algorithmen“ die Regeln im Wege der Datenanalyse selbst.* Beim maschinellen Lernen („Machine Learning“) werden in einer Datensammlung (Trainingsdaten) Zusammenhänge (Korrelationen) zwischen bestimmten Variablen automatisiert aufgefunden und sogenannte „Modelle“ erstellt.* Diese stellen letztlich ebenfalls einen Algorithmus dar, der dann auf neue Daten angewendet wird.* So kann etwa ein Bilderkennungsprogramm nach ausreichendem Training Katzen von Hunden und anderen Tieren unterscheiden. Genauso ist es aber möglich, dass selbstlernende Algorithmen einen Zusammenhang zwischen der Länge des Arbeitswegs von AN und ihrer Verweildauer im Unternehmen feststellen können.*

Korrelationen sind freilich für Vorhersagen nur nützlich, wenn sie konstant sind.* Wie erwähnt, wird dies etwa beim AMS-Algorithmus bezweifelt (siehe Kap 1.). Machine Learning benötigt idR eine große Menge an (Trainings-)Daten, die heute vor allem aufgrund der weit verbreiteten Nutzung von Internetdiensten und mobilen Endgeräten (zB Smartphones) zur Verfügung stehen.*

Wie eingangs erwähnt, werden Algorithmen bereits in vielen unterschiedlichen Bereichen dazu eingesetzt, die Entscheidungsfindung durch Menschen zu unterstützen oder sogar vollständig zu ersetzen. Solche AES erfassen, analysieren und interpretieren Daten und leiten aus den Ergebnissen Entscheidungen oder Empfehlungen für Entscheidungen ab.* Problematisch ist dabei, dass aus statistischen Wahrscheinlichkeiten Rückschlüsse auf einzelne Personen gezogen werden.* Unabhängig von der Art des eingesetzten Algorithmus können im Zusammenhang mit AES idR drei Phasen unterschieden werden, wobei in jeder Phase Menschen involviert sind:*

2.1.
Planungsphase

In der Planungsphase geht es um die Problemanalyse und die Festlegung des Ziels, das durch den Einsatz des AES erreicht werden soll. Die Einsatzmöglichkeiten sind äußerst vielfältig und unterschiedlich. Im medizinischen Bereich wird das verfolgte Ziel häufig die Früherkennung von Krankheiten sein. Steuerbehörden erwarten sich von solchen Systemen eine höhere Aufklärungsrate bei Betrugsfällen. Auch im HR-Bereich werden AES von einer wachsenden Anzahl von Unternehmen eingesetzt, wobei der Einsatz von AES bzw „Künstlicher Intelligenz“ bislang vor allem für die Rekrutierung von Personal in Betracht gezogen wird.*

Bei der Entwicklung von selbstlernenden Algorithmen muss ferner entschieden werden, welche Trainingsdaten hierfür herangezogen werden sollen. Dabei kann es sich um interne Daten des*der Auftraggeber*in handeln, oder es werden öffentlich verfügbare Daten verwendet. Davon abgesehen können Trainingsdatensätze auch am Markt zugekauft werden. Wie später gezeigt werden wird (siehe Kap 3.2.), spielt die Qualität von Trainingsdaten für die Frage einer möglichen Diskriminierung durch AES eine zentrale Rolle.

2.2.
Entwicklungsphase

In dieser Phase wird der Programm-Code geschrieben, der den Algorithmus abbildet. Darüber hinaus 173 muss entschieden werden, wie der Algorithmus in die bestehenden technischen Systeme eingebunden wird, um die gewünschten Ziele zu erreichen. Soweit es sich um regelbasierte Algorithmen handelt, muss das einschlägige Fachwissen in einzelne Schritte aufgeteilt („Wenn-dann-Sätze“) und in Computercodes umgewandelt werden.

Bei selbstlernenden Algorithmen wird zunächst die passende Technologie für die Datenanalyse festgelegt. Davon abgesehen sind Zielvariablen zu definieren, zu bewerten und in maschinenlesbare Sprache zu übersetzen. Es müssen ferner die Trainingsdaten ausgewählt und aufbereitet werden. Schließlich gehören auch das Trainieren des Algorithmus sowie daran anschließend das Testen und Validieren zur Entwicklungsphase.

2.3.
Anwendungsphase

Beim Einsatz eines AES kann danach unterschieden werden, ob dieses den menschlichen Entscheidungsprozess nur unterstützt oder zur Gänze ersetzt. Letzteres ist etwa denkbar, wenn ein am Straßenrand postiertes Radargerät die Überschreitung der geltenden Höchstgeschwindigkeit durch ein Fahrzeug feststellt und automatisch ein Strafmandat an den Zulassungsbesitzer ausstellt. Im Steuerrecht werden etwa Nebengebührenbescheide und Bescheide betreffend die Höhe des Einheitswerts vollautomatisiert erstellt.* Empfehlungen auf Online-Plattformen für die Auswahl von Filmen, Musiktiteln, Büchern, Urlaubsunterkünften und anderen Produkten oder Dienstleistungen werden ebenfalls ohne menschliche Intervention auf der Grundlage der dem jeweiligen Computerprogramm zur Verfügung stehenden personenbezogenen Daten des*der Nutzer*in erstellt.

In vielen Fällen sollen jedoch AES menschliche Entscheider*innen bloß unterstützen („human in the loop“). Diese betrifft etwa die Analyse von Röntgenbildern durch Ärzt*innen, die Kreditvergabe durch Bankangestellte oder die Rekrutierung von Personal durch HR-Manager*innen. Allerdings stehen die Entscheider*innen unter einem mehr oder weniger großen Rechtfertigungsdruck, wenn sie eine andere Entscheidung treffen wollen, als sie vom AES vorgeschlagen wird. Es wurde so etwas wie ein „automation bias“ beobachtet, also das Vorurteil, dass der Computer eine bessere Entscheidung treffen kann als ein Mensch. Dies kann dazu führen, dass auch bei Systemen, welche für die menschlichen Entscheidungen bloß als Unterstützung dienen sollen, die vom Algorithmus vorgeschlagene Entscheidung de facto unreflektiert übernommen wird.* Diese Tendenz wird auch durch andere Faktoren unterstützt, wie zB Zeitdruck aufgrund von Effizienzvorgaben (siehe Kap 1. zum AMS-Algorithmus).

Während der Verwendung von AES sind diese zu überwachen, und es ist sicherzustellen, dass sie zu jedem Zeitpunkt korrekte und vertretbare Ergebnisse liefern. Wie oben erwähnt, können regelbasierte Algorithmen infolge einer Änderung der zu Grunde liegenden Regeln (zB Höchstgeschwindigkeit bei Überwachung durch Radargerät) überholt sein. Bei selbstlernenden Algorithmen, die sich während ihres Einsatzes ständig weiterentwickeln, besteht hingegen die Gefahr, dass ein anfangs diskriminierungsfreies System im Laufe der Zeit zu diskriminieren beginnt. So begann etwa der für eine „zwanglose und spielerische Konversation“ mit Nutzer*innen des Sozialen Netzwerks Twitter von Microsoft entwickelte Chatbot Tay innerhalb von 24 Stunden rassistische und hetzerische politische Kommentare zu posten, sodass das Projekt schließlich eingestellt wurde.*

3.
Probleme aus der Sicht des Gleichbehandlungsrechts

In der Literatur wurde „algorithmische Diskriminierung“ bereits vor Jahren als die zentrale Herausforderung für unsere „algorithmischen Gesellschaften“ gesehen.* Aus der Sicht des Gleichbehandlungsrechts kann der Einsatz von AES in mehrfacher Hinsicht zu unerwünschten Folgen führen. In der Folge sollen die wesentlichen Problembereiche kurz dargestellt werden.*

3.1.
Das Vorurteilsproblem (Der „menschliche Faktor“)

Wie oben dargelegt, handelt es sich bei einem AES um ein „sozio-technisches System“, in dessen Entwicklung und Anwendung zahlreiche Personen involviert sind. Dies ist bei regelbasierten Algorithmen evident, muss hier doch das Fachwissen für einen bestimmten Bereich in ein logisch-stringentes Entscheidungsschema übersetzt werden.

Es trifft jedoch genauso auf selbstlernende Algorithmen zu. Auch dort spielen Menschen bereits in der Planungsphase eine wichtige Rolle. Sie entscheiden über den Anwendungsbereich und das Ziel des AES sowie über die Auswahl der Trainingsdaten. So muss etwa bei einem AES zur Leistungsbeurteilung (Performance Management) die „gute Arbeitsleistung“ als Zielvariable von den Entwickler*innen definiert werden.* Beim sogenannten „überwachten Lernen“ („supervised learning“) geben überdies Menschen dem zu trainierenden System eine Rückmeldung, ob die Ergebnisse der Aufgabenstellung entsprechen. Aber auch bei anderen Arten von AES liegt die Überwachung der einwandfreien Funktionsweise des Systems letztlich in menschlicher Hand. Dies gilt erst recht für die Entscheidung, ein fehlerhaftes AES zu stoppen, zu ersetzen oder zu reparieren. 174 Menschen sind bekanntlich anfällig für Fehler unterschiedlicher Art (Flüchtigkeitsfehler, Logikfehler etc) und vor allem für Vorurteile, die zur Diskriminierung bestimmter Gruppen führen können. Fließen diese Vorurteile in der Planungsund Entwicklungsphase in die Algorithmen ein, so kommt es durch den Einsatz dieser AES zu einer weiteren Verfestigung und Festschreibung bestimmter Diskriminierungsmuster. Vor diesem Hintergrund wird daher in der Literatur gefordert, die Rolle der Menschen in der Entwicklung und Verwendung von AES zu regulieren.*

3.2.
Das Datenproblem

Wie bereits erwähnt, werden für die Entwicklung von selbstlernenden Algorithmen Trainingsdaten benötigt. Ab dem Jahr 2014 entwickelte Amazon ein Recruiting-Tool, das die Lebensläufe von Bewerber*innen automatisiert analysieren und anhand eines 5-Sterne-Systems bewerten sollte. Auf diese Weise hätte das Tool Amazon bei der Auswahl der geeignetsten Bewerber*innen unterstützen sollen. Zunächst wurde der Algorithmus mit den Lebensläufen von erfolgreichen Bewerbungen der vergangenen zehn Jahre trainiert. Durch maschinelles Lernen sollte er in der Trainingsphase herausfinden, welche Muster diese Bewerbungen aufwiesen.

Bereits nach einem Jahr stellte sich heraus, dass das Recruiting-Tool Männer favorisierte. Nach einschlägigen Medienberichten hatte dies zum einen damit zu tun, dass in der Vergangenheit vor allem Männer eingestellt worden waren. Zum anderen wurde bei der Entwicklung des Algorithmus offenbar unterstellt, dass die Einstellungsentscheidungen der Vergangenheit richtig waren. Diese Wertung spiegelt das gesellschaftliche Vorurteil wider, wonach Männer für technische Berufe besser geeignet sind als Frauen.*

Der Algorithmus lernte daher, Hinweise auf eine Bewerberin im Lebenslauf zu erkennen (zB Mitgliedschaft im Frauenschachklub oder bestimmte andere Hobbys) und bewertete diese Bewerbung in der Folge systematisch schlechter. Umgekehrt führte die Verwendung von Verben, die sich überwiegend in den Lebensläufen von Männern finden (zB „execute“), zu einer besseren Beurteilung. Versuche von Amazon, geschlechtsspezifische Begriffe in Lebensläufen zu neutralisieren, blieben letztlich erfolglos. Da das Recruiting-Tool häufig auch unqualifizierte Bewerber*innen vorschlug, wurde es schließlich nur noch für untergeordnete Hilfsfunktionen, wie etwa die Auslese von Doppelbewerbungen, eingesetzt.*

Der Auswahl und Qualität der für die Entwicklung eines selbstlernenden Algorithmus verwendeten Trainingsdaten kommt somit für das Diskriminierungsrisiko eine entscheidende Bedeutung zu. Sind diese Daten das Ergebnis diskriminierender Verhaltensweisen, so werden diese Diskriminierungen – ohne entsprechende Gegenmaßnahmen – durch das AES repliziert und fortgeschrieben. Dieser Umstand wird häufig mit der Formel „rubbish in, rubbish out“ beschrieben.*

3.3.
Das Korrelations- und Stellvertreter- Problem

Es wurde bereits erwähnt, dass selbstlernende Algorithmen in großen Datenmengen bestimmte Muster erkennen können. Dabei handelt es sich um statistisch relevante Korrelationen, die jedoch keine Aussage über eine kausale Beziehung zwischen zwei Tatsachen zulassen. So ist etwa der überwiegende Anteil der Teilzeitbeschäftigten weiblich, sodass zwischen dem Geschlecht und dem Arbeitszeitausmaß eine statistisch relevante Korrelation besteht. Hieraus kann jedoch nicht auf eine kausale Beziehung geschlossen werden („Weil XY eine Frau ist, übt sie eine Teilzeitbeschäftigung aus“).

Korrelationen zwischen sozialen Daten sind generell Ausdruck der gesellschaftlichen Realität zu einer bestimmten Zeit und an einem bestimmten Ort. So ergibt sich etwa aus den Arbeitsmarktdaten des AMS, dass Frauen schlechtere Chancen am Arbeitsmarkt haben als Männer. Aus dieser empirisch festgestellten Korrelation zwischen Geschlecht und der Dauer der Arbeitsplatzsuche lässt sich jedoch keine Aussage über die Ursachen ableiten.

Selbstlernende Algorithmen sind sehr gut darin, in einer Menge unstrukturierter Daten Korrelationen festzustellen. Soll etwa bei einem Recruiting-Tool ein Gender-Bias verhindert werden, so reicht es nicht aus, das Geschlecht der Bewerber*innen als ein für die Entscheidung relevantes Merkmal zu eliminieren. Wie der oben erwähnte Fall „Amazon“ zeigt, finden sich nämlich in Bewerbungsunterlagen häufig andere Hinweise auf das Geschlecht (zB bestimmte Hobbys). Wenn solche scheinbar neutralen Angaben mit einem geschützten Merkmal (zB Geschlecht, ethnische Zugehörigkeit, Behinderung, Alter usw) korrelieren, spricht man von Stellvertreter-Variablen („Proxies“).*

Aus der Sicht der Gleichbehandlung ist an den Proxies vor allem problematisch, dass sie nicht so leicht zu erkennen sind und daher uU auch den Entwickler*innen des Algorithmus nicht bewusst werden. Dies führt sogleich zum nächsten Problem: der mangelnden Transparenz von Algorithmen (siehe Kap 3.4.).

Davon abgesehen gründen die Entscheidungen bzw Empfehlungen von AES in der Regel auf einer Vielzahl verschiedener Faktoren, die miteinander in einem statistisch relevanten Verhältnis stehen. Wenn (bloß) einige dieser Faktoren mit einem geschützten Merkmal korrelieren, stellt sich die Frage, ob dies für das Vorliegen einer Diskriminierung iSd Gleichbehandlungsrechts genügt. 175 Der OGH hat dies iZm der Belästigung aufgrund einer Behinderung bejaht.* Es genügt somit, wenn das geschützte Merkmal (bzw damit in Verbindung stehende Eigenschaften, Handlungen, Verhaltensweisen oder Zustände) innerhalb eines „Motivbündels“ zumindest mitursächlich für die Benachteiligung ist.*

3.4.
Das Transparenz- und Erklärungsproblem

Obgleich auch regelbasierte Algorithmen hochkomplex sein können, sind diese doch zumindest für Fachleute nachvollziehbar. Bei selbstlernenden Algorithmen hingegen können idR selbst die Entwickler*innen nicht genau erklären, nach welchen Parametern und mit welcher Gewichtung ein bestimmter Input (an Daten) zu einem bestimmten Output (zB Entscheidungsempfehlung) verarbeitet wird. Aus diesem Grund wird der Algorithmus häufig mit einer „black box“ verglichen.*

Hieraus ergibt sich zum einen das Problem, dass versteckte Diskriminierungen aufgrund eines geschützten Merkmals schwer entdeckt und bewiesen werden können.*

Dieses Problem tritt aber auch in der umgekehrten Konstellation auf. So sind etwa in einem Rechtsstaat die Entscheidungen samt den daraus abgeleiteten Maßnahmen der Verwaltungsbehörden grundsätzlich nur bei Vorliegen der gesetzlich geregelten Voraussetzungen zulässig (Legalitätsprinzip gem Art 18 B-VG). Die bescheiderlassende Behörde muss daher die Rechtmäßigkeit des Eingriffs in die Rechtsposition des/der Betroffenen darlegen und beweisen können (zB Verwaltungsstrafe aufgrund einer Geschwindigkeitsüberschreitung im Straßenverkehr).*

Zu bedenken ist schließlich, dass auch technische Mängel des Algorithmus uU lange Zeit unentdeckt bleiben. Dies spielt vor allem bei AES eine Rolle, bei denen die Validität der vom Algorithmus gelieferten Ergebnisse schwer zu überprüfen ist (zB Recruiting-Tools).

3.5.
Das Umfangs- und Geschwindigkeitsproblem

Wie bereits dargestellt, werden AES sowohl in der öffentlichen Verwaltung als auch in der Privatwirtschaft bereits für zahlreiche unterschiedliche Zwecke eingesetzt. In beiden Fällen spielen die höhere Effizienz gegenüber (ausschließlich) menschlichen Entscheidungsprozessen und die daraus resultierenden Einsparungen eine wichtige Rolle. Tatsächlich kann mit Hilfe von AES eine wesentlich höhere Anzahl von Entscheidungen in wesentlich kürzerer Zeit getroffen bzw vorbereitet werden als dies Menschen vermögen. Darin liegt aber zugleich auch ein Risiko, weil sich ein algorithmischer Bias als „Massenphänomen“* auf eine sehr große Anzahl von Personen auswirken kann, bevor er allenfalls bemerkt und korrigiert wird.*

3.6.
Das Verantwortlichkeitsproblem

Erleidet eine Person durch die Verwendung eines AES zu Unrecht einen Nachteil (zB Diskriminierung bei der Bewerbung), so stellt sich die Frage nach der Verantwortung bzw der Haftung. Dabei ist zu berücksichtigen, dass AES regelmäßig nicht von jener Stelle entwickelt werden, die das System für eigene Zwecke einsetzt. Am Markt werden bereits zahlreiche Software-Produkte für den HRBereich angeboten, die entweder am Rechner der Kund*innen installiert werden („on premise“) oder diesen über das Internet beim Anbieter zur Verfügung stehen („Software-as-a-Service“).

So bietet etwas das soziale Netzwerk LinkedIn mit mehr als 700 Mio Nutzer*innen einen Dienst namens „Recruiter“ an. Unternehmen können dort Stellenanzeigen lancieren und Bewerber*innen können sich direkt auf der Plattform bewerben. Kürzlich berichtete die deutsche NGO „Algorithm Watch“, dass Bewerber*innen aus dem Ausland automatisch als „nicht geeignet“ eingestuft und aussortiert werden. Für diese Entscheidung sei allein maßgeblich, ob das im LinkedIn-Profil des*der Bewerber*in ausgewählte Land mit dem Land des Stellenangebots übereinstimmt. Die jeweiligen personalsuchenden Unternehmen würden über dieses Auswahlkriterium nicht informiert, könnten diese Funktion jedoch in ihrem LinkedIn-Account unter „Einstellungen“ deaktivieren.*

In beiden Fällen stellt sich die Frage, ob sich ein*e AG im Falle einer (ausschließlich) auf das Tool zurückzuführenden Diskriminierung von AN bzw Bewerber*innen von seiner*ihrer Verantwortlichkeit nach dem Gleichbehandlungsrecht befreien kann. Der*die AG könnte uU zu argumentieren versuchen, dass es sich um ein fehlerhaftes Software- Produkt handelt und ihn*sie daher kein Verschulden trifft. Dem steht jedoch entgegen, dass für das Vorliegen einer Diskriminierung weder Absicht noch Verschulden verlangt wird.*

4.
Lösungsansätze zum Schutz vor algorithmischer Diskriminierung

Für die Überwindung der oben dargestellten Probleme von AES werden in der Literatur drei Handlungsfelder beschrieben: rechtliche, wissensbasierte und technologische Lösungen.* Diese Handlungsfelder sind teilweise miteinander verwoben. So sind etwa rechtliche Vorgaben denkbar, die bestimmte technologische Lösungen zwingend vorschreiben oder ausschließen. Die folgenden Ausführungen beschränken sich aus Zeit- bzw Platzgründen auf zwei wesentliche Problembereiche, wo in der Literatur ein Regulierungsbedarf zur Bekämpfung von algorithmischer Diskriminierung erkannt wird. 176

4.1.
Transparenz, Erklärbarkeit und Rechenschaftspflicht

Eine grundlegende Voraussetzung für ein effektives Vorgehen gegen diskriminierendes Verhalten von staatlichen Behörden, Unternehmen und anderen Akteur*innen ist Transparenz. Im Zusammenhang mit AES wird dieser Begriff allerdings in unterschiedlicher Weise verwendet. Zu klären ist daher zunächst, „über was, für welche Personen, für welchen Zweck und in welcher Form Transparenz geschaffen werden oder unterbleiben sollte“.*

Nach einem engen Verständnis bezieht sich die Transparenz auf die Offenlegung des Programmcodes des Algorithmus. Aus rechtlicher Sicht müssten diesbezügliche rechtliche Vorgaben vor allem mit dem Schutz von Betriebs- und Geschäftsgeheimnissen, dem Urheberrecht und dem Datenschutz in Einklang gebracht werden. So könnte es für die Vermeidung bzw Bekämpfung von algorithmischer Diskriminierung uU ausreichen, wenn nur Behörden im Rahmen eines Verfahrens oder die für die Durchführung eines Audits zuständigen Stellen Einblick in den Programmcode erhalten.

Ein weites Verständnis von Transparenz schließt alle Möglichkeiten ein, um die Undurchsichtigkeit eines Algorithmus zu verringern. Dabei wird insb die Erklärung des Algorithmus gefordert („Explainability“). Diese kann grundsätzlich 1) die technische Funktionalität des AES, 2) die logische Verknüpfung zwischen Eingangs- und Ausgangsdaten oder 3) die kausale Herleitung der Ergebnisse des AES betreffen. Die konkrete Methode zur Erklärung eines AES hat sich primär an den Adressaten zu orientieren.* Dabei stehen vor allem das Ausmaß an technischer Expertise und ihre Motivation im Vordergrund. So macht es einen wesentlichen Unterschied, ob es sich bei den Adressaten um die Anwender*innen des AES handelt (zB Sachbearbeiter*in des AMS), um die Betroffenen (zB Arbeitssuchende) oder um Institutionen, welche die Einhaltung rechtlicher Vorgaben überprüfen (zB Gerichte, Gleichbehandlungsanwaltschaft, NGOs etc).

Wie bereits erwähnt, gab es zum AMS-Algorithmus in den Medien eine breite Debatte, an der auch das Vorstandsmitglied des AMS, Johannes Kopf, teilnahm.* Die vom mit der Erstellung des Algorithmus beauftragten Institut angewendete Methode wurde im Internet veröffentlicht.* Darüber hinaus beantwortete das AMS einen ausführlichen Fragenkatalog der Gleichbehandlungsanwaltschaft (GBA) zum Algorithmus und den damit nach Ansicht der GBA verbundenen Diskriminierungsrisiken. Fragen und Antworten wurden auf der Website der GBA veröffentlicht.* Die Datenschutz-NGO epicenter. works stellte ein Auskunftsbegehren gem § 2 Auskunftspflichtgesetz und veröffentlichte in der Folge das Antwortschreiben des AMS auf ihrer Website.* Es ist zweifelhaft, ob auch ein privates Unternehmen derart detaillierte Informationen über die Funktionalität eines von ihm betriebenen AES erteilt hätte.

Ergänzend zu Transparenz und Erklärbarkeit des AES wird in der Literatur die Rechenschaftspflicht der Anwender*innen gefordert. Dieses Prinzip ist im Datenschutzrecht bekanntlich in Art 5 Abs 2 DSGVO verankert. In der wissenschaftlichen Diskussion zu AES wird darunter im Kern die Verpflichtung zur Rechtfertigung eines bestimmten Verhaltens bzw einer Entscheidung verstanden, wobei die Möglichkeit einer Sanktion besteht.* Auf die datenschutzrechtliche Dimension der AES kann im Rahmen dieses Beitrags nicht näher eingegangen werden.*

Auch technische Lösungen können zur Erhöhung der Transparenz von AES beitragen. Dabei werden verschiedene Ansätze vorgeschlagen. So wird etwa nach dem sogenannten „constructive approach“ bereits bei der Entwicklung des Programmcodes auf die Erklärbarkeit geachtet. In diesem Zusammenhang stehen auch die Initiativen zur „explainable AI [Artificial Intelligence]“, also der „sich selbsterklärenden“ Künstlichen Intelligenz.* Es stehen auch bereits einige Open-Source-Programme zum Testen von AES zur Verfügung (zB „AI Fairness 360“).*

4.2.
Verbesserung des Rechtsschutzes

In der europäischen Literatur wird als ein Problem für einen effektiven Rechtsschutz erkannt, dass die Durchsetzung von Rechtsansprüchen aufgrund von Diskriminierung im Wesentlichen den Betroffenen überlassen wird. Für diese bestehen jedoch bei algorithmischer Diskriminierung besonders hohe Hindernisse, ua weil ein Gerichtsverfahren aufgrund der oben dargelegten mangelnden Transparenz von AES und der daraus resultierenden Beweisprobleme häufig mit hoher Unsicherheit verbunden ist. Vor diesem Hintergrund wird ein „kollektiver Ansatz“ empfohlen, wie etwa die Möglichkeit einer Verbandsklage sowie die Stärkung von Gleichbehandlungsstellen.* Daneben werden Beweiserleichterungen* und Dokumentationspflichten betreffend die Entwicklung und Anwendung von AES* gefordert.

Auch nach dem österreichischen Antidiskriminierungsrecht ist der Rechtsschutz im Wesentlichen 177 individuell konzipiert. Das GlBG sieht bei Verletzung des Diskriminierungsverbots vor, dass die betroffene Person die Ansprüche innerhalb einer bestimmten Frist gerichtlich geltend machen kann (siehe § 12 iVm § 15, § 26 iVm § 29, § 38). Für Diskriminierungen aufgrund einer Behinderung ist vor Einbringung einer Klage ein verpflichtendes Schlichtungsverfahren vor der zuständigen Landesstelle des Sozialministeriumservice vorgesehen (§ 7k Abs 1 BEinStG iVm § 14 Bundes-Behindertengleichstellungsgesetz). Eine Verwaltungsstrafe droht nur im Zusammenhang mit diskriminierender Ausschreibung von Arbeitsplätzen (§§ 10 und 24 GlBG) oder von Wohnraum (§ 37 GlBG).

Die beim Bundeskanzleramt eingerichtete GBA hat zwar nach dem Gesetz eine wichtige Rolle bei der Beratung und Unterstützung von Personen, die sich iSd GlBG diskriminiert fühlen (§ 5 Abs 1 GBK/GAW-Gesetz). Ein*e Anwalt/Anwältin der GBA kann bei der Gleichbehandlungskommission (GBK) die Einleitung einer Prüfung im Einzelfall beantragen (§ 5 Abs 6 GBK/GAW-Gesetz) und unter bestimmten Voraussetzungen mit Zustimmung der betroffenen Person auch eine Diskriminierungsklage bei Gericht einbringen (§ 5 Abs 6, § 12 Abs 5 GBK/GAW-Gesetz). Ein Verbandsklagerecht steht der GBA jedoch nicht zu.* Soweit der Einsatz eines AES eine große Anzahl von Personen betrifft (zB Klage gegen den Betreiber einer Online-Plattform), würde ein solches kollektives Klagerecht sicherlich eine wesentliche Verbesserung des Rechtsschutzes bedeuten.

Für eine gerichtliche Durchsetzung von Gleichbehandlungsansprüchen gelten nach dem österreichischen Recht gewisse Beweiserleichterungen. So haben Betroffene den Diskriminierungstatbestand bloß glaubhaft zu machen. Gelingt dies, so obliegt dem*der Bekl der Beweis, dass er*sie nicht diskriminiert hat (§ 12 Abs 12, § 26 Abs 12 und § 51 Abs 9 GlBG, § 7p BEinstG). Nach der Judikatur gilt für die Glaubhaftmachung von (diskriminierenden) Motiven der sogenannte „Indizienbeweis“. Dabei wird im Rahmen der Beweiswürdigung von den von der klagenden Partei nachgewiesenen „Hilfstatsachen“ auf die entscheidungswesentliche Tatsache geschlossen.*

Bei AES ist es jedoch für die Betroffenen wegen der Intransparenz und Komplexität des Systems häufig schwierig, ausreichende Indizien für eine Diskriminierung darzulegen und zu beweisen. In der Literatur wird daher vertreten, die Judikatur des EuGH zu intransparenten Gehaltssystemen* auch auf AES anzuwenden.* Demnach würde sich die Beweislast auf den*die Anwendende*n verlagern, sobald die betroffene Person eine Ungleichbehandlung entlang geschützter Merkmale (zB Geschlecht, Alter, Behinderung, ethnische Zugehörigkeit etc) belegen kann.

Zur Durchführung von empirischen Diskriminierungsanalysen haben sich in der Praxis eine Reihe von Methoden herausgebildet.* Die Wahl der Methode ist vor allem davon abhängig, welche Informationen den Untersuchenden zur Verfügung stehen. Bei sogenannten „Beobachtungsstudien“ haben die Forschenden keine Kontrolle über die Einflussvariablen, während dies bei „(quasi-)experimentellen Studien“ zumindest teilweise der Fall ist. Hier werden etwa fingierte Bewerbungen und Lebensläufe verwendet, um allfällige Diskriminierungen aufzudecken. Bei Onlineplattformen können auch fingierte Testpersonen manuell oder durch Computerprogramme erzeugt werden, die wiederholte Nutzungen durchführen. Für die von einer Diskriminierung allenfalls betroffenen Personen ist es jedoch idR nicht möglich, die Diskriminierung im Wege einer solchen Analyse nachzuweisen. Dies unterstreicht die Bedeutung eines kollektiven Ansatzes unter Einbindung von Gleichbehandlungsstellen, Datenschutzbehörden und sonstigen Akteur*innen auf dem Gebiet des Gleichbehandlungs- bzw Datenschutzrechts.

5.
Schlussbemerkungen

Der Einsatz von AES macht auch vor der Arbeitswelt nicht halt und wird sich in den kommenden Jahren noch verstärken. Umso wichtiger erscheint eine breite gesellschaftliche Debatte über die Vorteile und Risiken der dahinter liegenden Technologien. Die Wissenschaft kann hierzu einen Beitrag leisten, wenn sie interdisziplinär betrieben wird. Aus der Sicht des Gleichbehandlungsrechts geht es vor allem darum, neue Formen der Diskriminierung zu erkennen und dagegen einen effektiven Rechtsschutz zu bieten. 178