Wie genau kam Joy Buolamwini zu ihrem Job? Die Entwicklerin gründete die «Algorithm Justice League», das ist eine NGO, die es sich zum Ziel gesetzt hat, Diskriminierungen aufgrund der Herkunft oder des Geschlechts in den neueren Entwicklungen Künstlicher Intelligenz (KI) aufzudecken und ihnen entgegen zu wirken. Hintergrund dafür waren ihre eigenen Forschungsarbeiten zu Technologien der Gesichtserkennung am MIT media lab, bei denen die schwarze Wissenschaftlerin immer so weisse Masken zum Test aufsetzen musste, wie die des Hacker-Kollektivs «Anonymous» – die Software erkannte sie sonst nicht als Mensch. In ihrem TED-Talk «How I’m Fighting Bias in Algorithms» (Wie ich Verzerrungen in Algorithmen bekämpfe; 2016) führt Joy diese Tatsache auf den Mangel inklusiver Datensets zurück: Da diese zu wenig Bilder schwarzer Menschen enthielten, haben die Algorithmen nur «gelernt», Gesichter von nicht-schwarzen Menschen zu erkennen. Allerdings ist das noch nicht ganz klar: Google kämpft seit Jahren mit dem Problem, dass die Algorithmen der Plattform schwarze Menschen fälschlicherweise als Gorillas einstufen – bislang ohne eine Perspektive auf eine Lösung.
Lernfähige Maschinen
Doch was ist eigentlich KI, und inwiefern stellt sie eine Gefahr oder auch Chance für Frauen dar? Jenseits der jahrzehntelangen Forschung zu logisch konstruierter KI (etwa Schachcomputer), Weltmodellen und Expertensystemen sind in den letzten Jahren Durchbrüche in einer ganzen Reihe von Datenanalyse-Systemen gelungen. Sie ermöglichen in Verbindung mit grossen Mengen an Daten, Rechenpower und hoher Vernetzung das, wovon Menschen seit Jahrzehnten träumen: Die Entwicklung von lernfähigen Maschinen – also aus Daten lernende Software, die in Verbindung mit steuerungsfähiger Hardware Aufgaben übernehmen kann, die bislang Menschen vorbehalten waren: z. B. Analyse, Bewertung und Steuerung komplexer Sachverhalte.
Daten, Funktion und Ziel
Bei einer ersten Annäherung an KI ist es hilfreich, zu unterscheiden, ob diese Technologien eingesetzt werden zur Analyse von Sachverhalten (z. B. Coronadiagnose) resp. zur Anwendung einer durch technische Tools unterstützten Steuerung von Dingen; ob in einfachen, statischen Systemen (z. B. automatisierte Bettenverteilung im Krankenhaus) oder aber in komplexen, mitunter dynamischen Systemen (z. B. eine plattform-basierte Vernetzung von Patient*innen und Ärzt*innen, die besonderen Informationsbedürfnissen wie Sprach- oder Rechtskenntnissen Rechnung trägt). In allen Fällen sind für die Bewertung und Einschätzung der Technik folgende Punkte von grosser Bedeutung:
- Basis des Systems (Daten, Algorithmen/Lernverfahren, Modelle/berücksichtigte Korrelationen)
- Funktionsweise und Sicherheit (Performanz, Schwachstellen, Manipulationsmöglichkeiten, etc.)
- Ziele beziehungsweise Ausrichtung der Optimierung (z. B.: Soll eine automatisierte Bettenverteilung im Krankenhaus dem Patientenwohl dienen, dem Renommee der Ärztin oder der Krankenhausauslastung?)
Kaum durchschaubare Systeme
Inwiefern kann es hier nun zu Problemen kommen? Das Beispiel von Joy Buolamwini ist ein typisches Problem der Technikentwicklung, das im Falle von KI besonders schwer erklärbar ist. Denn die Nachvollziehbarkeit und Kontrolle von KI stellen Menschen vor grosse Herausforderungen: Zunächst einmal stellt sie ein technisches Problem dar, das mit den Analysetechnologien selbst zusammenhängt. Früher konnten Algorithmen in Softwaresystemen oder so genannten algorithmischen Entscheidungssystemen logisch getestet werden auf Basis etwa der Überprüfung der Algorithmen, der Operationalisierung und Datenauswahl zur Lösung des Problems, der Einbindung in Softwaresysteme usw. Ein solches Algorithmen-Auditing ist heute kaum mehr möglich. Denn einerseits sind die Systeme meist zu komplex, zu interaktiv und zu dynamisch. Andererseits besteht eben der Clou der KI darin, dass sich die Technik mit der Datenanalyse und Anwendung verändert, also: dass sie selbst lernt. Um nachzuvollziehen, was die KI gelernt hat oder warum sie zu bestimmten Ergebnissen kommt, muss man heute deswegen in einem komplizierten Verfahren den Daten-Input und -Output miteinander vergleichen. Allerdings sind die meisten existierenden KI-basierten Systeme, wie die grossen Plattformen Google, Facebook, Amazon + Co, durch IT-Sicherheits- und Urheberrecht vor externen Datenzugriffen geschützt. Das heisst, die wenigen Nerd_ista, die in der Lage wären, eine solche Prüfung vorzunehmen, haben in der Regel kein Material zum Üben und Testen. Das ist ungeschickt, kommen doch diese Technologien unabhängig von Entwicklungsstand und Nachvollziehbarkeit immer mehr zum Einsatz.
Fatale Genderblindheit
In Deutschland warnen Organisationen wie die Anti-Diskriminierungsstelle des Bundes, das Bundesministerium der Justiz und für Verbraucherschutz oder zahlreiche zivilgesellschaftliche NGOs vor den Risiken algorithmischer Diskriminierung. Aber mangels Transparenz braucht es immer zuerst kleinere oder grössere Skandale, die das Thema anschaulich machen. Dazu gehörte z. B. ein automatisches Bewertungssystem von Bewerbungen bei Amazon, das Frauen systematisch benachteiligte. Wie aus Medienberichten hervor ging, basierte das System auf dem Abgleich von neuen Bewerbungen mit in der Vergangenheit erfolgreichen Bewerbungen. Da allerdings in der Vergangenheit generell mehr Männer eingestellt wurden, «orientierte» sich die KI an einer verzerrten Datenauswahl und reproduzierte die Ungleichverteilung: Sie bewertete Frauen generell schlechter als Männer. Das Bewertungssystem wurde eingestellt.
Wie kommt man zu diskriminierungsfreien Daten?
In Abhängigkeit von der Tätigkeit könnte man bei solchen Problemen auch mehr Diversität im Ranking bzw. der Optimierung algorithmischer Systeme fordern: Denn wenn der Clou von algorithmischen Entscheidungssystemen darin besteht, auf Basis von Daten effektive Entscheidungen zu treffen, dann braucht es eine Quote bzw. eine Definition von Vielfalt als Ziel, damit die effektiven Entscheidungen auch gesellschaftlichen Normen gerecht werden und nicht zu einseitig sind. Ausserdem braucht es die richtigen – beispielsweise aktuellen, repräsentativen, dem jeweiligen Problem entsprechenden – Daten. Und hier stellt sich das weitaus grössere Problem: Bislang gibt es weder auf nationaler noch auf europäischer Ebene Lösungen, die ein solches Datenmanagement realisieren, die Prüfungen zulassen oder standhalten, erst recht nicht für Akteur*innen verschiedener Branchen. Beispielsweise wäre es toll, wenn die Sensordaten smarter Autos auch der Klimaforschung und dem öffentlichen Nahverkehr zu Verfügung stünden. Aber auch wenn ein grosser Teil des aktuellen politischen und wissenschaftlichen Diskurses Zugang zu guten, korrekten, diskriminierungsfreien Daten fordert, weiss kaum jemand, wie das Ganze realisiert werden kann und soll – zumal sich die Erhebungsmethoden täglich überholen.