Algorithmen und die Lufthansa

“Solche Algorithmen”, so Mundt (Präsident des Bundeskartellamtes, Anm. des Autors), “werden ja nicht im Himmel vom lieben Gott geschrieben.” – Das ist auch einer der Gründe, warum ich den Artikel ¹ (auch online ² verfügbar) interessant finde. Er thematisiert die Problematik, dass ein Algorithmus, der von Unternehmen oder auch von staatlichen Institutionen zur Entscheidungsfindung verwendet wird, für “Menschen, die von seinen Entscheidungen betroffen sind, zu einer Blackbox (wird).” Und er fasst kurz und knapp den eigentlich trivialen Vorgang – so funktionieren alle datenverarbeitenden Systeme seit jeher: Input, Verarbeitung, Output – allgemeinverständlich zusammen: “Erst werden Daten eingespeist, dann wird kompliziert herumgerechnet, und am Ende steht ein Ergebnis, das sich weder überprüfen noch hinterfragen lässt.” Eigentlich lässt sich natürlich jeder Algorithmus prinzipiell überprüfen, sofern man Zugriff auf die Daten hat, die als Eingabe dienen, und die Berechnungsvorschriften sowie die für die Entscheidungsfindung verwendeten Regeln kennt. Genau das problematisiert der Artikel recht gut. Erstens ist oft nicht klar, welche Daten verwendet und wie sie erhoben werden. Zweitens wird der Algorithmus selber, also die Berechnungsverfahren und die implementierten Regeln, nicht offen gelegt. Und drittens werden die berechneten Ergebnisse nicht als eine Entscheidungsgrundlage unter mehreren verwendet und kritisch gewürdigt, sondern als bare Münze angesehen, sind also die einzige Entscheidungsbasis. Das heißt, weder die Datengrundlage noch die Ermittlung der Ergebnisse durch den Algorithmus werden oft überhaupt noch in Frage gestellt. Sollten sie aber und der Artikel liefert gleich drei prägnante Beispiele dafür:

1. An der “MacFarland Middle School in Washington, D.C.” wurde eine Lehrerin entlassen, weil das zur Bewertung der Lehrerleistungen verwendete IT-Verfahren ihr miserable Leistungen attestiert hatte.
2. In den USA wird die Wahrscheinlichkeit, dass ein Straftäter rückfällig wird, mit einem IT-Verfahren berechnet.
3. Das Unternehmen “Aspire Health” hat ein Verfahren entwickelt, das darüber mitentscheidet, ob Schwerkranke noch eine Behandlung bekommen.

Erwartet wird in all diesen Fällen, dass die jeweiligen Algorithmen “gerechter und objektiver urteilen als Menschen.” – Diese Algorithmenhörigkeit ist bei genauerem Hinsehen aber nicht zu rechtfertigen. Die Eingangsdaten lassen sich manipulieren, wie anscheinend im Fall (1) geschehen, oder das IT-Verfahren basiert auf bewussten oder unbewussten Vorurteilen oder auch einer kognitiven Verzerrrung der Entwickler des Algorithmus wie im Fall (2), wodurch Schwarze systematisch benachteiligt wurden. Ganz zu schweigen von Implementierungsfehlern, die sich nicht hundertprozentig vermeiden lassen, wie jeder weiß, die sich in der Praxis schon mit Software-Entwicklung, ihrer historischen Entwicklung sowie den vielgestaltigen Versuchen, den Entwicklungsprozess und die dabei eingesetzten Methoden zu verbessern, beschäftigt hat.