Diese Empfehlungen basieren auf den im Kontext der Arbeit zum „Atlas der ­Automatisierung“ durchgeführten Recherchen und Analysen. Sie befassen sich mit Systemen automatisierter Entscheidungsfindung im Zusammenhang mit Teilhaberelevanz. Die Handlungsempfehlungen sollen als Anstoß zur ­Diskussion und als Anregung für Politiker*innen sowie Entscheider*innen in ­Behörden, Firmen und zivilgesellschaftlichen Organisationen dienen.

FOLGEN ABSCHÄTZEN

Bei der Entwicklung und dem Einsatz von Systemen automatisierter Entscheidungsfindung sollte das Prinzip gelten: Vor allem keinen Schaden anrichten (Primum non nocere). Das Prinzip wurde durch den sogenannten hippokratischen Eid etabliert, der bis heute wesentlicher Bestandteil der ärztlichen Berufsethik ist. Entsprechend sollten Gestaltung und Einsatz von ADM-Systemen mit einer Risikobewertung einhergehen. So sollten beispielsweise bei Verkehrsroutenempfehlungen durch GPS-gestützte Navigationsgeräte neben Kriterien der schnellsten oder kürzesten Verbindung auch Kriterien Berücksichtigung finden, die prüfen, ob durch die Streckenempfehlung Wohn- oder Naturschutzgebiete durch Durchgangsverkehr belastet werden.

Bei einer Technikfolgenabschätzung sollten der Einsatzzweck eines ADM-Systems und Charakteristika des Herstellers und des Nutzers, zum Beispiel privatwirtschaftlich versus öffentlich, berücksichtigt werden. Außerdem sollte auf die Datenqualität und den Ursprung der verwendeten Daten geachtet sowie Effekte antizipiert werden, die über den vorgesehenen Anwendungszweck hinaus zu erwarten sind.

ÜBER ADM STATT KI REDEN

KI beherrscht derzeit die gesellschaftliche Debatte. Oft werden in diesem Zusammenhang extreme Szenarien wie die einer „Superintelligenz“ oder „Singularität“ entworfen. Diese Schreckensszenarien verstellen jedoch den Blick auf einen heute schon brisanten Aspekt der KI: Entscheidungen, die sich auf die gesellschaftliche Teilhabe auswirken können, werden vermehrt an Software delegiert. Deshalb halten wir es für hilfreich, statt dem überfrachteten KI-Begriff besser den Begriff der „automatisierten Entscheidungsfindung“ zu verwenden. Damit wollen wir vor allem den Aspekt der Verantwortlichkeit thematisieren, der bei vielen der sogenannten KI-Anwendungen immer auch ein Rolle spielt. Die Verantwortung für Entscheidungen, die mit Hilfe von Softwaresystemen getroffen oder vorbereitet werden, liegt weiter bei den Menschen, die an der Beauftragung, Entwicklung und Zulassung solcher Systeme beteiligt sind. Nicht zuletzt sollte ein Hauptaugenmerk auf ADM-Systemen liegen, die voraussagende Analysen („predictive analytics“) bereitstellen. Hier geht es insbesondere um Vorhersagen menschlichen Verhaltens, beispielsweise in Bezug auf Kreditwürdigkeit oder die Wahrscheinlichkeit, straffällig zu werden. Vor allem in diesem Kontext, aber auch darüber hinaus berühren ADM-Systeme entscheidende Werte der Gesellschaft wie Rechtsstaatlichkeit oder Fairness. Sie müssen deshalb durch eine Kombination von Regulierungsinstrumenten, Aufsichtsmechanismen und Technologien demokratisch kontrolliert werden können.

ZIVILGESELLSCHAFT ERMÄCHTIGEN

Bürger*innen sollten in ihren Kompetenzen gestärkt werden, damit sie die Folgen und Potenziale automatisierter Entscheidungsfindungen besser einschätzen können. Zudem sollte die Bundesregierung den Versprechen, die sie in ihrer KI-Strategie formuliert hat, Taten folgen lassen. In der Strategieerklärung heißt es: „Der Staat muss Wissenschaft und Zivilgesellschaft befähigen, zu diesem wichtigen gesellschaftlichen Diskurs unabhängige und kompetenzbasierte Beiträge zu leisten.“ [Link]. Ein Ansatzpunkt für das „Empowerment“ der Bürger*innen ist der Bildungsbereich. Hier gilt es, Materialien und Programme für die Schul-, Berufs- und Erwachsenenbildung zu entwickeln. Ein Blick nach Finnland könnte helfen: Dort wurde der Online-Kurs „Elements of Artificial Intelligence“ in einer privat-öffentlichen Partnerschaft entwickelt [Link]. Dieser in den Sprachen Finnisch und Englisch frei zugängliche Kurs geht auch auf gesellschaftliche Implikationen von KI ein, zum Beispiel auf algorithmische Verzerrungen und Möglichkeiten der De-Anonymisierung von Daten. Fast 100.000 Finnen (bei einer Gesamtbevölkerung von 5,5 Millionen Einwohnern) haben sich bisher für diesen Kurs angemeldet.

BERICHTERSTATTUNG AUSBAUEN

Journalist*innen, Redaktionen und Verlage sollten ADM zum Gegenstand ihrer Recherchen und Publikationen machen. Zudem sollten Kompetenzen auf- und ausgebaut werden, um verantwortungsvoll über Algorithmen berichten zu können („Algorithmic Accountability Reporting“). Möglicherweise bereits vorhandene Kapazitäten aus dem Bereich Datenjournalismus bieten sich dafür an. Angesichts der lauter werdenden Forderung nach gemeinnützigem Journalismus, empfehlen wir Stiftungen, „Algorithmic Accountability Reporting“ verstärkt zu fördern.

VERWALTUNG STÄRKEN

Unsere Recherchen zum „Atlas der Automatisierung“ haben uns das Universum der Softwaresysteme in allen möglichen Zweigen von Verwaltungen und anderen teilhaberelevanten Dienstleistungssektoren deutlich vor Augen geführt. Ein Register, das eine Bewertung dieser Systeme in Bezug auf ihren Automatisierungsgrad und ihre Auswirkungen auf Teilhabe und Gesellschaft vornimmt, fehlt bislang. Um einen demokratischen Diskurs und Kontrolle zu gewährleisten, wäre es wünschenswert, wenn Gemeinden, Länder und der Bund sich im Sinne von Open Government in der Pflicht sähen, solche Verzeichnisse zu erstellen. Hierbei könnten die Erfahrungen der Stadt New York hilfreich sein: Ende 2017 beschloss der Stadtrat eine Verordnung zur „Algorithmic Accountability“. Im Mai 2018 wurde die „Automated Decision Taks Force“ eingerichtet, die als ersten Schritt eine Bestandsaufnahme über automatisierte Entscheidungen vornimmt [Link].

Solch eine Bestandsaufnahme würde auch hierzulande die Verwaltung stärken, da sie den Überblick über verwendete ADM-Systeme wahren könnte und handlungsfähig bliebe. Zusätzlich sollte zum einen etwa durch Fortbildungen der Blick von Mitarbeiter*innen dafür geschärft werden, inwieweit Software auf subtile Weise Entscheidungen vorbereitet oder bereits de facto trifft. Gegebenenfalls sollten bestehende softwaregestützte Abläufe entsprechend auf Verzerrungen oder Diskriminierung überprüft werden. Des weiteren sollten Verwaltungsmitarbeiter*innen auch befähigt werden, Vorschläge einzubringen und Verfahren zu entwickeln, die die Einführung von ADM-Systemen an geeigneten Stelle betreffen. Darüber hinaus gilt es, innerhalb der Verwaltungen Mechanismen der Evaluation entsprechender Softwaresysteme zu etablieren.

NACHVOLLZIEHBARKEIT SICHERSTELLEN

Von verschiedener Seite wurde die Forderung nach einem „Algorithmen-TÜV“ aufgebracht. Wir sind zurückhaltend, diese Forderung zu unterstützen, weil eine einzige Institution der Vielfalt an Regulierungsbedarfen in den unterschiedlichen Sektoren kaum gerecht werden kann. Auch hier wäre zuerst eine Bestandsaufnahme von bereits vorhandenen Regulierungsansätzen wünschenswert. Für diverse Sektoren sind Aufsichtseinrichtungen bereits vorhanden; deren Aufgabengebiet müsste möglicherweise nur erweitert oder modifiziert werden.

Insbesondere die DSGVO enthält bereits Regelungen zu automatisierten Entscheidungen. Ob diese weitreichend genug sind, beziehungsweise möglicherweise Regulierungslücken enthalten, wäre zu klären. In bestimmten Fällen, etwa bei der vorhersagenden Polizeiarbeit („predictive policing“), greift die DSGVO nicht, wenn dort statt Individuen ganze geographische Gebiete von automatisierten Entscheidungen betroffen sind: Nachbarschaften könnten durch ADM-Systeme zu vermeintlichen Kriminalitätsschwerpunkten erklärt werden.

Aufmerksamkeit sollte generell der Anforderung nach Nachvollziehbarkeit von automatisierten Entscheidungen zukommen: Wie funktioniert das ADM-Verfahren, welche Daten werden wie wozu verarbeitet. Transparenz ohne eine Erläuterung hilft bei komplexen Softwareprogrammen und großen Datenmengen wenig. Zu klären wäre, in welchen Zeitintervallen die Überprüfung von Systemen wiederholt werden sollte, da sich während der Entwicklung, der Inbetriebnahme und des Regelbetriebs interne und externe Faktoren ändern können. Hier lohnt sich ein Blick auf den Vorschlag für ein „Social Impact Statement“ des Verbunds Fairness, Accountability, and Transparency in Machine Learning (FAT/ML) [Link].

AUFSICHT GEWÄHRLEISTEN

Es gibt bereits zahlreiche Regulierungen, die den Einsatz von ADM-Systemen adressieren und ihn steuern sollen, etwa im Finanzmarkt und in der Medizin. Derzeit kann man allerdings den Eindruck bekommen, als werde diese Aufsicht nur unzureichend wahrgenommen. Das liegt unter anderem daran, dass viele Aufsichtsbehörden nicht ausgestattet und qualifiziert sind, um komplexe ADM-Systeme angemessen zu überprüfen.

Hier muss nachgebessert werden, wobei klar ist, dass es eine große Herausforderung ist, Abhilfe zu schaffen, denn das entsprechende Personal zu finden ist schwierig. Zugleich entsteht der Eindruck, dass es bisweilen nicht einfach an Fachkräften mangelt, sondern auch am Willen der Behörden, ihre Aufsichtsfunktion offensiv auszuüben. Gerade wenn es um Teilhabemöglichkeiten von Bürger*innen geht, ist es aber notwendig, potenziell problematische ADM-Systeme, wie etwa Bonitätsprüfungen, proaktiv zu identifizieren und zu prüfen.

PRIVATWIRTSCHAFT VERPFLICHTEN

Wie wir in dem Atlas zeigen, liegt teilhaberelevantes ADM nicht nur in öffentlicher Hand. Zum einen stellen privatwirtschaftliche Firmen Software für die Verwendung in öffentlichen Einrichtungen her. Zum anderen betreiben sie auch eigenständig Angebote und Dienste, etwa im Gesundheitsbereich, in der Kreditvergabe oder der Bereitstellung von Strominfrastruktur, die zumindest ADM-Elemente enthalten. Somit sollten auch privatwirtschaftliche Firmen Prozessen der Qualitätssicherung unter­­worfen werden, wenn ihre ADM-Produkte kollektive Effekte haben können. Neben Mitarbeiter*innen­­fortbildungen, Selbstverpflichtungen und Zertifikatsprogrammen sollte hier über staatlich definierte Auditverfahren im Sinne der oben erwähnten Nachvollziehbarkeit nachgedacht werden. Zudem muss berücksichtigt werden: Der Aspekt Teilhabe im Zusammenhang mit der Automatisierung digitaler Dienste verschiebt möglicherweise die Grenze zwischen dem Recht auf Privatautonomie im wirtschaftlichen Handeln einerseits und dem Anspruch des Einzelnen auf Zugang zu öffentlichen Gütern, wie es im Allgemeinen Gleichbehandlungsgesetz (AGG) garantiert wird, andererseits. Dies spielt bei Verbraucherschutzfragen eine Rolle, aber auch in Bezug auf neue Formen von Öffentlichkeit, wie sie unter anderem von einer Plattform wie Facebook repräsentiert werden.

ÖKOBILANZ BEACHTEN

Neben der Software benötigen automatisierte Entscheidungen Hardware und Internetinfrastruktur. Ihre Herstellung und ihr Betrieb verbrauchen Energie. Führt der ADM-Einsatz nicht zu Energie­einsparungen an anderer Stelle, hat der zusätzliche Ressourcenverbrauch negative Effekte auf das Ökosystem. Teilhaberelevant ist dies insofern, als davon die Lebensgrundlage aller Menschen beeinträchtigt wird. Studien zufolge verursachen Computer, Mobilfunk- und Internetinfrastruktur (Funkmasten, Serverfarmen, Kabel) derzeit circa vier Prozent des jährlichen globalen CO2-Ausstoßes jährlich. Durch die stetige Zunahme an digitalisierten Geräten könnte sich dieser Anteil bis 2040 mehr als verdreifachen [Link].

Angesichts dessen sollte bei der Einführung oder Ausweitung von ADM-Systemen berücksichtigt werden, ob der zu erwartende Nutzen auch Effekte auf die Ökobilanz rechtfertigt. Beispielweise wäre zu bedenken, dass Smart-City-Konzepte große Mengen an digital vernetzten Geräten benötigen, deren Herstellung Energie und Ressourcen verbraucht und die in eine stromhungrige Internet- und Serverinfrastruktur eingebunden sind.

Nächstes Kapitel: Arbeitsweise           

Vorheriges Kapitel: Einleitung

Inhaltsverzeichnis