Mit dem „Atlas der Automatisierung“ möchten wir zeigen, wie bereits der Alltag mit kleineren und größeren automatisierten Entscheidungen durchsetzt ist. Diese nehmen wir nicht unbedingt als solche wahr – sie haben aber Konsequenzen. Bei der automatisierten Entscheidungsfindung („automated decision-making“, kurz: ADM), wie wir sie heute vorfinden, kommen eher selten neuronale Netze (die auch als „Künstliche Intelligenz“ (KI) bezeichnet werden) zum Einsatz, sondern meist nur mehr oder weniger komplexe Softwareanwendungen, die anhand von Regelwerken Daten miteinander verrechnen, gewichten und sortieren. Wir sprechen von Entscheidungssystemen, weil die jeweilige Software nur aus vorgegebenen Entscheidungsmöglichkeiten auswählt. Doch diese Möglichkeiten werden von Personen, die an der Konzeption und Programmierung sowie dem Einsatz der ADM-Software beteiligt sind, festgelegt.

Eingegrenzt wird der Gegenstandsbereich des Atlas einerseits durch den geografischen Bezug auf Deutschland und andererseits dadurch, dass wir ADM-Systeme speziell hinsichtlich ihrer Relevanz für gesellschaftliche Teilhabe in den Blick nehmen. Uns interessiert, wie ADM den Zugang zu öffentlichen Gütern und Leistungen sowie die Wahrnehmung individueller Rechte beeinträchtigt (oder fördert). Diskriminierung in diesem Zusammenhang erfahren Menschen beispielsweise aufgrund ihres Alters, Geschlechts oder ihrer sozialen und geografischen Herkunft.

Aus diesem Grund nehmen wir uns bestimmte thematische Schwerpunkte vor. Bezogen auf die Arbeitswelt betrachten wir automatisierte Bewerbungsverfahren, ADM-Systeme im Personalmanagement und in der Verwaltung von Arbeitslosigkeit. Im Kapitel „Gesundheit & Medizin“ schauen wir auf Diagnosesysteme und Gesundheits-Apps. Zum Schwerpunkt Internet gehören Aspekte wie Upload-Filter und Plattform-Regulierung. Im Kapitel „Sicherheit & Überwachung“ befassen wir uns mit Gesichtserkennung, Spracherkennung bei Asylsuchenden und vorhersagender Polizeiarbeit (“predictive policing”). In einem abschließenden Kapitel behandeln wir Themen wie Bildung und Verkehr. In weiteren Kapiteln geben wir eine Übersicht über die gesetzliche Regulierung von ADM sowie zu den relevanten Akteuren.

Ebenfalls Teil des „Atlas der Automatisierung“ ist eine frei zugängliche Datenbank. Sie enthält zu Beginn etwa 1oo ADM-Produkte und -technologien sowie Akteure und Regulierungen. Sie alle sind unter dem Aspekt der Teilhabe relevant.

Die im Kontext der Arbeiten zum „Atlas der Automatisierung“ durchgeführten Recherchen und Analysen haben uns, die Autor*innen des Atlas, darüber hinaus zu einer Reihe von Handlungsempfehlungen geführt. Diese sollen als Anstoß zur Diskussion und als Anregung für Politiker*innen und Entscheider*innen in Behörden und Firmen sowie in zivilgesellschaftlichen Organisationen dienen. Die Empfehlungen in gekürzter Form:

FOLGEN ABSCHÄTZEN

Bei der Entwicklung von Systemen der automatisierten Entscheidungsfindung und deren Einsatz sollte das Prinzip gelten: Vor allem keinen Schaden anrichten (Primum non nocere). Das bedeutet: Die Gestaltung und der Einsatz von ADM-Systemen sollten mit einer Technikfolgenabschätzung und, wo möglich, mit einer Risikobewertung einhergehen.

ÜBER ADM STATT KI REDEN

Statt den mit Erwartungen überfrachteten Begriff „Künstliche Intelligenz” zu verwenden, halten wir den Begriff „automatisierte Entscheidungsfindung“ für geeigneter. Damit wollen wir vor allem den Aspekt der Verantwortlichkeit thematisieren, denn die Verantwortung für ADM liegt weiter bei den Menschen, die an der Beauftragung, Entwicklung und Zulassung solcher Systeme beteiligt sind.

ZIVILGESELLSCHAFT ERMÄCHTIGEN

Bürger*innen sollten in ihren Kompetenzen gestärkt werden, damit sie die Folgen und Potenziale automatisierter Entscheidungsfindungen besser einschätzen können. Insbesondere Materialien und Programme für Schulen und die Berufs- und Erwachsenenbildung gilt es zu entwickeln. Die Bundesregierung sollte ihrer „KI-Strategie“ Taten folgen lassen. Dort heißt es: „Der Staat muss Wissenschaft und Zivilgesellschaft befähigen, zu diesem wichtigen gesellschaftlichen Diskurs unabhängige und kompetenzbasierte Beiträge zu leisten.“

BERICHTERSTATTUNG AUSBAUEN

Journalist*innen, Redaktionen und Verlage sollten ADM zum Gegenstand ihrer Recherchen und ihrer Berichterstattung machen. Zudem sollten Kompetenzen auf- und ausgebaut werden, um verantwortungsvoll über Algorithmen in der Entscheidungsfindung berichten zu können („Algorithmic Accountability Reporting“).

VERWALTUNG STÄRKEN

Gemeinden, Länder und der Bund sollten Register der in ihren Verwaltungen verwendeten Softwaresysteme anlegen, die den Automatisierungsgrad sowie mögliche Effekte bezüglich Teilhabe und Gesellschaft berücksichtigen. Verwaltungsmitarbeiter*innen sollten für mögliche Auswirkungen von Entscheidungssoftware sensibilisiert werden. Gleichzeitig sollten sie befähigt werden, Potenziale von ADM für die Verwaltung zu identifizieren.

NACHVOLLZIEHBARKEIT SICHERSTELLEN

Wir haben unsere Zweifel, ob ein zentraler „Algorithmen-TÜV“ den Regulierungsbedarfen in den unterschiedlichen Sektoren gerecht werden kann. Statt Forderungen nach mehr Transparenz sollte der Fokus auf der Nachvollziehbarkeit von ADM-Systemen liegen: Transparenz alleine hilft bei komplexen Softwareprogrammen und großen Datenmengen wenig; es müssen auch die verarbeiteten Daten offen gelegt und die Verfahren dokumentiert werden.

AUFSICHT GEWÄHRLEISTEN

Es gibt bereits zahlreiche Regulierungen, die den Einsatz von ADM-Systemen adressieren und ihn steuern sollen. Es muss sichergestellt sein, dass diese Regulierungen auch überprüft und durchgesetzt werden. Dafür müssen die Aufsichtsbehörden angemessen ausgestattet und qualifiziert sein und diese Aufgabe proaktiv verfolgen.

PRIVATWIRTSCHAFT VERPFLICHTEN

Privatwirtschaftliche Firmen sollten Regularien unterworfen werden, wenn ihre ADM-Produkte kollektive Effekte haben können, etwa beim Einsatz in einer Verwaltung. Neben Mitarbeiter*innenfortbildungen, Selbstverpflichtungen und Zertifikatsprogrammen sollte hier über staatlich definierte Auditverfahren im Sinne der oben erwähnten Nachvollziehbarkeit nachgedacht werden.

ÖKOBILANZ BEACHTEN

Neben der Software benötigen automatisierte Entscheidungen Hardware und Internetinfrastruktur. Damit einher geht der Verbrauch von Energie. Deshalb sollte bei der Einführung oder Ausweitung von ADM-Systemen berücksichtigt werden, ob der zu erwartende Nutzen auch die negativen Effekte auf die Ökobilanz rechtfertigt

Nächstes Kapitel: Einleitung

Inhaltsverzeichnis