Atlas der Automatisierung

Automatisierte Entscheidungen
und Teilhabe in Deutschland

Einleitung

Wanzer ist ein Dorf in der Altmark in Sachsen-Anhalt und war bis zur Jahrtausendwende ein beschaulicher Flecken. Doch dann trat nach und nach eine Veränderung ein. Die Verbindungsstrecke zur Bundesstraße, die durch den Ort führt, füllte sich unter der Woche mehr und mehr mit LKWs. Den Kennzeichen nach zu urteilen, ist ein Teil der LKWs auf der Route zwischen Osteuropa und Norddeutschland unterwegs. Die Strecke durch Wanzer ist keine Route, die sich einem unbedingt aufdrängen würde, wenn man einen Blick auf eine Straßenkarte wirft. Anders sehen es die Navigationsgeräte, die in immer mehr Fahrzeugen zum Einsatz kommen. Mit der Vorgabe, den kürzesten Weg zu finden oder Mautstrecken oder Staus auf den Hauptverkehrsstraßen zu vermeiden, weisen diese oft auch Nebenstrecken als ideale Verbindungen aus – im Fernverkehr ebenso wie in der Stadt. Die Folge: Wohnstraßen, die dafür verkehrlich nicht ausgerüstet sind, werden zu stark frequentierten Durchgangsrouten. Vormals eher naturnahe Gebiete, wie das Hinterland des Elbdeichs bei Wanzer, werden durch starke Verkehrsaufkommen belastet.

Die Einwohner der Ortschaft Wanzer erleben, wie automatisierte Entscheidungen, auf die sie keinerlei Einfluss haben, ihren Alltag berühren. Wir haben dieses Beispiel an den Anfang unseres Reports gestellt, weil wir mit unserem „Atlas der Automatisierung“ nicht nur die einschlägig bekannten umstrittenen Anwendungen automatisierter Entscheidungsfindung (automated decision-making, kurz: ADM, siehe Kasten), etwa die vorhersagende Polizeiarbeit („predictive policing“), die auf der Grundlage von Daten über Straftaten Wahrscheinlichkeiten über künftig zu erwartende Straftaten berechnet, behandeln wollen. Sondern wir möchten zeigen, dass unser ganzer Alltag durchsetzt ist mit kleineren und größeren automatisierten Entscheidungen, die wir nicht unbedingt als solche wahrnehmen – die aber Konsequenzen haben.

WAS DIESER ALTAS KARTIERT

Ein vollständiges Verzeichnis der Automatisierung über alle Gesellschaftsbereiche hinweg wäre jedoch eine zu große Mammutaufgabe. Allein die Darstellung des permanenten Umbruchs im Bereich der Industrie würde eine umfangreiche eigene Betrachtung erfordern. Deswegen konzentriert sich der vorliegende Atlas auf einen bestimmten Aspekt von ADM, den wir für besonders wichtig halten: Teilhaberelevanz. Anders als der Begriff der Diskriminierung, nimmt der Begriff der Teilhabe die systematische Benachteiligung bestimmter Gruppen nicht nur abstrakt in den Blick, sondern schärft zugleich die Aufmerksamkeit dafür, auf welchem Terrain Benachteiligung stattfinden kann. Teilhabe steht für den Zugang zu öffentlichen Gütern und Leistungen sowie die Wahrnehmung eigener Rechte. ADM-Systeme hinsichtlich ihrer Relevanz auf gesellschaftliche Teilhabe zu untersuchen, bedeutet sich zu fragen, inwiefern diese Systeme den Zugang zu öffentlichen Gütern und Leistungen sowie die Wahrnehmung eigener Rechte erschweren – vor allem für Menschen, die ohnehin bereits nicht besonders gut situiert sind oder als benachteiligt gelten können. In welchem Maße solchen Gruppen soziale Teilhabe ermöglicht oder verwehrt wird, halten wir für einen wesentlichen Indikator einer funktionierenden Demokratie.

Bei aller Kritik wollen wir nicht den Eindruck vermitteln, dass Automatisierung per se abzulehnen sei. In ihrer gut 200-jährigen Geschichte hat die Automatisierung enormen gesellschaftlichen Fortschritt hervorgebracht und eine Steigerung der Lebensqualität ermöglicht, auf die wohl niemand verzichten möchte. Deshalb verweist der vorliegende Atlas immer wieder nicht nur auf Diskriminierungspotenziale, die durch die Automatisierung von Entscheidungen entstehen, sondern auch auf Chancen und Vorteile, die durch den Einsatz von automatisierten Entscheidungen ermöglicht werden oder denkbar sind.

WARUM WIR NICHT VON KÜNSTLICHER INTELLIGENZ SPRECHEN

Seit etwa zwei Jahren hat der Begriff „Künstliche Intelligenz“ (KI) eine Renaissance erfahren. Geprägt wurde dieser Terminus bereits vor über sechzig Jahren. Seitdem hat es immer wieder Phasen gegeben, in denen KI als Modebegriff häufig Verwendung fand. Wir haben unsere Zweifel, ob die gegenwärtige Begeisterung für KI, die maßgeblich auf beindruckende Fortschritte in den Gebieten Maschinelles Lernen und neuronale Netze zurückzuführen ist, lange Bestand haben wird. Außerhalb der Fachwelt wird KI sehr unscharf verwendet und von mancher Seite überbewertet. In der KI-Strategie der Bundesregierung wird nahezu alles, was mit Digitalisierung zu tun hat, unter dem Thema KI zusammengefasst. Inwiefern jedoch Maschinen jemals in der Lage sein werden, eine „Intelligenz“ an den Tag zu legen, die menschlicher Autonomie und Intentionalität entspricht, ist seit langem umstritten. Unumstritten dagegen ist: Heute ist KI davon noch sehr weit entfernt.

Der Begriff KI lenkt beim Thema ADM eher auf die falsche Fährte. Denn das Wesentliche ist, dass die Vorbereitungen oder gar die Umsetzung von Entscheidungen an Maschinen delegiert werden. Diese Maschinen können hochgradig komplexe neuronale Netze sei, aber auch recht simple Softwareanwendungen, die anhand schlichter Regelwerke Daten miteinander verrechnen, gewichten und sortieren. Aus diesem Grund sprechen wir anstelle von KI in diesem Atlas durchgehend von ADM – auch bei Phänomenen, die als KI-Anwendungen bezeichnet werden könnten.

In den vergangenen zehn Jahren haben wir einen Zuwachs an softwarebasierter Automatisierung erlebt wie nie zuvor. Sowohl die Menge der verfügbaren Daten als Voraussetzung für ADM als auch die Zahl der Geräte und die Ausstattung der Infrastrukturen, die für ADM benötigt werden, haben exponentiell zugenommen. Damit steigt zwangsläufig der Einfluss von ADM-Systemen auf verschiedenste Aspekte der Gesellschaft. Der „Atlas der Automatisierung“ möchte deshalb eine aus unserer Sicht dringend notwendige gesellschaftliche Auseinandersetzung über die Folgen von ADM-Systemen anstoßen.

DIE ELEMENTE DIESES ATLAS

Der vorliegende Atlas ist eine Sammlung, in diesem Fall nicht von Landkarten und Grafiken, sondern von Themen, die unserer Auffassung nach besonders relevant sind für die Beantwortung der Frage, ob ADM gesellschaftliche Teilhabe beeinträchtigt oder fördert. Im Anschluss an diese Einleitung präsentieren wir eine Reihe von Empfehlungen, die sich auf unsere Recherchen und die Auseinandersetzung mit dem Thema stützen. Wie wir die Themen des Atlas bestimmt und abgrenzt haben, erklären wir im Kapitel „Arbeitsweise“. Das Kapitel „Akteure“ beschreibt, welche Behörden, Forschungseinrichtungen, Interessenverbände und Nichtregierungsorganisationen (NGO) den Diskurs über ADM maßgeblich prägen. Daran schließt sich ein Überblick über bereits bestehende Regulierungsansätze und Verbraucherschutzaspekte von teilhaberelevanten ADM-Systemen an. Dem Einsatz von ADM-Systemen in konkreten gesellschaftlichen Feldern widmen sich dann einzelne Kapitel über Gesundheit und Medizin, Arbeit, Internet sowie Sicherheit.

Teil des Atlas-Projekts ist eine frei zugängliche Datenbank, in der wir rund 100 Akteure, Regulierungen, Softwaresysteme und Technologien beschreiben. Diese Datenbank der ADM-Systeme, die teilhaberelevant sind, werden wir fortlaufend erweitern.

Unser Report und die Datenbank erheben keinen Anspruch auf Vollständigkeit. Es soll vor allem der Blick geöffnet werden, wie im Zeitalter der Digitalisierung ADM-Systeme die Gesellschaft prägen. Damit folgt der Report dem Mission Statement, mit dem AlgorithmWatch 2016 angetreten ist: „Dass ADM-Prozesse dem Blick derjenigen entzogen werden, die von ihnen betroffen sind, ist kein Naturgesetz. Es muss sich ändern.“ Und weiter: „Wir müssen entscheiden, wie viel unserer Freiheit wir an ADM übertragen wollen.“ Der vorliegende „Atlas der Automatisierung“ soll dazu dienen, diesbezüglich die richtigen menschlichen Entscheidungen zu treffen.

 


ADM-SYSTEME

Bei Systemen automatisierter Entscheidungsfindung (automated decision-making, kurz: ADM) handelt sich um einen sozio-technologischen Verbund, der sich aus folgenden Bestandteilen zusammensetzt:

  • einem Entscheidungsfindungsmodell
  • Algorithmen, die dieses Modell im Computercode einer Software anwendbar machen.
  • Datensätze, die in diese Software eingegeben werden. Dies geschieht einerseits zum Trainieren der Software im Zuge des Maschinellen Lernens, anderseits für die softwaregestützte Analyse der eingegebenen Daten.
  • dem gesamten politischen und wirtschaftlichen Ökosystem, in das ADM-Systeme eingebettet sind. (Elemente dieses Ökosystems sind auch die Entwicklung von ADM-Systemen durch die öffentliche Hand oder kommerzielle Akteure, die Anschaffung von ADM-Systemen sowie der konkrete Einsatz.)

 


TEILHABE

Teilhabe meint, aktiv und passiv gesellschaftliche Möglichkeiten und Rechte zu nutzen oder wahrzunehmen.

Personen, denen allein aufgrund

  • ihres Geschlechts
  • ihrer sexuellen Orientierung
  • ihres Alters
  • ihrer Religion und/oder Weltanschauung
  • ihrer Herkunft (geografisch, sozial)
  • ihres Gesundheitszustands
  • ihres sozialen Status (Bildung, Beschäftigungsart)

der Zugang zu öffentlichen Gütern und Leistungen sowie die Wahrnehmung von Rechten verwehrt oder erschwert wird, sind in ihrer Teilhabe an der Gesellschaft eingeschränkt. Als teilhaberelevant bezeichnen wir ADM-Systeme, Technologien, Regulierungen und Akteure dann, wenn deren Handeln oder Einsatz Teilhabe beschneidet oder bestärkt.

Die Wahrung von Meinungs- und Informationsfreiheit im Rahmen einer gemeinsamen Öffentlichkeit ist in diesem Sinne ein unmittelbarer Bestandteil von Teilhabe. Auf ähnliche Weise ist auch ein funktionierendes Ökosystem teilhaberelevant, weil dieses als gemeinsame Lebensgrundlage aller ein wichtiges öffentliches Gut darstellt.


Nächstes Kapitel: Empfehlungen

Vorheriges Kapitel: Zusammenfassung

Inhaltsverzeichnis

Zusammenfassung

Mit dem „Atlas der Automatisierung“ möchten wir zeigen, wie bereits der Alltag mit kleineren und größeren automatisierten Entscheidungen durchsetzt ist. Diese nehmen wir nicht unbedingt als solche wahr – sie haben aber Konsequenzen. Bei der automatisierten Entscheidungsfindung („automated decision-making“, kurz: ADM), wie wir sie heute vorfinden, kommen eher selten neuronale Netze (die auch als „Künstliche Intelligenz“ (KI) bezeichnet werden) zum Einsatz, sondern meist nur mehr oder weniger komplexe Softwareanwendungen, die anhand von Regelwerken Daten miteinander verrechnen, gewichten und sortieren. Wir sprechen von Entscheidungssystemen, weil die jeweilige Software nur aus vorgegebenen Entscheidungsmöglichkeiten auswählt. Doch diese Möglichkeiten werden von Personen, die an der Konzeption und Programmierung sowie dem Einsatz der ADM-Software beteiligt sind, festgelegt.

Eingegrenzt wird der Gegenstandsbereich des Atlas einerseits durch den geografischen Bezug auf Deutschland und andererseits dadurch, dass wir ADM-Systeme speziell hinsichtlich ihrer Relevanz für gesellschaftliche Teilhabe in den Blick nehmen. Uns interessiert, wie ADM den Zugang zu öffentlichen Gütern und Leistungen sowie die Wahrnehmung individueller Rechte beeinträchtigt (oder fördert). Diskriminierung in diesem Zusammenhang erfahren Menschen beispielsweise aufgrund ihres Alters, Geschlechts oder ihrer sozialen und geografischen Herkunft.

Aus diesem Grund nehmen wir uns bestimmte thematische Schwerpunkte vor. Bezogen auf die Arbeitswelt betrachten wir automatisierte Bewerbungsverfahren, ADM-Systeme im Personalmanagement und in der Verwaltung von Arbeitslosigkeit. Im Kapitel „Gesundheit & Medizin“ schauen wir auf Diagnosesysteme und Gesundheits-Apps. Zum Schwerpunkt Internet gehören Aspekte wie Upload-Filter und Plattform-Regulierung. Im Kapitel „Sicherheit & Überwachung“ befassen wir uns mit Gesichtserkennung, Spracherkennung bei Asylsuchenden und vorhersagender Polizeiarbeit (“predictive policing”). In einem abschließenden Kapitel behandeln wir Themen wie Bildung und Verkehr. In weiteren Kapiteln geben wir eine Übersicht über die gesetzliche Regulierung von ADM sowie zu den relevanten Akteuren.

Ebenfalls Teil des „Atlas der Automatisierung“ ist eine frei zugängliche Datenbank. Sie enthält zu Beginn etwa 1oo ADM-Produkte und -technologien sowie Akteure und Regulierungen. Sie alle sind unter dem Aspekt der Teilhabe relevant.

Die im Kontext der Arbeiten zum „Atlas der Automatisierung“ durchgeführten Recherchen und Analysen haben uns, die Autor*innen des Atlas, darüber hinaus zu einer Reihe von Handlungsempfehlungen geführt. Diese sollen als Anstoß zur Diskussion und als Anregung für Politiker*innen und Entscheider*innen in Behörden und Firmen sowie in zivilgesellschaftlichen Organisationen dienen. Die Empfehlungen in gekürzter Form:

FOLGEN ABSCHÄTZEN

Bei der Entwicklung von Systemen der automatisierten Entscheidungsfindung und deren Einsatz sollte das Prinzip gelten: Vor allem keinen Schaden anrichten (Primum non nocere). Das bedeutet: Die Gestaltung und der Einsatz von ADM-Systemen sollten mit einer Technikfolgenabschätzung und, wo möglich, mit einer Risikobewertung einhergehen.

ÜBER ADM STATT KI REDEN

Statt den mit Erwartungen überfrachteten Begriff „Künstliche Intelligenz” zu verwenden, halten wir den Begriff „automatisierte Entscheidungsfindung“ für geeigneter. Damit wollen wir vor allem den Aspekt der Verantwortlichkeit thematisieren, denn die Verantwortung für ADM liegt weiter bei den Menschen, die an der Beauftragung, Entwicklung und Zulassung solcher Systeme beteiligt sind.

ZIVILGESELLSCHAFT ERMÄCHTIGEN

Bürger*innen sollten in ihren Kompetenzen gestärkt werden, damit sie die Folgen und Potenziale automatisierter Entscheidungsfindungen besser einschätzen können. Insbesondere Materialien und Programme für Schulen und die Berufs- und Erwachsenenbildung gilt es zu entwickeln. Die Bundesregierung sollte ihrer „KI-Strategie“ Taten folgen lassen. Dort heißt es: „Der Staat muss Wissenschaft und Zivilgesellschaft befähigen, zu diesem wichtigen gesellschaftlichen Diskurs unabhängige und kompetenzbasierte Beiträge zu leisten.“

BERICHTERSTATTUNG AUSBAUEN

Journalist*innen, Redaktionen und Verlage sollten ADM zum Gegenstand ihrer Recherchen und ihrer Berichterstattung machen. Zudem sollten Kompetenzen auf- und ausgebaut werden, um verantwortungsvoll über Algorithmen in der Entscheidungsfindung berichten zu können („Algorithmic Accountability Reporting“).

VERWALTUNG STÄRKEN

Gemeinden, Länder und der Bund sollten Register der in ihren Verwaltungen verwendeten Softwaresysteme anlegen, die den Automatisierungsgrad sowie mögliche Effekte bezüglich Teilhabe und Gesellschaft berücksichtigen. Verwaltungsmitarbeiter*innen sollten für mögliche Auswirkungen von Entscheidungssoftware sensibilisiert werden. Gleichzeitig sollten sie befähigt werden, Potenziale von ADM für die Verwaltung zu identifizieren.

NACHVOLLZIEHBARKEIT SICHERSTELLEN

Wir haben unsere Zweifel, ob ein zentraler „Algorithmen-TÜV“ den Regulierungsbedarfen in den unterschiedlichen Sektoren gerecht werden kann. Statt Forderungen nach mehr Transparenz sollte der Fokus auf der Nachvollziehbarkeit von ADM-Systemen liegen: Transparenz alleine hilft bei komplexen Softwareprogrammen und großen Datenmengen wenig; es müssen auch die verarbeiteten Daten offen gelegt und die Verfahren dokumentiert werden.

AUFSICHT GEWÄHRLEISTEN

Es gibt bereits zahlreiche Regulierungen, die den Einsatz von ADM-Systemen adressieren und ihn steuern sollen. Es muss sichergestellt sein, dass diese Regulierungen auch überprüft und durchgesetzt werden. Dafür müssen die Aufsichtsbehörden angemessen ausgestattet und qualifiziert sein und diese Aufgabe proaktiv verfolgen.

PRIVATWIRTSCHAFT VERPFLICHTEN

Privatwirtschaftliche Firmen sollten Regularien unterworfen werden, wenn ihre ADM-Produkte kollektive Effekte haben können, etwa beim Einsatz in einer Verwaltung. Neben Mitarbeiter*innenfortbildungen, Selbstverpflichtungen und Zertifikatsprogrammen sollte hier über staatlich definierte Auditverfahren im Sinne der oben erwähnten Nachvollziehbarkeit nachgedacht werden.

ÖKOBILANZ BEACHTEN

Neben der Software benötigen automatisierte Entscheidungen Hardware und Internetinfrastruktur. Damit einher geht der Verbrauch von Energie. Deshalb sollte bei der Einführung oder Ausweitung von ADM-Systemen berücksichtigt werden, ob der zu erwartende Nutzen auch die negativen Effekte auf die Ökobilanz rechtfertigt

Nächstes Kapitel: Einleitung

Inhaltsverzeichnis