Einleitung
Wanzer ist ein Dorf in der Altmark in Sachsen-Anhalt und war bis zur Jahrtausendwende ein beschaulicher Flecken. Doch dann trat nach und nach eine Veränderung ein. Die Verbindungsstrecke zur Bundesstraße, die durch den Ort führt, füllte sich unter der Woche mehr und mehr mit LKWs. Den Kennzeichen nach zu urteilen, ist ein Teil der LKWs auf der Route zwischen Osteuropa und Norddeutschland unterwegs. Die Strecke durch Wanzer ist keine Route, die sich einem unbedingt aufdrängen würde, wenn man einen Blick auf eine Straßenkarte wirft. Anders sehen es die Navigationsgeräte, die in immer mehr Fahrzeugen zum Einsatz kommen. Mit der Vorgabe, den kürzesten Weg zu finden oder Mautstrecken oder Staus auf den Hauptverkehrsstraßen zu vermeiden, weisen diese oft auch Nebenstrecken als ideale Verbindungen aus – im Fernverkehr ebenso wie in der Stadt. Die Folge: Wohnstraßen, die dafür verkehrlich nicht ausgerüstet sind, werden zu stark frequentierten Durchgangsrouten. Vormals eher naturnahe Gebiete, wie das Hinterland des Elbdeichs bei Wanzer, werden durch starke Verkehrsaufkommen belastet.
Die Einwohner der Ortschaft Wanzer erleben, wie automatisierte Entscheidungen, auf die sie keinerlei Einfluss haben, ihren Alltag berühren. Wir haben dieses Beispiel an den Anfang unseres Reports gestellt, weil wir mit unserem „Atlas der Automatisierung“ nicht nur die einschlägig bekannten umstrittenen Anwendungen automatisierter Entscheidungsfindung (automated decision-making, kurz: ADM, siehe Kasten), etwa die vorhersagende Polizeiarbeit („predictive policing“), die auf der Grundlage von Daten über Straftaten Wahrscheinlichkeiten über künftig zu erwartende Straftaten berechnet, behandeln wollen. Sondern wir möchten zeigen, dass unser ganzer Alltag durchsetzt ist mit kleineren und größeren automatisierten Entscheidungen, die wir nicht unbedingt als solche wahrnehmen – die aber Konsequenzen haben.
WAS DIESER ALTAS KARTIERT
Ein vollständiges Verzeichnis der Automatisierung über alle Gesellschaftsbereiche hinweg wäre jedoch eine zu große Mammutaufgabe. Allein die Darstellung des permanenten Umbruchs im Bereich der Industrie würde eine umfangreiche eigene Betrachtung erfordern. Deswegen konzentriert sich der vorliegende Atlas auf einen bestimmten Aspekt von ADM, den wir für besonders wichtig halten: Teilhaberelevanz. Anders als der Begriff der Diskriminierung, nimmt der Begriff der Teilhabe die systematische Benachteiligung bestimmter Gruppen nicht nur abstrakt in den Blick, sondern schärft zugleich die Aufmerksamkeit dafür, auf welchem Terrain Benachteiligung stattfinden kann. Teilhabe steht für den Zugang zu öffentlichen Gütern und Leistungen sowie die Wahrnehmung eigener Rechte. ADM-Systeme hinsichtlich ihrer Relevanz auf gesellschaftliche Teilhabe zu untersuchen, bedeutet sich zu fragen, inwiefern diese Systeme den Zugang zu öffentlichen Gütern und Leistungen sowie die Wahrnehmung eigener Rechte erschweren – vor allem für Menschen, die ohnehin bereits nicht besonders gut situiert sind oder als benachteiligt gelten können. In welchem Maße solchen Gruppen soziale Teilhabe ermöglicht oder verwehrt wird, halten wir für einen wesentlichen Indikator einer funktionierenden Demokratie.
Bei aller Kritik wollen wir nicht den Eindruck vermitteln, dass Automatisierung per se abzulehnen sei. In ihrer gut 200-jährigen Geschichte hat die Automatisierung enormen gesellschaftlichen Fortschritt hervorgebracht und eine Steigerung der Lebensqualität ermöglicht, auf die wohl niemand verzichten möchte. Deshalb verweist der vorliegende Atlas immer wieder nicht nur auf Diskriminierungspotenziale, die durch die Automatisierung von Entscheidungen entstehen, sondern auch auf Chancen und Vorteile, die durch den Einsatz von automatisierten Entscheidungen ermöglicht werden oder denkbar sind.
WARUM WIR NICHT VON KÜNSTLICHER INTELLIGENZ SPRECHEN
Seit etwa zwei Jahren hat der Begriff „Künstliche Intelligenz“ (KI) eine Renaissance erfahren. Geprägt wurde dieser Terminus bereits vor über sechzig Jahren. Seitdem hat es immer wieder Phasen gegeben, in denen KI als Modebegriff häufig Verwendung fand. Wir haben unsere Zweifel, ob die gegenwärtige Begeisterung für KI, die maßgeblich auf beindruckende Fortschritte in den Gebieten Maschinelles Lernen und neuronale Netze zurückzuführen ist, lange Bestand haben wird. Außerhalb der Fachwelt wird KI sehr unscharf verwendet und von mancher Seite überbewertet. In der KI-Strategie der Bundesregierung wird nahezu alles, was mit Digitalisierung zu tun hat, unter dem Thema KI zusammengefasst. Inwiefern jedoch Maschinen jemals in der Lage sein werden, eine „Intelligenz“ an den Tag zu legen, die menschlicher Autonomie und Intentionalität entspricht, ist seit langem umstritten. Unumstritten dagegen ist: Heute ist KI davon noch sehr weit entfernt.
Der Begriff KI lenkt beim Thema ADM eher auf die falsche Fährte. Denn das Wesentliche ist, dass die Vorbereitungen oder gar die Umsetzung von Entscheidungen an Maschinen delegiert werden. Diese Maschinen können hochgradig komplexe neuronale Netze sei, aber auch recht simple Softwareanwendungen, die anhand schlichter Regelwerke Daten miteinander verrechnen, gewichten und sortieren. Aus diesem Grund sprechen wir anstelle von KI in diesem Atlas durchgehend von ADM – auch bei Phänomenen, die als KI-Anwendungen bezeichnet werden könnten.
In den vergangenen zehn Jahren haben wir einen Zuwachs an softwarebasierter Automatisierung erlebt wie nie zuvor. Sowohl die Menge der verfügbaren Daten als Voraussetzung für ADM als auch die Zahl der Geräte und die Ausstattung der Infrastrukturen, die für ADM benötigt werden, haben exponentiell zugenommen. Damit steigt zwangsläufig der Einfluss von ADM-Systemen auf verschiedenste Aspekte der Gesellschaft. Der „Atlas der Automatisierung“ möchte deshalb eine aus unserer Sicht dringend notwendige gesellschaftliche Auseinandersetzung über die Folgen von ADM-Systemen anstoßen.
DIE ELEMENTE DIESES ATLAS
Der vorliegende Atlas ist eine Sammlung, in diesem Fall nicht von Landkarten und Grafiken, sondern von Themen, die unserer Auffassung nach besonders relevant sind für die Beantwortung der Frage, ob ADM gesellschaftliche Teilhabe beeinträchtigt oder fördert. Im Anschluss an diese Einleitung präsentieren wir eine Reihe von Empfehlungen, die sich auf unsere Recherchen und die Auseinandersetzung mit dem Thema stützen. Wie wir die Themen des Atlas bestimmt und abgrenzt haben, erklären wir im Kapitel „Arbeitsweise“. Das Kapitel „Akteure“ beschreibt, welche Behörden, Forschungseinrichtungen, Interessenverbände und Nichtregierungsorganisationen (NGO) den Diskurs über ADM maßgeblich prägen. Daran schließt sich ein Überblick über bereits bestehende Regulierungsansätze und Verbraucherschutzaspekte von teilhaberelevanten ADM-Systemen an. Dem Einsatz von ADM-Systemen in konkreten gesellschaftlichen Feldern widmen sich dann einzelne Kapitel über Gesundheit und Medizin, Arbeit, Internet sowie Sicherheit.
Teil des Atlas-Projekts ist eine frei zugängliche Datenbank, in der wir rund 100 Akteure, Regulierungen, Softwaresysteme und Technologien beschreiben. Diese Datenbank der ADM-Systeme, die teilhaberelevant sind, werden wir fortlaufend erweitern.
Unser Report und die Datenbank erheben keinen Anspruch auf Vollständigkeit. Es soll vor allem der Blick geöffnet werden, wie im Zeitalter der Digitalisierung ADM-Systeme die Gesellschaft prägen. Damit folgt der Report dem Mission Statement, mit dem AlgorithmWatch 2016 angetreten ist: „Dass ADM-Prozesse dem Blick derjenigen entzogen werden, die von ihnen betroffen sind, ist kein Naturgesetz. Es muss sich ändern.“ Und weiter: „Wir müssen entscheiden, wie viel unserer Freiheit wir an ADM übertragen wollen.“ Der vorliegende „Atlas der Automatisierung“ soll dazu dienen, diesbezüglich die richtigen menschlichen Entscheidungen zu treffen.
ADM-SYSTEME
Bei Systemen automatisierter Entscheidungsfindung (automated decision-making, kurz: ADM) handelt sich um einen sozio-technologischen Verbund, der sich aus folgenden Bestandteilen zusammensetzt:
- einem Entscheidungsfindungsmodell
- Algorithmen, die dieses Modell im Computercode einer Software anwendbar machen.
- Datensätze, die in diese Software eingegeben werden. Dies geschieht einerseits zum Trainieren der Software im Zuge des Maschinellen Lernens, anderseits für die softwaregestützte Analyse der eingegebenen Daten.
- dem gesamten politischen und wirtschaftlichen Ökosystem, in das ADM-Systeme eingebettet sind. (Elemente dieses Ökosystems sind auch die Entwicklung von ADM-Systemen durch die öffentliche Hand oder kommerzielle Akteure, die Anschaffung von ADM-Systemen sowie der konkrete Einsatz.)
TEILHABE
Teilhabe meint, aktiv und passiv gesellschaftliche Möglichkeiten und Rechte zu nutzen oder wahrzunehmen.
Personen, denen allein aufgrund
- ihres Geschlechts
- ihrer sexuellen Orientierung
- ihres Alters
- ihrer Religion und/oder Weltanschauung
- ihrer Herkunft (geografisch, sozial)
- ihres Gesundheitszustands
- ihres sozialen Status (Bildung, Beschäftigungsart)
der Zugang zu öffentlichen Gütern und Leistungen sowie die Wahrnehmung von Rechten verwehrt oder erschwert wird, sind in ihrer Teilhabe an der Gesellschaft eingeschränkt. Als teilhaberelevant bezeichnen wir ADM-Systeme, Technologien, Regulierungen und Akteure dann, wenn deren Handeln oder Einsatz Teilhabe beschneidet oder bestärkt.
Die Wahrung von Meinungs- und Informationsfreiheit im Rahmen einer gemeinsamen Öffentlichkeit ist in diesem Sinne ein unmittelbarer Bestandteil von Teilhabe. Auf ähnliche Weise ist auch ein funktionierendes Ökosystem teilhaberelevant, weil dieses als gemeinsame Lebensgrundlage aller ein wichtiges öffentliches Gut darstellt.
Nächstes Kapitel: Empfehlungen