Der Atlas der Automatisierung wird aktuell nicht mehr aktualisiert.
Die Daten sind daher nicht mehr auf dem neuesten Stand.
Atlas der Automatisierung:
Automatisierung und Teilhabe in Deutschland
1. Ausgabe, April 2019
Website: atlas-der-automatisierung.de
Herausgeber
AW AlgorithmWatch gGmbH
Bergstr. 22, 10115 Berlin
Kontakt: info@algorithmwatch.org
Leitung:
Lorenz Matzat
Mitarbeit:
Lukas Zielinski
Miriam Cocco
Kristina Penner
Matthias Spielkamp
Sebastian Gießler
Sebastian Lang
Veronika Thiel
Redaktion:
Ralf Grötker
Schlussredaktion/Korrektorat:
Karola Klatt
Gestaltung:
Beate Autering, beworx.de
In diesem Kapitel sammeln und beschreiben wir weitere Verfahren und Prozesse automatisierter Entscheidungen, die Auswirkungen auf Aspekte der gesellschaftlichen Teilhabe haben können und in unterschiedlichen gesellschaftlichen Bereiche stattfinden.
BILDUNG
AKTIENHANDEL
Im Aktienhandel wird seit rund zehn Jahren vermehrt sogenannter Hochfrequenzhandel („high frequency trading“, kurz: HFT) betrieben. Dabei werden Wertpapiere von Computern komplett autonom durch Software gesteuert im Milli- und Mikrosekundenbereich gehandelt: Im Kern geht es darum, durch schnellen Ankauf und Abverkauf minimale Kursschwankungen einer Aktie gewinnträchtig zu nutzen. Mindestens ein kurzfristiger Börsencrash, der sogenannte Flash Crash 2010, wird unter anderem auf den Einsatz von HFT zurückgeführt. Damit wird deutlich, dass solche automatisierten Handelssysteme Volkswirtschaften schwer schädigen können, was sich unmittelbar auf verschiedene Aspekte von Teilhabe auswirken würde.
In Deutschland gibt es seit 2013 ein Hochfrequenzhandelsgesetz, dass unter anderem „System- und Risikokontrollen“ sowie eine „Kennzeichnungspflicht“ enthält. Die Vorschriften für HFT könnten als Anhaltspunkte für mögliche Regulierungsansätze auch in anderen Branchen und Sektoren dienen [Link].
SMART CITY
Konzepte von „Smart Cities“ werden seit geraumer Zeit diskutiert. Für ländliche Gegenden wird äquivalent von „Smart Country“ gesprochen. Im Kern werden hier zum einen Infrastrukturdaten (Strom, Wasser, Verkehr etc.) erfasst und zusätzliche Daten über Sensoren (Luftqualität, Lärm etc.) gemessen. Ziel ist, die Infrastruktur zu vernetzen („Internet of Things“). Gleichzeitig werden aber auch die Bewegungen und das Verhalten von Individuen über ihre mobilen Endgeräte erfasst und fließen in die Auswertung ein. Dies ermöglicht, neue Dienste anzubieten (zum Beispiel Parkraumbewirtschaftung, personalisierte Werbung im öffentlichen Raum) und Verwaltungshandeln in Teilen zu automatisieren sowie Ressourcen effizienter zu managen.
Demokratische Partizipationsmöglichkeiten im Sinne von „Open Government“ sind in der Regel nicht Teil von Smart-City-Konzepten. Kritiker*innen bemängeln, dass es bei den Konzepten, die oft von größeren Technologieunternehmen mitentwickelt würden, um die Errichtungen von de facto Überwachungsinfrastrukturen sowie um neue Vermarktungsformen für den öffentlichen Raum gehe. Dem entgegen steht exemplarisch das Smart-City-Konzept der Stadt Barcelona, dass im Zusammenspiel mit den Einwohner*innen der Stadt entsteht und primär deren Interessen dienen soll [Link].
VERKEHR
Ampeln: Seit fast hundert Jahren regeln Ampel-Systeme in Deutschland den Verkehr. Die recht einfachen Automaten – die mittlerweile mancherorts durch Verkehrsleitzentralen vernetzt sind – finden sich vornehmlich im städtischen Räumen und regeln dort das Verhältnis zwischen Fußgänger*innen sowie motorisierten und unmotorisierten Fahrzeugen. Meist wird mit ihnen eine autozentrierte Verkehrspolitik implementiert, die Einwirkungen auf Gesundheit (Luftverschmutzung, Unfälle) und Umwelt hat.
Navigationsgeräte: Spätestens seit dem Aufkommen des Smartphones ab 2007 stehen Navigationsgeräte beziehungsweise entsprechende Apps nahezu in jedem Fahrzeug zur Verfügung: Satellitengestützt (GPS, Gallilei, Glonass) erfassen sie den Standort eines Fahrzeugs und berechnen die schnellste und günstigste Route zu einem gewählten Ziel. Ob davon zum Beispiel Wohn- oder Naturschutzgebiete betroffen sind, wird nicht berücksichtigt.
Motorsteuerung (Dieselgate): 2015 wurde bekannt, dass deutsche Autobauer, allen voran die Volkswagen AG, die Software der Motorsteuerung mancher Fahrzeugtypen mit Dieselmotoren so programmieren ließ, dass sie in Prüfsituationen automatisch die Laufweise des Motors ändert, um Messwerte beim Schadstoffausstoß zu minimieren. Die in die Fahrzeuge eingebaute Steuerung setzte die „Entscheidung“ zu diesem Betrug um. Dies hat zum Beispiel Folgen für die Luftqualität in Städten und somit für die Gesundheit, vor allem von älteren Menschen und Kindern.
Autonomes Fahren: Die mediale Aufmerksamkeit für selbstfahrende Fahrzeuge ist in letzter Zeit etwas abgeklungen, da es wohl doch noch einige Zeit dauern wird, bis diese Zukunftsvision Wirklichkeit wird. Dennoch hat von 2016 bis 2017 eine vom Bundesverkehrsministerium einberufene Ethik-Kommission zum automatisierten und vernetzten Fahren getagt. In ihrem Abschlussbericht präsentiert die Kommission 20 „ethische Regeln“. In ihnen heißt es unter anderem, dass Entscheidungen über „Leben gegen Leben“ (unausweichliche Unfallsituationen) nicht „ethisch zweifelsfrei programmierbar“ seien. Jede „Qualifizierung nach persönlichen Merkmalen (Alter, Geschlecht, körperliche oder geistige Konstitution)“ sei strikt zu untersagen. Die Straßenverkehrsordnung wurde durch ein Änderungsgesetz im Sommer 2017 prinzipiell für die Einführung von autonom fahrenden Fahrzeugen vorbereitet. Dabei ging es unter anderem um Haftungsfragen, aber nicht um die oben genannten ethischen Probleme, die die Ethik-Kommission aufwarf. Fraglich bleibt, ob diese überhaupt durch eine Regulierung zu lösen sind und wie autonomes Fahren sich generell realisieren lässt, wenn es in Grundrechte eingreift.
Nächstes Kapitel: Impressum des Reports
Ob in der physischen Welt oder bloß im Digitalen: Bei Migration, Kriminalität, Terrorismus und Krieg bereitet Software Entscheidungen bereits mit vor.
Aussortieren und Vorhersagen – das sind die beiden Leistungen, die ADM-Systeme im Bereich der Sicherheit und Überwachung am häufigsten erbringen sollen. Themen sind Kamera- und Internetverkehrsüberwachung, vorhersagende Polizeiarbeit, automatische Grenzkontrollen und autonome Waffensysteme. Wenn Polizei und andere Sicherheitsbehörden einen Teil ihrer Arbeit an Maschinen und Programme delegieren, führt dies jedoch schnell zu falschen Verdächtigungen. Freizügigkeit und das Prinzip der Unschuldsvermutung, die wesentliche Elemente von Teilhabe sind, werden dabei eingeschränkt.
FLUCHT, MIGRATION UND GRENZE
Mit einer „Digitalisierungsagenda 2020“ will das Bundesamt für Migration und Flüchtlinge (BAMF) Probleme in seinen Verfahrensabläufen in den Griff bekommen [Link]. 2016 wurde ein „Integriertes Identitätsmanagement“ eingeführt. Es enthält mittlerweile mehrere Bausteine, die als Assistenzsysteme Sachbearbeiter*innen bei ihren Entscheidungen zur Seite stehen. Die Systeme dienen hauptsächlich dazu herauszufinden, ob die Angaben der Schutzsuchenden plausibel sind. So findet beispielsweise eine Software Einsatz, die anhand von Audioaufnahmen die Herkunftssprache eines Menschen erkennen soll. Die Fehlerquote bei dieser sogenannten Sprachbiometrie lag anfangs bei 20 Prozent und konnte laut BAMF mittlerweile auf 15 Prozent reduziert werden. Das Verfahren wurde bis Mitte November 2018 gut sechstausend Mal eingesetzt. Ebenfalls wird eine Software angewendet, die ursprünglich aus der IT-Forensik von Militär, Geheimdiensten und Polizei stammt. [Link]. Mit der Software lassen sich Telefondaten auswerten und historische Verbindungsdaten und gespeicherte Telefonnummern analysieren. Den Zugang zu den Telefonen, so behauptet das BAMF, würden die Flüchtlinge freiwillig gewähren. Die Erkenntnisse aus der tausendfach eingesetzten Auswertung führten 2018 aber nur in weniger als hundert Fällen zu verwertbaren Ergebnissen. Weiter wird Software zum Abgleich von Fotoportäts sowie zum Abgleich der verschieden Möglichkeiten der Transliteration arabischer Namen in lateinische Buchstaben verwendet. Das BAMF wertet den Einsatz automatisierter Verfahren als Erfolg. Kritiker*innen dagegen halten die Kosten und Fehlerquoten für zu hoch. Weiter bemängeln sie die intransparenten Funktionsweisen der Softwaresysteme und das Fehlen einer wissenschaftlichen Begleitung, die die Wirksamkeit der angewandten Verfahren auswertet.
Seit 2013 nutzt die EU das Grenzüberwachungssystem „Smart Border“. Neben bereits aktiven komplett automatisierten Passkontrollen (EasyPASS) an einigen deutschen Flughäfen als Teil eines EU-weiten „automated border control systems“ wird auch an einer automatisierten Vergabe von Einreisegenehmigung für den Schengen-Raum gearbeitet (ETIAS, ab 2021). Im Rahmen des „Visa Information System“ wird derzeit ein „Entry Exit System“ etabliert, das in Zusammenspiel mit „Passenger Name Records“ des Flugverkehrs eine Datenbank bilden soll. Die Ein- und Ausreisen in den beziehungsweise aus dem Schengen-Raum sollen ab 2020 zentral festgehalten werden. Für die Gesichtserkennung wird nicht zuletzt biometrischen Daten eine wesentliche Rolle zukommen. Zudem finanziert die EU-Kommission ein Experiment u.a. zur Lügendetektion namens „iBorderControl“ mit 4,5 Millionen Euro [Link]. Es läuft bis August 2019 und wird an der ungarischen ungarischen, griechischen, lettischen und griechischen Grenze erprobt. Die Einreisewilligen bekommen während des Antragsprozesse für Visa etc. von computeranimierten Figuren von Grenzbeamt*innen per Bildschirm Fragen gestellt. Ihre „Mikrogesten“ werden per Kamera aufgezeichnet und daraufhin analysiert, ob sie lügen. Das Verfahren basiere auf „Pseudo-Wissenschaft“ lautet eine Kritik [Link].
KAMERAÜBERWACHUNG
Mit zweifelhaften Ergebnissen ist ein Test zur Kameraüberwachung am Berliner Bahnhof Südkreuz Mitte 2018 zu Ende gegangen. Für knapp ein Jahr wurden in einem Bereich des Bahnhofs, der als Testfeld für neue Technologien der Deutsche Bahn AG gilt, verschiedene Softwaresysteme erprobt, die Verdächtige per Gesichtserkennung herausfiltern sollten. Die Bahn arbeitete dafür mit der Bundespolizei und dem Bundeskriminalamt zusammen. Offiziell gelten die Ergebnisse als Erfolg, da durchschnittlich eine 80-prozentige Trefferquote erreicht worden sei. Zudem läge die falsch-positiven Erkennungsrate (FAR) bei unter einem Prozent. Der Chaos Computer Club (CCC) hält die Zahl von 80 Prozent Treffern für irreleitend, da diese nur für alle drei erprobten Systeme zusammen gelten würde. Die FAR von circa 0,7 Prozent würde am Bahnhof Südkreuz mit einem Fahrgastaufkommen von 90.000 Personen am Tag für 600 fälschliche Identifikationen von Verdächtigen sorgen. Weiter bemängelte der CCC, dass der Kreis der Testpersonen kaum repräsentativ gewesen sei hinsichtlich Alter, Geschlecht und Herkunft [Link]. So zeigt eine Studie aus den USA, dass einige dort eingesetzte Gesichtserkennungssysteme insbesondere Afro-Amerikanerinnen schlecht erkennen können [Link].
Angesichts dessen, dass es erste Einsätze von kamerabestückten Flugdrohnen („Quadrocopter“) bei Demonstrationen gibt, ist die Frage nach der Falscherkennungsrate von Erkennungssystemen aus bürgerrechtlicher Perspektive entscheidend. Beispielsweise wurden bei den Ermittlungen nach den Auseinandersetzungen um den G20-Gipfel 2017 in Hamburg seitens der Polizei große Mengen an Bildaufnahmen automatisiert nach Tatverdächtigen durchsucht.
Eine nächste Testphase der Kameraüberwachung am Bahnhof Südkreuz, in der ADM-Systeme auch Objekte wie Koffer und „ungewöhnliches Verhalten“ von Personen erkennen sollten, sagte die Bahn aus Kostengründen Anfang 2019 ab. Ein ähnlich gelagerter Test hat jedoch Ende 2018 in Mannheim begonnen. Das Fraunhofer Institut für Optronik, Systemtechnik und Bildauswertung liefert die Technologie für eine „algorithmenbasierte Videoüberwachung im öffentlichen Raum zur Bekämpfung von Straßenkriminalität“. Das System des auf fünf Jahre angelegten Vorhabens soll nach und nach in der Lage sein, beispielsweise Tritte oder Schläge erkennen zu können, um dann Polizeibeamte in Lagezentren auf einen möglichen Vorfall hinzuweisen. Insgesamt sollen 76 Kameras in der Innenstadt an das System angeschlossen werden [Link].
Hohe Fehlerquoten sind bei der automatisierten Fahndung nach KFZ-Kennzeichen über entsprechende Kamerasysteme offenbar die Regel. Solche Systeme sind in manchen Bundesländern fest installiert, zum Beispiel in Bayern, Hessen und Sachsen. In anderen Bundesländern werden sie nur punktuell oder (noch) nicht eingesetzt. Bei einem Pilotversuch der Landesregierung Baden-Württemberg wurde 2017 eine Fehlerquote von etwa 90 Prozent registriert. Ähnlich hoch sei die Fehlerrate in anderen Bundesländern, was damit zu tun habe, dass nicht die neuste Technologie zur Verfügung stünde. Das automatische Kennzeichenlesesystem in Baden-Württemberg ist 2011 angeschafft worden [Link].
VORHERSAGENDE POLIZEIARBEIT
In sechs Bundesländern finden derzeit Systeme der vorhersagenden Polizeiarbeit („predictive policing“) Anwendung. Neben Eigenentwicklungen der Behörden werden Systeme verschiedener privater Anbieter eingesetzt. Prinzipiell ist das Ziel der vorhersagenden Polizeiarbeit, anhand statistischer Auswertungen Gebiete zu identifizieren, in denen Wohnungs- oder Gewerbeeinbrüche sowie KFZ-Diebstähle verstärkt auftreten könnten. Die Kriminalitätsprognosen fußen auf Modellen wie der Near-repeat-These, die besagt, dass Einbrecher dazu tendieren, nahe des Orts einer erfolgreichen Tat erneut zuzuschlagen. Entsprechend kann dann die Einsatzplanung, etwa für Streifenfahrten, erfolgen. Unklar ist, ob diese rein ortsbezogenen Systeme tatsächlich positive Auswirkungen haben. Eine Begleitstudie des Freiburger Max-Planck-Instituts für ausländisches und internationales Strafrecht konnte im Zuge einer Testphase von 2015 bis 2017 in Stuttgart und Karlsruhe keine eindeutige Wirksamkeit der vorhersagenden Polizeiarbeit bei der Prävention oder Minderung von Kriminalität feststellen [Link]. Unter teilhaberelevanten Gesichtspunkten wäre beispielsweise zu untersuchen, ob die vorhersagende Polizeiarbeit Verstärkungseffekte erzeugt, die zu einer Stigmatisierung von Ortsteilen oder Gegenden führen könnten [Link].
Statt ortsbasiert arbeitet das System „Hessen-Data“ personenbezogen. Es setzt auf die „Gotham“-Software der US-Firma Palantir auf. Soweit bekannt, führt das System Daten aus sozialen Medien mit Einträgen in verschiedenen polizeilichen Datenbanken sowie Verbindungsdaten aus der Telefonüberwachung zusammen, um mögliche Straftäter zu ermitteln. Es wurde 2017 angeschafft und soll zur Identifizierung („Profiling“) von möglichen Terroristen dienen. Die hessische Landesregierung plant eine Ausweitung des Einsatzes auf die Bereiche Kindesentführung und -missbrauch. Die gesetzlich notwendige Grundlage für „Hessen-Data“ bietet das im vergangenen Jahr überarbeitete hessische Polizeigesetz. Derzeit versucht ein Untersuchungsausschuss des Hessischen Landtags Fragen zur Anschaffung des Systems sowie des Datenschutzes zu klären. Dem Vernehmen nach wird das System durch Mitarbeiter*innen des Betreiberunternehmens Palantir betreut, die dadurch möglicherweise Zugriff auf personenbezogene Daten haben [Link].
ÜBERWACHUNG UND VORRATSDATENSPEICHERUNG
Spätestens seit den Enthüllungen durch den ehemaligen US-Geheimdienstmitarbeiter Edward Snowden 2013 ist belegt, dass Geheimdienste westlicher Länder in großem Umfang den weltweiten Internetverkehr verdachtsunabhängig kontrollieren. Dass deutsche Dienste dabei mitwirken, steht ebenfalls fest. Welche Softwaresysteme und Verfahren genau zum Einsatz kommen, ist wenig bekannt, denn die Möglichkeiten der parlamentarischen Kontrolle sind recht gering. Im Laufe dieses Jahres werden in diesem Zusammenhang bis zu acht Entscheidungen des Bundesverfassungsgerichts erwartet. So geht es etwa um die Ausweitung von Rechten des Bundesnachrichtendienstes, um die Vorratsdatenspeicherung und die Überwachung von Telekommunikation und Briefverkehr [Link].
AUTONOME WAFFENSYSTEME
Seit 2017 wird, angeregt durch die Vorarbeit einiger NGOs, in Gremien der Vereinten Nationen (UN) das weltweite Verbot von autonomen Waffensystemen debattiert. Gemeint sind damit beispielsweise Drohnen zu Luft, Wasser und Land, die ohne Rückkoppelung mit Menschen unter bestimmten Bedingungen autark den Einsatz tödlicher Gewalt ausführen. Soweit bekannt, sind solche komplett autonomen beziehungsweise autarken Waffensysteme bislang noch nicht im Einsatz. Allerdings sind Flugdrohnen seit gut einem Jahrzehnt mit Waffensystemen ausgestattet, die zumindest bestimmte Aufgaben eigenständig erledigen. Zu ihrem Arsenal gehören auch Systeme von Objekt- und Personenerkennung. Eine unabhängige Evaluation ihrer Fehlerquoten scheint es nicht zu geben. Auch die Luftwaffe und Marine der Bundeswehr setzen verschiedene Typen von Flugdrohnen ein. Davon ist mindestens ein Typ bewaffnungsfähig.
Dynamische Risiko-Analyse-Systeme
Die „Dynamischen Risiko-Analyse-Systeme“ (kurz: DyRiAS) sind Instrumente des deutschen Unternehmens Institut Psychologie & Bedrohungsmanagement (IPBm Projekt GmbH), die Risikoeinschätzungen über mögliche Gewalttaten von Personen in verschiedenen sozialen Kontexten (Schule, Intimpartner, Arbeitsplatz, Islamismus) anbieten. Laut Hersteller sind die Ergebnisse seiner Produkte psychologisch und empirisch fundiert. Grundannahme ist, dass Gewalttaten beobachtbare Eskalationsspiralen vorausgehen. Analysiert werden soll, „ob sich eine Person auf einem Entwicklungsweg befindet, der sie möglicherweise hin zu einem Angriff führt“. DyRiAS bieten eine Übersicht über die zeitliche Entwicklung des „Bedrohungsrisikos“ und legen gleichzeitig eine Falldokumentation an. Die Risikoeinschätzung basiert auf der statistischen Analyse von Fragebögen, die von Sachbearbeiter*innen (z. B. Polizist*innen) ausgefüllt werden.
DyRiAS-Systeme werden von Frauenschutzvereinen in Deutschland und Österreich verwendet. In der Schweiz wird DyRiAS in Kombination mit weiteren Risikomanagementsystemen für die präventive Polizeiarbeit, etwa zur Identifikation von „Gefährder*innen“ eingesetzt. Nach Recherchen des Schweizer Fernsehsenders SRF haben die Instrumente eine hohe Fehlerquote: Offenbar ist die Software so konfiguriert, dass sie zur Überschätzung des Risikos neigt [Link].
Nächstes Kapitel: Thema: Bildung, Aktienhandel, Stadt & Verkehr
Im Netz haben sich neue Formen der Öffentlichkeit gebildet: Was Nutzer*innen zu sehen bekommen oder nicht, regeln nicht zuletzt Algorithmen.
Die Infrastruktur des Internets basiert auf zahllosen Maschinen und Kabeln, Softwaresystemen und automatisierten Prozessen. Versteht man Bereiche des Internets oder des darauf aufsetzenden World Wide Webs als Sphären von Öffentlichkeit, berühren sowohl der Zugang zum Netz als auch die Möglichkeit, sich dort frei informieren und ausdrücken zu können, die gesellschaftliche Teilhabe.
UPLOAD-FILTER UND AUTOMATISIERTE MODERATION
Für große Debatten in Deutschland sorgt gegenwärtig im Frühjahr 2019 die geplante EU-Urheberrechtsreform. Kritiker*innen befürchten, dass durch den Artikel 13 (später 17) der EU-Richtlinie zum Urheberrecht de facto die Einführung von sogenannten Upload-Filtern verbindlich wird: Betreiber von Internetangeboten, die es Nutzer*innen erlauben, Inhalte hochzuladen und zu veröffentlichen, wären gezwungen, diese automatisiert auf mögliche Urheberrechtsverletzungen zu untersuchen. Dabei, so die Kritik, würde es zwangsläufig zu Fehlentscheidungen kommen, die Zitationsrechte, Meinungs- und Kunstfreiheit einschränken könnten. So sorgten bereits in der Vergangenheit die Fehlentscheidungen des Filters, den YouTube für die Erkennung urheberrechtlich geschützter Musik und Filme beim Upload von Videodateien seit geraumer Zeit einsetzt, immer wieder für Ärger. Trotz beachtlicher Fortschritte im Bereich des Maschinellen Lernens sind Upload-Filter weit davon entfernt, den Kontext von Videos „verstehen“ zu können: Läuft Musik nur im Hintergrund auf einer öffentlichen Veranstaltung? Wird in einem Video ein kurzer Filmausschnitt aus einem Kinostreifen nur zu dokumentarischen Zwecken gezeigt? Wer sich bereits einmal mit Audioassistenten wie Alexa oder Siri „unterhalten“ hat, weiß, dass es noch lange dauern kann, bis solche Systeme Ironie und andere menschliche Zwischentöne wahrnehmen, geschweige denn richtig interpretieren können.
Ähnlich problematisch wie Upload-Filter sind alle Vorhaben und Regulierungen (siehe Kasten zum Netzwerkdurchsetzungsgesetz, kurz: NetzDG), die die automatisierte Moderation von sogenanntem Content zum Gegenstand haben. Eine voll automatisierte Filterung von Inhalten, zum Beispiel in sozialen Netzwerken, birgt die Gefahr, dass die Betreiber eher mehr als weniger automatisiert blockieren und entfernen („overblocking“), um möglichen Strafgebühren zu entgehen. Der Einsatz von ADM-Systemen ist in diesem Zusammenhang also kritisch zu sehen, weil die Meinungs- und Informationsfreiheit eingeschränkt werden könnte [Link]. Besonders betroffen sind hier junge Menschen, die sich als Urheber*innen von Inhalten in der traditionellen Medienöffentlichkeit noch nicht so gut Gehör verschaffen können wie etablierte Akteure, die es auf Grund ihrer beruflichen Stellung oder persönlicher Netzwerke hier leichter haben.
PLATTFORMEN UND INTERMEDIÄRE
Der Fokus der Debatte über große Plattformen liegt derzeit auf Angeboten wie Facebook oder YouTube. Durch die von außen nur ansatzweise nachvollziehbare Steuerung der Inhalte, inzwischen oft „Kuratieren“ genannt, üben Plattformbetreiber einen großen Einfluss darauf aus, welche Inhalte Nutzer*innen zu sehen bekommen. Ziel der Plattformbetreiber ist es, Nutzer*innen dazu zu bewegen, sich möglichst lange auf der Plattform aufzuhalten, Inhalte zu kommentieren und weiterzuempfehlen. Auf diese Weise kann Nutzer*innen mehr Werbung angezeigt werden, mit der die Plattformbetreiber ihr Geld verdienen.
Kritiker*innen monieren schon länger, dass Dienste wie Facebook oder YouTube – anders als Verlage – für die auf ihren Seiten veröffentlichten und für Nutzer*innen individuell zugeschnittenen Inhalte rechtlich nur sehr begrenzt verantwortlich sind. Zunehmend setzt sich die Auffassung durch, dass es sich bei Plattformen um eine neue Kategorie von Dienstleistungen handelt, die weder mit dem traditionellen Verlagsmodell gleichzusetzen sind, noch auf die bloße Bereitstellung technischer Infrastruktur reduziert werden können. Demzufolge sind digitale Plattformen „Intermediäre“, das heißt Mittler, die zwischen den Erzeuger*innen der Inhalte auf der einen und den Leser*innen und Zuschauer*innen auf der anderen Seite stehen. Letztere – und das ist ein wesentliches Merkmal – können auch immer Erzeuger*innen sein. Dabei ist unstrittig, dass automatisierte (Vor-)Entscheidungssysteme eine herausragende Rolle dabei spielen, wie diese Erzeuger*innen am Diskurs teilhaben können. Bei der großen Zahl von Nutzer*innen, die Marktführer wie Facebook oder YouTube haben, muss man davon ausgehen, dass diese Dienste einen bedeutenden Teil der Medienöffentlichkeit darstellen. Somit wird ein signifikanter Teil der Öffentlichkeit durch ADM (mit-)gesteuert.
Regulierungen wie das NetzDG (siehe Kasten) oder die Entwürfe für die EU-Richtlinien zum Urheberrecht (siehe oben) und zur Verhinderung von terroristischen Online-Inhalten sorgen implizit dafür, dass automatisierte Systeme einen größeren Einfluss auf die Teilhabe von Menschen bekommen. Denn die Haftungsregeln, die sie vorschlagen, würden vielen Intermediären nur eine Wahl lassen: Entweder, sie verkleinern ihre Angebote radikal oder stellen sie ein oder sie setzen Filterprogramme ein, die eine automatisierte Vorentscheidung darüber treffen, welche Inhalte veröffentlicht werden und welche nicht.
KLASSISCHE MEDIEN
Die Debatte über Auswirkungen von Filtern im Netz wird oft auf die Aspekte Desinformation durch Fake News, Filterblasen („Echokammern“) und sogenannte Hassreden verengt. Doch bereits die sehr detaillierte Messung von Zugriffszahlen bei journalistischen Online-Angeboten hat Auswirkungen auf die Inhalte und dürften großen Anteil an dem haben, was die Kommunikationswissenschaften als Boulevardisierung und „softening of news“ bezeichnen: Medien produzieren immer mehr Unterhaltungsinhalte zu Lasten von Information. Strategien wie “clickbaiting”, also Überschrift und Vorspann auf eine möglichst hohe Zahl von Aufrufen zu optimieren und dabei auch auf überzogenen Zuspitzungen und falsche Versprechungen zu setzen, sind durch automatisierte Analysesysteme überhaupt erst möglich geworden.
Wer das nur bei Angeboten wie Buzzfeed, Bento, Vice oder Huffington Post kritisch sieht, verkennt, dass auch alle traditionellen Medienunternehmen wie Spiegel, Zeit, SZ und FAZ für die Vermarktung ihrer Inhalte online viel Geld und Ressourcen in hochentwickelte Datenauswertung investieren, um ihre Werbeeinnahmen zu erhöhen. Noch sind hier Menschen in den Redaktionsprozess eingebunden. Doch prägt die datengetriebene und automatisierte Optimierung auf Klicks und Zugriffe (Suchmaschinenoptimierung, SEO) diese Angebote im Digitalen ebenfalls mit.
Netzwerkdurchsetzungsgesetz
Im Herbst 2017 trat in Deutschland das „Gesetz zur Verbesserung der Rechtsdurchsetzung in sozialen Netzwerken“ (NetzDG) in Kraft. Es zielt darauf ab, der „Hasskriminalität“ („hate speech“) und „strafbaren Falschnachrichten“ („Fake News“) in sozialen Netzwerken begegnen zu können. Es sieht unter anderem vor, dass Betreiber von sozialen Netzwerken wie Facebook, Twitter und YouTube den Nutzer*innen ein einfaches Meldesystem bieten müssen. Offensichtlich strafbare Inhalte sind innerhalb von 24 Stunden nach Meldung zu löschen oder zu sperren. Bei Verstößen können Bußgelder in Millionenhöhe verhängt werden. Die Betreiber haben halbjährlich einen Bericht über Beschwerden und Lösch- oder Sperrmaßnahmen vorzulegen, wenn die Zahl der Beschwerden im Jahr 100 übersteigt [Link].
Die Einführung des NetzDG war umstritten. So wurde die Eile, mit der es vor der Bundestagswahl 2017 verabschiedet wurde und in Kraft trat, kritisiert. Auch wurde bemängelt, dass privaten Firmen der Umgang mit rechtswidrigen Inhalten überantwortet würde. Zudem wurden Befürchtungen geäußert, dass vorschnelles Löschen („overblocking“), um Bußgelder zu vermeiden, die Meinungsfreiheit beschränken könnte. Befürworter des NetzDG brachten an, dass diejenigen, die sich zuvor wegen gewalthaltiger und herabwürdigender Sprache („digitale Gewalt“) von sozialen Netzwerken ferngehalten hatten, nun teilhaben könnten.
Nächstes Kapitel: Thema: Sicherheit & Überwachung
ADM kommt in der Medizin als Instrument für Diagnosem und Therapieentscheidungen zum Einsatz sowie bei der Zuordnung von Ressourcen im Gesundheitsmanagement.
Kliniken, Arztpraxen und Krankenkassen, aber auch private Endkund*innen nutzen ADM im medizinischen Kontext. Während Privatpersonen Apps mit ADM verwenden, die auch über den engeren medizinischen Anwendungsbereich hinausgehen und Zielen wie Fitness oder Selbstoptimierung dienen, ist ADM in der Klinik oder der Arztpraxis oftmals in komplexere Softwareumgebungen eingebunden, in die Verordnung von Medizinprodukten und in die Interaktion mit Diagnoseinstrumenten (zum Beispiel in der Radiologie).
DIAGNOSE UND THERAPIE
Apps können medizinisches Fachpersonal bei der Diagnose von Krankheiten unterstützen. Besonders weit fortgeschritten sind Algorithmen, die Bilddaten wie Computertomografien, Magnetresonanztomografien oder andere medizinische Daten auswerten und so zum Beispiel in der Krebserkennung oder der Pränatalmedizin zur Diagnosestellung beitragen. Wissenschaftliche Studien zeigen, dass ADM-Systeme Auffälligkeiten im Bild verlässlicher detektieren und interpretieren können als das geschulte menschliche Auge [Link].
Weiter kommt ADM bei der Auswertung von genetischen Tests, in der Roboter-Chirurgie und bei der Suche und Auswertung von Forschungsliteratur-Datenbanken zum Einsatz [Link].
Andere ADM-gestützte Anwendungen richten sich an Patient*innen und zielen darauf ab, sie bei der Therapie ihrer Krankheiten zu unterstützen. Hierbei handelt es sich größtenteils um Smartphone-Apps, gegebenenfalls im Verbund mit Smart Watches, die besonders bei chronischen oder langfristigen Erkrankungen von Nutzen sein können. Manche dieser Apps haben eine simple Erinnerungsfunktion für die Einnahme von Medikamenten, komplexere Systeme überwachen dagegen engmaschig Messwerte, zum Beispiel die Blutzuckerwerte von Diabetiker*innen, um ihnen das Management ihrer Krankheit zu erleichtern.
Während ADM-gestützte Apps und Therapiehilfen einerseits Behandlungserfolge deutlich steigern und insbesondere chronisch kranken Menschen zu mehr Unabhängigkeit von ständiger ärztlicher Behandlung und Kontrolle verhelfen können, sind sie andererseits auch mit einer Reihe von Problemen und Risiken behaftet. Beim Einsatz von ADM-Systemen für die Diagnose und Therapieempfehlung erscheint problematisch, dass diese Systeme möglicherweise nicht immer nur auf das Wohl der Patient*innen ausgerichtet sind, sondern auch für die Steigerung des Profits derjenigen sorgen, die das ADM-System entwickeln oder vertreiben. Dies könnte durch Empfehlungen einer ADM-gestützten Anwendung für bestimmte Tests, Medikamente und Medizinprodukte geschehen. Folgen die Patient*innen diesen Empfehlungen, könnte das für sie mit zusätzlichen Kosten oder sogar mit unverhältnismäßigen Nebenwirkungen verbunden sein.
In Bezug auf Teilhabeaspekte ist der Einsatz von ADM in der Diagnose insofern problematisch, als dass Patient*innen, die in Bezug auf bestimmte biologische Merkmale eine Minderheit darstellen, systematisch benachteiligt werden könnten, weil die verwendete Datengrundlage für die betreffende Gruppe unzureichend ist oder zu Fehleinschätzungen führt. In einer Studie zur Bestimmung des Risikos von Herzerkrankungen tendierten beispielsweise algorithmenbasierte Diagnosen bei Patient*innen, die nicht der weißen Bevölkerungsmehrheit angehörten, sowohl zur Über- wie zur Unterschätzung von Risiken [Link].
GESUNDHEITSMANAGEMENT
ADM-Systeme können darüber hinaus auch genutzt werden, um eine effizientere Verteilung von Ressourcen im Gesundheitsbereich zu ermöglichen.
Bereits heute werden zum Beispiel bei der Entscheidung über die Zuteilung von Spenderorganen für eine Organtransplantation Patient*innen auf Basis bestimmter Parameter priorisiert, darunter Dringlichkeit und Erfolgsaussicht. Die Nutzung von ADM-basierten Vergabesystemen könnte jedoch bei Entscheidungen über Spenderorgane, ebenso wie bei Entscheidungen über andere medizinische Interventionen, zu selbsterfüllenden Prophezeiungen führen und dadurch bestimmte Gruppen von Patient*innen systematisch benachteiligen. Wenn etwa Patient*innen mit Hirnschäden oder Frühgeborene von bestimmten Behandlungen praktisch ausgeschlossen würden, weil mutmaßlich nur geringe Erfolgsaussichten bestünden, dann würde auch ein ADM-System diese bereits bestehende Praxis abbilden. Auf diese Weise könnten sich Entscheidungskriterien verfestigen, auch wenn diese auf Mutmaßungen beruhen und durch keine solide Datenbasis legitimiert sind.
Ein weiteres potentielles Einsatzfeld von ADM im Gesundheitswesen liegt im Bereich der privaten Krankenversicherungen. Hier könnte ADM helfen, das individuelle Risiko für bestimmte Erkrankungen zu berechnen, was wiederum zur Anpassung von Versicherungsverträgen verwendet werden könnte. Versicherte könnten auf diese Weise in stärkerem Maße als bisher in Risikogruppen unterteilt werden, die unterschiedliche Beiträge in die Versicherung einzahlen müssten. Dies könnte im Hinblick auf soziale Fairness und Teilhabe relevant sein und zu einer Verschärfung bestehender Ungleichheiten führen. Gesundheits- und Lifestyle-Apps auf Smartphones, oft im Zusammenspiel mit Fitness-Armbändern und Smart Watches spielen in diesem Kontext (“quantified self”) eine wichtige Rolle. Es gibt offenbar Überlegungen von privaten Krankenkassen in Deutschland, die Nutzung solcher Apps zur Voraussetzung für günstigere Versicherungstarife zu machen. Dies allein könnte zur Benachteiligung von Versicherten führen, die die betreffenden Apps nicht nutzen können oder die davon in Bezug auf ihren Versicherungstarif keine Vorteile hätten. Darüber hinaus kann auch die Art und Weise, in der die mittels App erhobenen Daten für die Anpassung der Tarife ausgewertet werden, zu Diskriminierungen führen.
Regulierung Von Digitalen Medizinprodukten
ADM-gestützte Softwaresysteme, die im klinischen oder ambulanten Bereich zum Einsatz kommen, müssen als Medizinprodukte registriert werden. Die Zulassung und Qualitätskontrolle von Medizinprodukten wird nach Maßgabe der europaweit geltenden Medizinprodukteverordnung durch das Bundesinstitut für Arzneimittel und Medizinprodukte geregelt.
Gesundheits-Apps, die sich an Endverbraucher*innen richten, sind derzeit überwiegend nicht als Medizinprodukte registriert und unterliegen somit keiner Qualitätskontrolle. Mit der 2020 in Kraft tretenden Neufassung der EU-Medizinprodukteverordnung werden allerdings sowohl die Registrierungspflichten für Apps ausgeweitet als auch Apps, die einen deutlichen diagnostischen oder therapeutischen Ansatz verfolgen, in eine höhere Risikoklasse eingestuft. Ob die Änderungen der Neufassung ausreichend sind, um Probleme und Risiken solcher Apps zu beseitigen, ist allerdings umstritten.
Nächstes Kapitel: Thema: Das Internet
Auf dem Arbeitsmarkt ist das Diskriminierungspotenzial besonders hoch. Wenn ADM-Systeme Einzug in die behördliche Verwaltung von Arbeit und Arbeitslosigkeit halten, ist deshalb besondere Wachsamkeit geboten. Das gleiche gilt für Bewerbungsprozesse, das innerbetriebliche Personalmanagement und die Leistungskontrolle.
BEWERBUNGSVERFAHREN
Algorithmengestützte Auswahlverfahren, zum Beispiel das sogenannte Robo-Recruiting [Link], durchsuchen Bewerbungsprofile nach bestimmten Qualifikationen und Schlagworten. Bei einer großen Anzahl von Bewerber*innen auf eine Stelle kann auf diese Weise eine Vorauswahl getroffen werden. In der Regel sind jedoch im fortgeschritteneren Stadium des Bewerbungsprozesses Menschen involviert. Neben der Kostenersparnis können Vorteile einer Automatisierung darin bestehen, dass der Auswahlprozess entlang klarer Kriterien verläuft und für die Stellenbesetzung irrelevante Sympathien oder Abneigungen des Personalmanagers oder der Personalmanagerin außen vorbleiben.
Ein weiterführender Schritt besteht darin, über die Auswahl nach vorab bestimmten Kriterien hinaus Bewerbungs-Algorithmen selbstständig die Qualifikation von Kandidat*innen einschätzen zu lassen, etwa mithilfe von Verfahren des Maschinellen Lernens. Der Handels- und Tech-Konzern Amazon hatte 2014 begonnen, eine entsprechende Software zu entwickeln, doch das Tool wurde nie eingesetzt und das Vorhaben Anfang 2017 eingestellt. Die Daten, mit denen der Algorithmus trainiert worden war, basierten auf den letzten zehn Jahren der Amazon-Einstellungspraxis. Es waren hauptsächlich Männer im technologischen Bereich rekrutiert worden. Die Software schloss daraus, dass Männer bei der Stellenvergabe zu bevorzugen wären. Darüber hinaus reproduzierte der Algorithmus weitere diskriminierende Auswahlkriterien [Link].
Andere Verfahren zur Einschätzung von Bewerber*innen setzen auf die Bewertung der Persönlichkeit auf der Basis von psychometrischen Merkmalen wie die Stimme [Link]. Das IBM-Produkt „Watson Personality Insights“ wertet zur Analyse von Persönlichkeitsmerkmalen persönliche Kommunikation in Social Media oder anderen digitalen Formaten aus.
Abgesehen von Fragen nach der funktionalen Tauglichkeit der eingesetzten Verfahren stellt sich das Problem, dass Bewerber*innen in den seltensten Fällen mitgeteilt wird, dass sie automatisiert bewertet werden. Faktisch können individuelle Bewerber*innen nur unter Berufung auf das „Antidiskriminierungsgesetz“ (AGG) gegen die Ablehnung einer Bewerbung vorgehen. Inwieweit Kennzeichnungs- und Zertifizierungspflichten den Einsatz von ADM-Systemen bei Bewerbungsverfahren regulieren könnten, wäre zu diskutieren.
PERSONALMANAGEMENT
Vor allem größere Unternehmen setzen Software für das Personalmanagement ein, etwa in der Lohnbuchhaltung, bei der Urlaubsplanung oder der Registrierung des Krankheitsstands. Darüber hinaus bieten externe Dienstleister Softwareprodukte an, mit deren Hilfe sich Mitarbeiter*innen identifizieren lassen, bei denen ein besonders hohes Risiko besteht, dass sie sich anderweitig bewerben könnten, und die gleichzeitig eine besondere Relevanz für das Unternehmen haben („talent retention“). Andere Anwendungen fokussieren auf die Leistungskontrolle von Arbeitnehmer*innen auf Basis verschiedenster Datenpunkte, die im Zuge alltäglicher Abläufe innerhalb des Unternehmens generiert werden. Weitere Produkte bieten Verfahren für kontinuierlich durchgeführte Befragungen der Beschäftigten an, um Dynamiken in Teams und die Arbeitszufriedenheit der einzelnen Mitarbeiter*innen auszuwerten.
Auch Betreiber von digitalen Plattformen wie Uber (Taxidienst), Foodora (Essenslieferdienst) oder Helpling (Vermittlung von Reinigungskräften) nutzen Software, um bei der Vermittlung von Aufträgen an selbstständige Mitarbeiter*innen das mittlere Management, den Kundenservice und die Buchhaltung zu ersetzen. Schichtplanung, Auftragszuteilung und Leistungskontrolle werden automatisiert per Smartphone-App abgewickelt. Welche rechtliche Handhabe gegen den Einsatz von ADM-Systemen insbesondere für Solo-Selbstständige in der sogenannten Gig-Economy, die im Auftrag von digitalen Plattformen ihre Dienste anbieten, existiert oder geschaffen werden könnte, müsste weiter untersucht werden.
AlgorithmWatch befasst sich seit Anfang 2018 in einem zweijährigen Forschungsvorhaben mit automatisiertem Personalmanagement und betrieblicher Mitbestimmung [Link]. Neben der Frage, wie ausgeprägt ADM-Systeme in Deutschland bereits im Einsatz sind, wird untersucht, inwieweit die Systeme für Arbeitnehmer*innen zu mehr oder weniger Fairness führen, wer in den Unternehmen auf die gesammelten Daten zugreifen kann und inwiefern Aspekte der betrieblichen Mitbestimmung tangiert werden.
ARBEITSlOSIGKEIT
In Einrichtungen der Bundesagentur für Arbeit und in Jobcentern kommen zahlreiche Softwaresysteme zum Einsatz. Da der Betrieb von Jobcentern zum Teil alleine bei den Kommunen liegt („Optionskommunen“), ist ein Überblick schwer zu erlangen. Hinsichtlich der Arbeitsagentur wurde in der Antwort auf eine kleine Anfrage der Bundestagsfraktion Die Linke im Herbst 2018 deutlich, dass einige Verfahren, die ADM-Komponenten enthalten könnten, bereits im Einsatz oder geplant sind [Link]. Dazu zählen:
Es bleiben Fragen offen: Welche Softwaresysteme bereiten direkt oder indirekt „Ermessensentscheidungen“ vor? Wie werden Softwareverfahren überprüft und auf mögliche Diskriminierungseffekte untersucht? Pro Jahr landen zehntausende Entscheidungen der Jobcenter vor Gerichten. Welche Rolle spielt die Software der Jobcenter bei der Erstellung dieser umstrittenen Entscheide?
Softwaregestützte Beurteilung der Arbeitsmarktchancen von Arbeitslosen beim österreichischen Arbeitsmarktservice
In Österreich sorgte Ende 2018 eine Ankündigung des Arbeitsmarktservice (AMS) – vergleichbar mit der Arbeitsagentur in Deutschland – für Aufsehen. Eine Softwareerweiterung soll anhand eines statistischen Modells ab 2019 die Chancen zur Vermittlung in einen Arbeitsplatz automatisch bewerten. Die Einordnung in eine der drei Kategorien „hoch, mittel und niedrig“ wird laut Presseberichten zunächst noch keine Konsequenzen nach sich ziehen, aber möglicherweise ab 2020 Auswirkungen auf die Vergabe oder das Versagen von Fördermitteln haben [Link]. Kritik entzündet sich daran, dass die Gewichtung der verschiedenen Faktoren allein auf Auswertungen des bisherigen Arbeitsmarkts beruht, existierende Diskriminierungen also im System abgebildet werden. So werden die Vermittlungschancen bestimmter Personengruppen (Frauen, ältere Menschen, Nicht-Staatsbürger) generell schlechter eingeschätzt [Link]. Österreichische Forscher bezeichneten den Ansatz der vom Arbeitsmarktservice beauftragten Lösung als „Paradebeispiel für Diskriminierung“ [Link].
Nächstes Kapitel: Thema: Gesundheit & Medizin
Vor allem das Allgemeine Gleichbehandlungsgesetz (AGG) und Vorschriften zum automatisierten Verwaltungshandeln regeln in Deutschland übergreifend den Umgang mit ADM.
GLEICHBEHANDLUNG
In Deutschland gilt der Gleichbehandlungsgrundsatz, abgeleitet aus Artikel 3 des Grundgesetzes: „Alle Menschen sind vor dem Gesetz gleich.“ 2006 wurde das AGG erlassen, auch bekannt als „Antidiskriminierungsgesetz“.
Unter Gleichbehandlung versteht das AGG das Verhindern und die Beseitigung von „Benachteiligungen aus Gründen der Rasse oder wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität“. Sein Geltungsbereich deckt eine große Bandbreite von gesellschaftlichen Aspekten ab, beispielsweise den Zugang zum Beruf, zu Dienstleistungen, Gütern oder einer Wohnung, bei denen Gleichbehandlung zwingend vorgeschrieben ist. Damit liefert der Gesetzgeber indirekt eine Definition des staatlichen Verständnisses von Teilhabe. Die Anforderungen des AGG spielen auch für ADM-Systeme eine Rolle.
VOLLAUTOMATISIERUNG VON BEHÖRDLICHEN ENTSCHEIDUNGSVERFAHREN
Paragraphen innerhalb des Verwaltungsverfahrensgesetzes (VwVfG) und des Sozialgesetzbuchs (SGB) regeln den Einsatz von automatisierten Verwaltungsverfahren in Deutschland.
Der Einsatz von automatisierten Verfahren in Behörden bedarf der Rechtsvorschrift, die einer Behörde den Einsatz von automatisierten Verfahren gestattet. Behörden, die vollautomatisierte Verfahren einrichten, müssen zudem Richtlinien erarbeiten, um die Einhaltung des Gleichbehandlungsgrundsatzes zu gewährleisten. Ein automatisiertes Verfahren muss erkennen können, wenn die Situation einer Antragstellerin oder eines Antragstellers von den im Programm vorgesehenen Szenarien abweicht und der Fall einer Einzelprüfung unterzogen werden muss. Auch muss die Möglichkeit für Bürger*innen bestehen, einen eigenen Standpunkt darzulegen, zum Beispiel, wenn sie in der Steuererklärung besondere Umstände gelten machen wollen.
Bei behördlich genutzten vollautomatisierten Systemen müssen ferner die Entscheidungskriterien, die von Algorithmen verwendet werden, nachvollziehbar sein. Grundprinzipien und Entscheidungsgrundlagen von behördlich eingesetzten ADM-Systemen, die mehr als nur unterstützend eingesetzt werden, unterliegen darüber hinaus der Veröffentlichungspflicht.
Risikomanagementverfahren, bei denen Vorgänge zur näheren Überprüfung weitergeleitet werden, dürfen nicht unbegründet diskriminierend sein.
WEITERE EU UND DEUTSCHLANDWEITE REGELUNGEN
DSGVO
Die wichtigste neue Regulierung, die in letzter Zeit in der EU und in Deutschland in Kraft getreten ist, ist die Datenschutzgrundverordnung (DVGSO). Die Umsetzung dieser EU-weiten Verordnung zum Datenschutz findet sich unter anderem auch in der oben beschriebenen Automatisierung von Verwaltungshandeln wieder. Prinzipiell schreibt die DVGSO zum Thema ADM vor, dass Personen das Recht haben, gegen ADM Einspruch zu erheben, wenn drei Kriterien erfüllt sind:
Ob die DSGVO ausreichend ist, um Personen einen adäquaten Schutz vor Benachteiligung oder Diskriminierung durch ADM zu bieten, ist umstritten. Eine mögliche Regelungslücke: Auskunfteien wie die SCHUFA, welche die Kreditwürdigkeit von Personen beurteilen, müssen ihr Verfahren den Betroffenen nicht erläutern, obwohl ein derartiges Scoring laut DSGVO und Bundesdatenschutzgesetz (BDSG) eigentlich darzulegen wäre (DSGVO Art. 22, BDSG §31). Diese Regelung würde jedoch nur dann greifen, wenn die Auskunfteien auch die Entscheidungen über eine Kreditvergabe oder ähnliches treffen würden. Dies tun jedoch die Kreditinstitute. Diese wiederum entgehen der Offenlegung ihrer Entscheidungen, da sie den Score nicht berechnet haben.
Arbeitsrechtliche Kriterien auf EU Ebene
Parallel zur Entwicklung in Deutschland hat sich auch auf EU-Ebene eine Rechtsordnung zum Gleichstellungsgrundsatz im Arbeitsbereich ergeben. Verschiedene Direktiven und Gerichtsurteile, besonders zum Artikel 157 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV), schaffen die Basis dafür, dass Angestellte Rechte in Bezug auf Entscheidungen wahrnehmen können, die voll- oder teilautomatisiert stattfinden. Diese Rechte umfassen die gleichen Prinzipien wie der Gleichstellungsgrundsatz, also das Verbot der Diskriminierung basierend auf Kriterien wie Geschlecht, ethnische Zugehörigkeit und Abstammung.
Zudem enthält die Europäische Charta der Grundrechte den Artikel 21 zur Nichtdiskriminierung. Der Artikel ist so formuliert, dass die dort aufgelisteten Kriterien nicht exklusiv sind. Dies könnte insbesondere in Bezug auf die Anwendung des Artikels 21 auf die mit ADM verbundenen Schutzziele zukünftig von Bedeutung sein.
Menschenrechte
Deutschland ist sowohl als eigenständiger Staat als auch als EU-Mitglied Unterzeichner von verschiedenen Menschenrechtskonventionen. Da ADM auch Menschenrechte berührt, beispielsweise das Recht auf Freiheit und Sicherheit, die Gleichheit vor dem Gesetz, freie Ausübung von Religion etc., muss der Einfluss von ADM auf zukünftige – neue oder angepasste – Gesetze und Regularien beachtet werden [Link].
Auf die sektorenspezifischen Regulierungen des Hochfrequenzhandels mit Aktien sowie des Autonome Fahren wird im Kapitel „Bildung, Aktienhandel, Stadt & Verkehr“ eingegangen. Die Regulierung von Medizinprodukten und Gesundheitstechnologien ist Gegenstand des Kapitels „Gesundheit & Medizin“.
VERBRAUCHERSCHUTZ
Im Endkundengeschäft kommt ADM vor allem im Internethandel zum Einsatz. Grundsätzlich stehen Verbraucher*innen in den meisten Fällen Alternativen zur Verfügung, wenn sie nicht online bestellen oder buchen wollen. Allerdings könnten sich diese Möglichkeiten in Zukunft zunehmend reduzieren. Im Onlinehandel, aber nicht nur dort, kann ADM eingesetzt werden, um durch individualisierte Preisgestaltung („dynamic pricing“) oder durch Scoringverfahren Kundensegmentierungen vorzunehmen, die dazu führen können, dass bestimmte Kundengruppen bevorzugt behandelt oder umgekehrt benachteiligt werden. Beide Praktiken sind grundsätzlich legal und legitim. Dennoch kann dies dazu führen, dass systematisch bestimmte Konsumentengruppen benachteiligt oder gar ausgeschlossen werden.
Ein bekanntes Beispiel für individualisierte Preisgestaltung ist der Taxidienst Uber, dessen Tarife von der momentanen Nachfrage und der Tageszeit abhängen. In anderen Anwendungsfällen verändert sich der Angebotspreis je nachdem, von welchem Endgerät aus die Anfrage durch Kund*innen erfolgt. Versicherungen gewähren Preisnachlässe im Rahmen von telematikbasierten Autoversicherungen. Hier entscheidet der via Telematik ermittelte Fahrstil über die Höhe des Tarifs. Im Kundenbeziehungsmanagement wird ADM verwendet, um den sogenannten Customer Lifetime Value zu errechnen: Wie profitabel sind Kund*innen, wen sollte man bevorzugt behandeln und wen kann man gegebenenfalls ans Ende der Telefonwarteschlange stellen?
Während die individualisierte Preisgestaltung in Deutschland noch nicht weit verbreitet ist, finden Scoringverfahren im Konsumentenbereich schon seit längerem breite Anwendung. Unter Scoring versteht man die Kategorisierung von Personen anhand ausgewählter Kriterien. Die Kombination bestimmter Werte dieser Kriterien ergibt einen Punktwert („score“), der zum Beispiel Einfluss darauf nehmen kann, welcher Preis angezeigt wird oder ob eine Bank einen Kredit bewilligt. Das bekannteste Beispiel für ein Scoringverfahren ist die Bonitätsprüfung durch die Schufa (siehe Kasten OpenSCHUFA unten).
Scoringverfahren helfen Unternehmen zu entscheiden, mit welchen Personen sie in Kundenbeziehung treten wollen. Prinzipiell gilt das Entscheidungsprivileg der Vertragsfreiheit; in einigen essentiellen Bereichen wie dem Miet- und Arbeitsrecht jedoch nur eingeschränkt, weil hier der Grundsatz der Gleichbehandlung tangiert wird. Ob auch in anderen Bereichen eine durch die Vertragsfreiheit legitimierte Ablehnung beziehungsweise Besser- oder Schlechterstellung von Kund*innen durch Scoringverfahren oder individualisierte Preisgestaltung dem Grundsatz der Gleichbehandlung zuwiderläuft, ist Gegenstand von Diskussionen [Link].
Nach geltender Rechtslage haben Verbraucher*innen formal einen Anspruch darauf, darüber informiert zu werden, wenn sie als Kund*innen Gegenstand eines Scorings werden. Dieser Rechtsanspruch wird jedoch nach Ansicht von Expert*innen wie etwa des Sachverständigenrats für Verbraucherfragen durch das Gesetz nur unzureichend konkretisiert. Auch die vorhandenen Möglichkeiten der Rechtsdurchsetzung, die Privatpersonen zur Verfügung stehen, werden als unzureichend kritisiert [Link].
OpenSCHUFA
Im Frühjahr 2018 startete die Open Knowledge Foundation Deutschland zusammen mit AlgorithmWatch das Projekt OpenSCHUFA. Ziel war, die Scoringverfahren von Deutschlands bekanntester Auskunftei, der SCHUFA, die Daten über gut siebzig Millionen Einwohner*innen besitzt, auf mögliche Diskriminierung zu untersuchen. Das Unternehmen liefert beispielsweise Auskünfte an Banken, die eine Verweigerung von Krediten zur Folge haben können.
Nach einem erfolgreichen Crowdfunding für OpenSCHUFA spendeten über dreitausend Personen ihre Schufa-Auskünfte über das eigens dafür entwickelte Spendenportal. Im Herbst 2018 veröffentlichten Spiegel Online und der Bayerische Rundfunk zusammen eine Auswertung der gespendeten Daten. Die Redaktionen machten deutlich, dass die ihnen vorliegenden Daten keineswegs als repräsentativ gelten können. Dennoch konnten sie diverse Auffälligkeiten darin feststellen. Etwa stach hervor, dass zahlreiche Personen von der SCHUFA verhältnismäßig negativ eingestuft werden, obwohl die Auskunftei keine negativen Informationen, beispielsweise Zahlungsausfälle, über sie vorliegen hat. Auch scheint es bemerkenswerte Differenzen zwischen verschiedenen Versionen des SCHUFA-Scores zu geben [Link].
In den Diskurs über teilhaberelevante ADM fließen in Deutschland die Interessen vieler verschiedener Akteure aus Wirtschaft, Wissenschaft, Politik und Zivilgesellschaft ein. Die Online-Datenbank des „Atlas der Automatisierung“ stellt 30 von ihnen vor.
Es ist schwierig, die für Deutschland einschlägigen Akteure im Zusammenhang mit für Teilhabe relevanten Aspekten von automatisierter Entscheidungsfindung klar einzugrenzen. Ein Grund dafür ist, dass ein Großteil der Debatte über ADM unter dem umfassenderen Begriff der KI geführt wird. Insbesondere in den USA findet die „Ethik der Künstlichen Intelligenz“ („ethics of artificial intelligence“), die deutlich mehr umfasst als ADM, große Beachtung. Wortführer der Debatte sind nicht zuletzt die großen Technologieunternehmen, aber auch wissenschaftliche Einrichtungen und gemeinnützige Organisationen, die oftmals von Stiftungen mit hohen Summen an Fördergeldern ausgestattet werden. In dieser Gemengelage sind die strategischen Interessen, von denen sich die einzelnen Akteure leiten lassen, nicht immer leicht zu identifizieren. Eine 2018 veröffentliche Studie des Reuters Institute for the Study of Journalism an der britischen Universität Oxford [Link] sollte aufhorchen lassen: Die Autor*innen stellen fest, dass die Berichterstattung über KI im Wesentlichen durch die Industrie geprägt ist, deren Angaben kaum kritisch hinterfragt werden. Zwar wurde nur die britische Medienlandschaft untersucht, doch gibt es wenig Grund zu der Annahme, dass die Situation in Deutschland strukturell anders wäre.
INDUSTRIE
Industrieverbände wie der Bundesverband Informationswirtschaft, Telekommunikation und neue Medien e. V. (Bitkom) oder der Bundesverband Digitale Wirtschaft e. V. (BVDW), aber auch Unternehmen wie die Deutsche Telekom AG, Google und Facebook beziehen im Bereich Automatisierung und Teilhabe Positionen und betreiben Lobbyismus – oft unter dem Schlagwort „Künstliche Intelligenz“. Weitere Akteure sind die TÜVs (beim Thema Zertifizierung) und die Initiative D21 e. V. Diese Initiative ist ein gemeinnütziges Netzwerk, das sich mit ethischen Fragen rund um Automatisierung befasst. Mitglieder sind vor allem Unternehmen, die im Bereich der Digitalwirtschaft tätig sind.
SCHNITTSTELLE ZWISCHEN POLITIK, WISSENSCHAFT UND INDUSTRIE
Zahlreiche Organisationen sind an der Schnittstelle zwischen Politik und Industrie angesiedelt und werden oftmals auch von beiden Seiten finanziert. Darunter fallen die von der Deutschen Akademie für Technikwissenschaften acatech betriebenen und von den Bundesministerien für Bildung und Forschung sowie Wirtschaft und Energie geförderten Plattformen „Lernende Systeme“ (zum Thema KI-Anwendungen) und „Industrie 4.0“ (zum Thema intelligente Vernetzung und Automatisierung in der Industrie). Auch einige Fraunhofer Institute, die staatlich finanziert sind, leisten Auftragsforschung für die Industrie (zu Themen wie Gesundheit und Kameraüberwachung).
POLITIK
In der Ende 2018 veröffentlichten „KI-Strategie der Bundesregierung“ finden sich viele Passagen, die das Thema teilhaberelevanter ADM mehr oder weniger direkt tangieren. Entsprechend können das Bundesministerium für Arbeit und Soziales („Arbeit 4.0“), das Bundesministerium für Wirtschaft und Energie, aber auch das Bundesinnenministerium sowie das Bundesministerium der Justiz und für Verbraucherschutz, die alle der KI-Strategie verpflichtet sind, als Akteure auf dem Feld teilhaberelevanter ADM begriffen werden. An politischen Gremien sind der Sachverständigenrat für Verbraucherfragen (mit dem Leitthema „Verbraucher in der digitalen Welt“) zu nennen, die Datenethikkommission der Bundesregierung, der Deutsche Ethikrat (der sich in der Vergangenheit auch zu Fragen des autonomen Fahrens geäußert hat), sowie die Enquete-Kommission „Künstliche Intelligenz – Gesellschaftliche Verantwortung und wirtschaftliche, soziale und ökologische Potenziale“. Schließlich sind die politischen Parteien nicht zu vergessen, die in unterschiedlicher Intensität durch ihre digitalpolitischen Agenden, parlamentarischen Initiativen, aber auch durch ihre parteinahen Stiftungen am Diskurs über ADM und Teilhabe mitwirken.
WISSENSCHAFT
Die ganze Bandbreite der Aspekte von ADM und Teilhabe findet ihre Entsprechung in zahlreichen Forschungseinrichtungen und -projekten, die von Hochschulen, Wissenschaftsorganisationen und Stiftungen betrieben werden.
Das erst 2017 gegründete Weizenbaum Institut für die vernetze Gesellschaft in Berlin dürfte sich mit seiner interdisziplinäre Ausrichtung auch im Themengebiet ADM und Teilhabe profilieren. Beispielhaft genannt werden sollen außerdem das kommunikationswissenschaftliche Hans-Bredow-Institut in Hamburg mit seiner Arbeit zu Plattformen (Intermediären) und die gewerkschaftsnahe Hans-Böckler-Stiftung, die einen Forschungsverbund „Digitalisierung, Mitbestimmung, Gute Arbeit“ betreibt, an dem auch AlgorithmWatch beteiligt ist.
ZIVILGESELLSCHAFT
Als Schwergewicht kann im zivilgesellschaftlichen Bereich die Bertelsmann Stiftung gelten: Sie hat 2017 das Projekt „Ethik der Algorithmen“ gestartet. In diesem Projekt werden eigenständig Themen bearbeitet, aber auch Dritte mit Studien und Aufsätzen zu rechtlichen Fragen oder Schwerpunkthemen beauftragt. AlgorithmWatch, die Organisation hinter diesem Altas, erhält durch das Projekt der Bertelsmann Stiftung eine Strukturförderung, ist aber in seiner Arbeit unabhängig. Neben der Bertelsmann Stiftung befassen sich NGOs und andere Organisationen aus dem digitalpolitischen Sektor wie die Gesellschaft für Informatik oder der Bundesverband der Verbraucherzentralen mit teilhaberelevanter ADM.
Unter den Gewerkschaften ist vor allem die Vereinte Dienstleistungsgewerkschaft ver.di zu nennen, die sich mit der Digitalisierung und Automatisierung der Arbeitswelt und insofern auch mit teilhaberelevanter ADM befasst.
Algo.Rules
Im Frühjahr 2019 präsentierten das „iRights Lab“ und das Projekt der Bertelsmann Stiftung „Ethik der Algorithmen“ eine Aufstellung von Kriterien, die beachtet werden müssen, um eine gesellschaftlich förderliche Gestaltung und Überprüfung von algorithmischen Systemen zu ermöglichen und zu erleichtern. Die unter dem Titel „Algo.Rules“ [Link] veröffentlichten Kriterien verstehen sich als Grundlage für ethische Erwägungen und für die Um- und Durchsetzung rechtlicher Rahmenbedingungen. Sie sollen weiterentwickelt werden. Die Mitarbeit von Interessierten ist dabei erwünscht.
Die programmatischen Überschriften, unter denen Algo.Rules die Kriterien gruppiert, lauten: 1. Kompetenz aufbauen, 2. Verantwortung definieren, 3. Ziele und erwartete Wirkung dokumentieren, 4. Sicherheit gewährleisten, 5. Kennzeichung durchführen, 6. Nachvollziehbarkeit sicherstellen, 7. Beherrschbarkeit absichern, 8. Wirkung überprüfen, 9. Beschwerden ermöglichen
Vorheriges Kapitel: Arbeitsweise
Für den „Atlas der Automatisierung“ wurden gezielt Themen recherchiert und gewichtet, die die Auswirkungen von ADM-Systemen auf die gesellschaftliche Teilhabe umfassen. Eine eigens erstellte und öffentlich zugängliche Datenbank stellt Informationen über teilhaberelevante ADM-Systeme zusammen.
Der Begriff der Teilhabe, die Anwendungsbereiche von ADM sowie der geografische Bezug auf Deutschland grenzen den Untersuchungsgegenstand des vorliegenden Atlas ein. Bei der Auswahl von ADM-Anwendungsfeldern, die in diesem Atlas aufgenommen werden sollten, haben wir folgenden Ansatz verfolgt: Ausgehend von der Definition des Teilhabebegriffs (siehe Kapitel „Einführung“) bestimmten wir Personengruppen, die aufgrund von Merkmalen wie Alter, Geschlecht, Herkunft oder wegen ihres Status (zum Beispiel „arbeitssuchend“) möglicherweise von bestimmten Dimensionen gesellschaftlicher Teilhabe ausgeschlossen sind. In einem zweiten Schritt wurden Schnittstellen zwischen diesen Personengruppen und ADM identifiziert: Wo kommen diese Personengruppen mit ADM in Berührung? Das kann beispielsweise bei einem Behördengang geschehen. Auf dieser Basis wurde im dritten Schritt eine Liste von konkreten ADM-Produkten und -Technologien angelegt und durch Schlagworte kategorisiert, die an den identifizierten Schnittstellen zum Einsatz kommen. Dabei wurde auch auf bereits vorhandene Zusammenstellungen von ADM-Technologien zurückgegriffen, wie sie beispielsweise auf www.algorithmstips.org [Link] oder im EU-ADM-Report [Link] zu finden sind. Die auf diese Weise generierte Liste bildet die Basis der Datenbank von teilhaberelevanten ADM-Systemen, die im Rahmen des Atlas erstellt wurde.
Innerhalb der Datenbank erhielt jeder Eintrag im Zuge unserer internen Beurteilung einen Punktwert, der die Relevanz der betreffenden Technologie für den Aspekt Teilhabe in quantifizierter Form darstellt. In die Punktwertung ging die Beantwortung von Fragen ein wie: „Operiert das ADM-System passiv (durch Empfehlungen) oder aktiv (durch die direkte Umsetzung einer Entscheidung)?“ Weiter gab es Punkte dafür, inwiefern eine Technologie kritische Auswirkung hat auf die Umwelt, das Gemeinwohl, die Selbstbestimmung, die körperliche Unversehrtheit oder Aspekte gesellschaftlicher Teilhabe. Zudem wurde berücksichtigt, welche Handlungsoptionen es für Betreiber oder Betroffene eines ADM-Systems gibt (zum Beispiel Einspruchsmöglichkeiten gegen eine automatisierte Entscheidung). Mit einbezogen wurde auch, ob ein ADM-System von staatlicher Seite oder durch private Akteure betrieben wird. Zusätzlich zu der Punktwertung wurde vermerkt, ob das Produkt oder die Technologie, zum Beispiel die Gesichtserkennung, bereits im Einsatz ist oder erst getestet wird.
Im Zuge der Punktwertung und Erstellung der Datenbank kristallisierten sich die Themen heraus, die im vorliegenden Report in eigenen Kapiteln behandelt werden. Während der Vorarbeiten wurde außerdem deutlich, welche Regulierungsthemen hinsichtlich der potenziellen Auswirkungen von ADM-Systemen auf die gesellschaftliche Teilhabe im Rahmen des Atlas-Projekts berücksichtigt und welche Akteure hervorgehoben werden sollten. Unter Akteuren verstehen wir dabei nicht die Nutzer*innen und Kunden*innen von ADM-Systemen. Vielmehr fassen wir darunter Interessengruppen (zivilgesellschaftliche oder unternehmerische), NGOs, Stiftungen, Forschungsverbünde, einzelne Unternehmen sowie staatliche Stellen und Gremien. Das entscheidende Kriterium für die Auswahl von relevanten Akteuren war, inwiefern diese den Diskurs rund um ADM und Teilhabe aktiv mitgestalten, beispielsweise durch Studien, Policy Paper oder Veranstaltungen.
Die in der Recherchephase angelegte Datenbank teilhaberelevanter ADM-Systeme ist ein wesentliches Ergebnis des Atlas-Projekts. Diese Datenbank zu erstellen und digital frei zugänglich zu machen, war uns ein besonderes Anliegen. Die Datenbankeinträge basieren, wie auch die Texte des Atlas, im Wesentlichen auf Literatur- und Internetrecherchen. In manchen Fällen wurde zudem Rücksprache mit Herstellern oder Betreibern von Softwaresystemen gehalten. In Bezug auf Fragen der Regulierung haben wir Fachleute um ihre Einschätzung gebeten. Die Atlas-Datenbank wird zukünftig fortlaufend erweitert und die darin enthaltenen Informationen regelmäßig aktualisiert.
Vorheriges Kapitel: Empfehlungen
Diese Empfehlungen basieren auf den im Kontext der Arbeit zum „Atlas der Automatisierung“ durchgeführten Recherchen und Analysen. Sie befassen sich mit Systemen automatisierter Entscheidungsfindung im Zusammenhang mit Teilhaberelevanz. Die Handlungsempfehlungen sollen als Anstoß zur Diskussion und als Anregung für Politiker*innen sowie Entscheider*innen in Behörden, Firmen und zivilgesellschaftlichen Organisationen dienen.
FOLGEN ABSCHÄTZEN
Bei der Entwicklung und dem Einsatz von Systemen automatisierter Entscheidungsfindung sollte das Prinzip gelten: Vor allem keinen Schaden anrichten (Primum non nocere). Das Prinzip wurde durch den sogenannten hippokratischen Eid etabliert, der bis heute wesentlicher Bestandteil der ärztlichen Berufsethik ist. Entsprechend sollten Gestaltung und Einsatz von ADM-Systemen mit einer Risikobewertung einhergehen. So sollten beispielsweise bei Verkehrsroutenempfehlungen durch GPS-gestützte Navigationsgeräte neben Kriterien der schnellsten oder kürzesten Verbindung auch Kriterien Berücksichtigung finden, die prüfen, ob durch die Streckenempfehlung Wohn- oder Naturschutzgebiete durch Durchgangsverkehr belastet werden.
Bei einer Technikfolgenabschätzung sollten der Einsatzzweck eines ADM-Systems und Charakteristika des Herstellers und des Nutzers, zum Beispiel privatwirtschaftlich versus öffentlich, berücksichtigt werden. Außerdem sollte auf die Datenqualität und den Ursprung der verwendeten Daten geachtet sowie Effekte antizipiert werden, die über den vorgesehenen Anwendungszweck hinaus zu erwarten sind.
ÜBER ADM STATT KI REDEN
KI beherrscht derzeit die gesellschaftliche Debatte. Oft werden in diesem Zusammenhang extreme Szenarien wie die einer „Superintelligenz“ oder „Singularität“ entworfen. Diese Schreckensszenarien verstellen jedoch den Blick auf einen heute schon brisanten Aspekt der KI: Entscheidungen, die sich auf die gesellschaftliche Teilhabe auswirken können, werden vermehrt an Software delegiert. Deshalb halten wir es für hilfreich, statt dem überfrachteten KI-Begriff besser den Begriff der „automatisierten Entscheidungsfindung“ zu verwenden. Damit wollen wir vor allem den Aspekt der Verantwortlichkeit thematisieren, der bei vielen der sogenannten KI-Anwendungen immer auch ein Rolle spielt. Die Verantwortung für Entscheidungen, die mit Hilfe von Softwaresystemen getroffen oder vorbereitet werden, liegt weiter bei den Menschen, die an der Beauftragung, Entwicklung und Zulassung solcher Systeme beteiligt sind. Nicht zuletzt sollte ein Hauptaugenmerk auf ADM-Systemen liegen, die voraussagende Analysen („predictive analytics“) bereitstellen. Hier geht es insbesondere um Vorhersagen menschlichen Verhaltens, beispielsweise in Bezug auf Kreditwürdigkeit oder die Wahrscheinlichkeit, straffällig zu werden. Vor allem in diesem Kontext, aber auch darüber hinaus berühren ADM-Systeme entscheidende Werte der Gesellschaft wie Rechtsstaatlichkeit oder Fairness. Sie müssen deshalb durch eine Kombination von Regulierungsinstrumenten, Aufsichtsmechanismen und Technologien demokratisch kontrolliert werden können.
ZIVILGESELLSCHAFT ERMÄCHTIGEN
Bürger*innen sollten in ihren Kompetenzen gestärkt werden, damit sie die Folgen und Potenziale automatisierter Entscheidungsfindungen besser einschätzen können. Zudem sollte die Bundesregierung den Versprechen, die sie in ihrer KI-Strategie formuliert hat, Taten folgen lassen. In der Strategieerklärung heißt es: „Der Staat muss Wissenschaft und Zivilgesellschaft befähigen, zu diesem wichtigen gesellschaftlichen Diskurs unabhängige und kompetenzbasierte Beiträge zu leisten.“ [Link]. Ein Ansatzpunkt für das „Empowerment“ der Bürger*innen ist der Bildungsbereich. Hier gilt es, Materialien und Programme für die Schul-, Berufs- und Erwachsenenbildung zu entwickeln. Ein Blick nach Finnland könnte helfen: Dort wurde der Online-Kurs „Elements of Artificial Intelligence“ in einer privat-öffentlichen Partnerschaft entwickelt [Link]. Dieser in den Sprachen Finnisch und Englisch frei zugängliche Kurs geht auch auf gesellschaftliche Implikationen von KI ein, zum Beispiel auf algorithmische Verzerrungen und Möglichkeiten der De-Anonymisierung von Daten. Fast 100.000 Finnen (bei einer Gesamtbevölkerung von 5,5 Millionen Einwohnern) haben sich bisher für diesen Kurs angemeldet.
BERICHTERSTATTUNG AUSBAUEN
Journalist*innen, Redaktionen und Verlage sollten ADM zum Gegenstand ihrer Recherchen und Publikationen machen. Zudem sollten Kompetenzen auf- und ausgebaut werden, um verantwortungsvoll über Algorithmen berichten zu können („Algorithmic Accountability Reporting“). Möglicherweise bereits vorhandene Kapazitäten aus dem Bereich Datenjournalismus bieten sich dafür an. Angesichts der lauter werdenden Forderung nach gemeinnützigem Journalismus, empfehlen wir Stiftungen, „Algorithmic Accountability Reporting“ verstärkt zu fördern.
VERWALTUNG STÄRKEN
Unsere Recherchen zum „Atlas der Automatisierung“ haben uns das Universum der Softwaresysteme in allen möglichen Zweigen von Verwaltungen und anderen teilhaberelevanten Dienstleistungssektoren deutlich vor Augen geführt. Ein Register, das eine Bewertung dieser Systeme in Bezug auf ihren Automatisierungsgrad und ihre Auswirkungen auf Teilhabe und Gesellschaft vornimmt, fehlt bislang. Um einen demokratischen Diskurs und Kontrolle zu gewährleisten, wäre es wünschenswert, wenn Gemeinden, Länder und der Bund sich im Sinne von Open Government in der Pflicht sähen, solche Verzeichnisse zu erstellen. Hierbei könnten die Erfahrungen der Stadt New York hilfreich sein: Ende 2017 beschloss der Stadtrat eine Verordnung zur „Algorithmic Accountability“. Im Mai 2018 wurde die „Automated Decision Taks Force“ eingerichtet, die als ersten Schritt eine Bestandsaufnahme über automatisierte Entscheidungen vornimmt [Link].
Solch eine Bestandsaufnahme würde auch hierzulande die Verwaltung stärken, da sie den Überblick über verwendete ADM-Systeme wahren könnte und handlungsfähig bliebe. Zusätzlich sollte zum einen etwa durch Fortbildungen der Blick von Mitarbeiter*innen dafür geschärft werden, inwieweit Software auf subtile Weise Entscheidungen vorbereitet oder bereits de facto trifft. Gegebenenfalls sollten bestehende softwaregestützte Abläufe entsprechend auf Verzerrungen oder Diskriminierung überprüft werden. Des weiteren sollten Verwaltungsmitarbeiter*innen auch befähigt werden, Vorschläge einzubringen und Verfahren zu entwickeln, die die Einführung von ADM-Systemen an geeigneten Stelle betreffen. Darüber hinaus gilt es, innerhalb der Verwaltungen Mechanismen der Evaluation entsprechender Softwaresysteme zu etablieren.
NACHVOLLZIEHBARKEIT SICHERSTELLEN
Von verschiedener Seite wurde die Forderung nach einem „Algorithmen-TÜV“ aufgebracht. Wir sind zurückhaltend, diese Forderung zu unterstützen, weil eine einzige Institution der Vielfalt an Regulierungsbedarfen in den unterschiedlichen Sektoren kaum gerecht werden kann. Auch hier wäre zuerst eine Bestandsaufnahme von bereits vorhandenen Regulierungsansätzen wünschenswert. Für diverse Sektoren sind Aufsichtseinrichtungen bereits vorhanden; deren Aufgabengebiet müsste möglicherweise nur erweitert oder modifiziert werden.
Insbesondere die DSGVO enthält bereits Regelungen zu automatisierten Entscheidungen. Ob diese weitreichend genug sind, beziehungsweise möglicherweise Regulierungslücken enthalten, wäre zu klären. In bestimmten Fällen, etwa bei der vorhersagenden Polizeiarbeit („predictive policing“), greift die DSGVO nicht, wenn dort statt Individuen ganze geographische Gebiete von automatisierten Entscheidungen betroffen sind: Nachbarschaften könnten durch ADM-Systeme zu vermeintlichen Kriminalitätsschwerpunkten erklärt werden.
Aufmerksamkeit sollte generell der Anforderung nach Nachvollziehbarkeit von automatisierten Entscheidungen zukommen: Wie funktioniert das ADM-Verfahren, welche Daten werden wie wozu verarbeitet. Transparenz ohne eine Erläuterung hilft bei komplexen Softwareprogrammen und großen Datenmengen wenig. Zu klären wäre, in welchen Zeitintervallen die Überprüfung von Systemen wiederholt werden sollte, da sich während der Entwicklung, der Inbetriebnahme und des Regelbetriebs interne und externe Faktoren ändern können. Hier lohnt sich ein Blick auf den Vorschlag für ein „Social Impact Statement“ des Verbunds Fairness, Accountability, and Transparency in Machine Learning (FAT/ML) [Link].
AUFSICHT GEWÄHRLEISTEN
Es gibt bereits zahlreiche Regulierungen, die den Einsatz von ADM-Systemen adressieren und ihn steuern sollen, etwa im Finanzmarkt und in der Medizin. Derzeit kann man allerdings den Eindruck bekommen, als werde diese Aufsicht nur unzureichend wahrgenommen. Das liegt unter anderem daran, dass viele Aufsichtsbehörden nicht ausgestattet und qualifiziert sind, um komplexe ADM-Systeme angemessen zu überprüfen.
Hier muss nachgebessert werden, wobei klar ist, dass es eine große Herausforderung ist, Abhilfe zu schaffen, denn das entsprechende Personal zu finden ist schwierig. Zugleich entsteht der Eindruck, dass es bisweilen nicht einfach an Fachkräften mangelt, sondern auch am Willen der Behörden, ihre Aufsichtsfunktion offensiv auszuüben. Gerade wenn es um Teilhabemöglichkeiten von Bürger*innen geht, ist es aber notwendig, potenziell problematische ADM-Systeme, wie etwa Bonitätsprüfungen, proaktiv zu identifizieren und zu prüfen.
PRIVATWIRTSCHAFT VERPFLICHTEN
Wie wir in dem Atlas zeigen, liegt teilhaberelevantes ADM nicht nur in öffentlicher Hand. Zum einen stellen privatwirtschaftliche Firmen Software für die Verwendung in öffentlichen Einrichtungen her. Zum anderen betreiben sie auch eigenständig Angebote und Dienste, etwa im Gesundheitsbereich, in der Kreditvergabe oder der Bereitstellung von Strominfrastruktur, die zumindest ADM-Elemente enthalten. Somit sollten auch privatwirtschaftliche Firmen Prozessen der Qualitätssicherung unterworfen werden, wenn ihre ADM-Produkte kollektive Effekte haben können. Neben Mitarbeiter*innenfortbildungen, Selbstverpflichtungen und Zertifikatsprogrammen sollte hier über staatlich definierte Auditverfahren im Sinne der oben erwähnten Nachvollziehbarkeit nachgedacht werden. Zudem muss berücksichtigt werden: Der Aspekt Teilhabe im Zusammenhang mit der Automatisierung digitaler Dienste verschiebt möglicherweise die Grenze zwischen dem Recht auf Privatautonomie im wirtschaftlichen Handeln einerseits und dem Anspruch des Einzelnen auf Zugang zu öffentlichen Gütern, wie es im Allgemeinen Gleichbehandlungsgesetz (AGG) garantiert wird, andererseits. Dies spielt bei Verbraucherschutzfragen eine Rolle, aber auch in Bezug auf neue Formen von Öffentlichkeit, wie sie unter anderem von einer Plattform wie Facebook repräsentiert werden.
ÖKOBILANZ BEACHTEN
Neben der Software benötigen automatisierte Entscheidungen Hardware und Internetinfrastruktur. Ihre Herstellung und ihr Betrieb verbrauchen Energie. Führt der ADM-Einsatz nicht zu Energieeinsparungen an anderer Stelle, hat der zusätzliche Ressourcenverbrauch negative Effekte auf das Ökosystem. Teilhaberelevant ist dies insofern, als davon die Lebensgrundlage aller Menschen beeinträchtigt wird. Studien zufolge verursachen Computer, Mobilfunk- und Internetinfrastruktur (Funkmasten, Serverfarmen, Kabel) derzeit circa vier Prozent des jährlichen globalen CO2-Ausstoßes jährlich. Durch die stetige Zunahme an digitalisierten Geräten könnte sich dieser Anteil bis 2040 mehr als verdreifachen [Link].
Angesichts dessen sollte bei der Einführung oder Ausweitung von ADM-Systemen berücksichtigt werden, ob der zu erwartende Nutzen auch Effekte auf die Ökobilanz rechtfertigt. Beispielweise wäre zu bedenken, dass Smart-City-Konzepte große Mengen an digital vernetzten Geräten benötigen, deren Herstellung Energie und Ressourcen verbraucht und die in eine stromhungrige Internet- und Serverinfrastruktur eingebunden sind.
Nächstes Kapitel: Arbeitsweise