Atlas der Automatisierung

Automatisierte Entscheidungen
und Teilhabe in Deutschland

Der Atlas der Automatisierung wird aktuell nicht mehr aktualisiert.
Die Daten sind daher nicht mehr auf dem neuesten Stand.

       

Sicherheit & Überwachung

Ob in der physischen Welt oder bloß im Digitalen: Bei Migration, Kriminalität, Terrorismus und Krieg bereitet Software Entscheidungen bereits mit vor.

Aussortieren und Vorhersagen – das sind die beiden Leistungen, die ADM-Systeme im Bereich der Sicherheit und Überwachung am häufigsten erbringen sollen. Themen sind Kamera- und Internetverkehrsüberwachung, vorhersagende Polizeiarbeit, automatische Grenzkontrollen und autonome Waffensysteme. Wenn Polizei und andere Sicherheitsbehörden einen Teil ihrer Arbeit an Maschinen und Programme delegieren, führt dies jedoch schnell zu falschen Verdächtigungen. Freizügigkeit und das Prinzip der Unschuldsvermutung, die wesentliche Elemente von Teilhabe sind, werden dabei eingeschränkt.

FLUCHT, MIGRATION UND GRENZE

Mit einer „Digitalisierungsagenda 2020“ will das Bundesamt für Migration und Flüchtlinge (BAMF) Probleme in seinen Verfahrensabläufen in den Griff bekommen [Link]. 2016 wurde ein „Integriertes Identitätsmanagement“ eingeführt. Es enthält mittlerweile mehrere Bausteine, die als Assistenzsysteme Sachbearbeiter*innen bei ihren Entscheidungen zur Seite stehen. Die Systeme dienen hauptsächlich dazu herauszufinden, ob die Angaben der Schutzsuchenden plausibel sind. So findet beispielsweise eine Software Einsatz, die anhand von Audioaufnahmen die Herkunftssprache eines Menschen erkennen soll. Die Fehlerquote bei dieser sogenannten Sprachbiometrie lag anfangs bei 20 Prozent und konnte laut BAMF mittlerweile auf 15 Prozent reduziert werden. Das Verfahren wurde bis Mitte November 2018 gut sechstausend Mal eingesetzt. Ebenfalls wird eine Software angewendet, die ursprünglich aus der IT-Forensik von Militär, Geheimdiensten und Polizei stammt. [Link]. Mit der Software lassen sich Telefondaten auswerten und historische Verbindungsdaten und gespeicherte Telefonnummern analysieren. Den Zugang zu den Telefonen, so behauptet das BAMF, würden die Flüchtlinge freiwillig gewähren. Die Erkenntnisse aus der tausendfach eingesetzten Auswertung führten 2018 aber nur in weniger als hundert Fällen zu verwertbaren Ergebnissen. Weiter wird Software zum Abgleich von Fotoportäts sowie zum Abgleich der verschieden Möglichkeiten der Transliteration arabischer Namen in lateinische Buchstaben verwendet. Das BAMF wertet den Einsatz automatisierter Verfahren als Erfolg. Kritiker*innen dagegen halten die Kosten und Fehlerquoten für zu hoch. Weiter bemängeln sie die intransparenten Funktionsweisen der Softwaresysteme und das Fehlen ­einer wissenschaftlichen Begleitung, die die Wirksamkeit der angewandten Verfahren auswertet.

Seit 2013 nutzt die EU das Grenzüberwachungssystem „Smart Border“. Neben bereits aktiven komplett automatisierten Passkontrollen (EasyPASS) an einigen deutschen Flughäfen als Teil eines EU-weiten „automated border control systems“ wird auch an einer automatisierten Vergabe von Einreisegenehmigung für den Schengen-Raum gearbeitet (ETIAS, ab 2021). Im Rahmen des „Visa Information System“ wird derzeit ein „Entry Exit System“ etabliert, das in Zusammenspiel mit „Passenger Name Records“ des Flugverkehrs eine Datenbank bilden soll. Die Ein- und Ausreisen in den beziehungsweise aus dem Schengen-Raum sollen ab 2020 zentral festgehalten werden. Für die Gesichtserkennung wird nicht zuletzt biometrischen Daten eine wesentliche Rolle zukommen. Zudem finanziert die EU-Kommission ein Experiment u.a. zur Lügendetektion namens „iBorderControl“ mit 4,5 Millionen Euro [Link]. Es läuft bis August 2019 und wird an der ungarischen ungarischen, griechischen, lettischen und griechischen Grenze erprobt. Die Einreisewilligen bekommen während des Antragsprozesse für Visa etc. von computeranimierten Figuren von Grenzbeamt*innen per Bildschirm Fragen gestellt. Ihre „Mikrogesten“ werden per Kamera aufgezeichnet und daraufhin analysiert, ob sie lügen. Das Verfahren basiere auf „Pseudo-Wissenschaft“ lautet eine Kritik [Link].

KAMERAÜBERWACHUNG

Mit zweifelhaften Ergebnissen ist ein Test zur Kameraüberwachung am Berliner Bahnhof Südkreuz Mitte 2018 zu Ende gegangen. Für knapp ein Jahr wurden in einem Bereich des Bahnhofs, der als Testfeld für neue Technologien der Deutsche Bahn AG gilt, verschiedene Softwaresysteme erprobt, die Verdächtige per Gesichtserkennung herausfiltern sollten. Die Bahn arbeitete dafür mit der Bundespolizei und dem Bundeskriminalamt zusammen. Offiziell gelten die Ergebnisse als Erfolg, da durchschnittlich eine 80-prozentige Trefferquote erreicht worden sei. Zudem läge die falsch-positiven Erkennungsrate (FAR) bei unter einem Prozent. Der Chaos Computer Club (CCC) hält die Zahl von 80 Prozent Treffern für irreleitend, da diese nur für alle drei erprobten Systeme zusammen gelten würde. Die FAR von circa 0,7 Prozent würde am Bahnhof Südkreuz mit einem Fahrgastaufkommen von 90.000 Personen am Tag für 600 fälschliche Identifikationen von Verdächtigen sorgen. Weiter bemängelte der CCC, dass der Kreis der Testpersonen kaum repräsentativ gewesen sei hinsichtlich Alter, Geschlecht und Herkunft [Link]. So zeigt eine Studie aus den USA, dass einige dort eingesetzte Gesichtserkennungssysteme insbesondere Afro-Amerikanerinnen schlecht erkennen können [Link].

Angesichts dessen, dass es erste Einsätze von kamerabestückten Flugdrohnen („Quadrocopter“) bei Demonstrationen gibt, ist die Frage nach der Falscherkennungsrate von Erkennungssystemen aus bürgerrechtlicher Perspektive entscheidend. Beispielsweise wurden bei den Ermittlungen nach den Auseinandersetzungen um den G20-Gipfel 2017 in Hamburg seitens der Polizei große Mengen an Bildaufnahmen automatisiert nach Tatverdächtigen durchsucht.

Eine nächste Testphase der Kameraüberwachung am Bahnhof Südkreuz, in der ADM-Systeme auch Objekte wie Koffer und „ungewöhnliches Verhalten“ von Personen erkennen sollten, sagte die Bahn aus Kostengründen Anfang 2019 ab. Ein ähnlich gelagerter Test hat jedoch Ende 2018 in Mannheim begonnen. Das Fraunhofer Institut für Optronik, Systemtechnik und Bildauswertung liefert die Technologie für eine „algorithmenbasierte Videoüberwachung im öffentlichen Raum zur Bekämpfung von Straßenkriminalität“. Das System des auf fünf Jahre angelegten Vorhabens soll nach und nach in der Lage sein, beispielsweise Tritte oder Schläge erkennen zu können, um dann Polizeibeamte in Lagezentren auf einen möglichen Vorfall hinzuweisen. Insgesamt sollen 76 Kameras in der Innenstadt an das System angeschlossen werden [Link].

Hohe Fehlerquoten sind bei der automatisierten Fahndung nach KFZ-Kennzeichen über entsprechende Kamerasysteme offenbar die Regel. Solche Systeme sind in manchen Bundesländern fest installiert, zum Beispiel in Bayern, Hessen und Sachsen. In anderen Bundesländern werden sie nur punktuell oder (noch) nicht eingesetzt. Bei einem Pilotversuch der Landesregierung Baden-Württemberg wurde 2017 eine Fehlerquote von etwa 90 Prozent registriert. Ähnlich hoch sei die Fehlerrate in anderen Bundesländern, was damit zu tun habe, dass nicht die neuste Technologie zur Verfügung stünde. Das automatische Kennzeichenlesesystem in Baden-Württemberg ist 2011 angeschafft worden [Link].

VORHERSAGENDE POLIZEIARBEIT

In sechs Bundesländern finden derzeit Systeme der vorhersagenden Polizeiarbeit („predictive policing“) Anwendung. Neben Eigenentwicklungen der Behörden werden Systeme verschiedener privater Anbieter eingesetzt. Prinzipiell ist das Ziel der vorhersagenden Polizeiarbeit, anhand statistischer Auswertungen Gebiete zu identifizieren, in denen Wohnungs- oder Gewerbeeinbrüche sowie KFZ-Diebstähle verstärkt auftreten könnten. Die Kriminalitätsprognosen fußen auf Modellen wie der Near-repeat-These, die besagt, dass Einbrecher dazu tendieren, nahe des Orts einer erfolgreichen Tat erneut zuzuschlagen. Entsprechend kann dann die Einsatzplanung, etwa für Streifenfahrten, erfolgen. Unklar ist, ob diese rein ortsbezogenen Systeme tatsächlich positive Auswirkungen haben. Eine Begleitstudie des Freiburger Max-Planck-Instituts für ausländisches und internationales Strafrecht konnte im Zuge einer Testphase von 2015 bis 2017 in Stuttgart und Karlsruhe keine eindeutige Wirksamkeit der vorhersagenden Polizeiarbeit bei der Prävention oder Minderung von Kriminalität feststellen [Link]. Unter teilhaberelevanten Gesichtspunkten wäre beispielsweise zu untersuchen, ob die vorhersagende Polizeiarbeit Verstärkungseffekte erzeugt, die zu einer Stigmatisierung von Ortsteilen oder Gegenden führen könnten [Link].

Statt ortsbasiert arbeitet das System „Hessen-Data“ personenbezogen. Es setzt auf die „Gotham“-Software der US-Firma Palantir auf. Soweit bekannt, führt das System Daten aus sozialen Medien mit Einträgen in verschiedenen polizeilichen Datenbanken sowie Verbindungsdaten aus der Telefonüberwachung zusammen, um mögliche Straftäter zu ermitteln. Es wurde 2017 angeschafft und soll zur Identifizierung („Profiling“) von möglichen Terroristen dienen. Die hessische Landesregierung plant eine Ausweitung des Einsatzes auf die Bereiche Kindesentführung und -missbrauch. Die gesetzlich notwendige Grundlage für „Hessen-Data“ bietet das im vergangenen Jahr überarbeitete hessische Polizeigesetz. Derzeit versucht ein Untersuchungsausschuss des Hessischen Landtags Fragen zur Anschaffung des Systems sowie des Datenschutzes zu klären. Dem Vernehmen nach wird das System durch Mitarbeiter*innen des Betreiberunternehmens Palantir betreut, die dadurch möglicherweise Zugriff auf personenbezogene Daten haben [Link].

ÜBERWACHUNG UND VORRATSDATENSPEICHERUNG

Spätestens seit den Enthüllungen durch den ehemaligen US-Geheimdienstmitarbeiter Edward Snowden 2013 ist belegt, dass Geheimdienste westlicher Länder in großem Umfang den weltweiten Internetverkehr verdachtsunabhängig kontrollieren. Dass deutsche Dienste dabei mitwirken, steht ebenfalls fest. Welche Softwaresysteme und Verfahren genau zum Einsatz kommen, ist wenig bekannt, denn die Möglichkeiten der parlamentarischen Kontrolle sind recht gering. Im Laufe dieses Jahres werden in diesem Zusammenhang bis zu acht Entscheidungen des Bundesverfassungsgerichts erwartet. So geht es etwa um die Ausweitung von Rechten des Bundesnachrichtendienstes, um die Vorratsdatenspeicherung und die Überwachung von Telekommunikation und Briefverkehr [Link].

AUTONOME WAFFENSYSTEME

Seit 2017 wird, angeregt durch die Vorarbeit einiger NGOs, in Gremien der Vereinten Nationen (UN) das weltweite Verbot von autonomen Waffensystemen debattiert. Gemeint sind damit beispielsweise Drohnen zu Luft, Wasser und Land, die ohne Rückkoppelung mit Menschen unter bestimmten Bedingungen autark den Einsatz tödlicher Gewalt ausführen. Soweit bekannt, sind solche komplett autonomen beziehungsweise autarken Waffensysteme bislang noch nicht im Einsatz. Allerdings sind Flugdrohnen seit gut einem Jahrzehnt mit Waffensystemen ausgestattet, die zumindest bestimmte Aufgaben eigenständig erledigen. Zu ihrem Arsenal gehören auch Systeme von Objekt- und Personenerkennung. Eine unabhängige Evaluation ihrer Fehlerquoten scheint es nicht zu geben. Auch die Luftwaffe und Marine der Bundeswehr setzen verschiedene Typen von Flugdrohnen ein. Davon ist mindestens ein Typ bewaffnungsfähig.

 


Dynamische Risiko-Analyse-Systeme

Die „Dynamischen Risiko-Analyse-Systeme“ (kurz: DyRiAS) sind Instrumente des deutschen Unternehmens Institut Psychologie & Bedrohungsmanagement (IPBm Projekt GmbH), die Risikoeinschätzungen über mögliche Gewalttaten von Personen in verschiedenen sozialen Kontexten (Schule, Intimpartner, Arbeitsplatz, Islamismus) anbieten. Laut Hersteller sind die Ergebnisse seiner Produkte psychologisch und empirisch fundiert. Grundannahme ist, dass Gewalttaten beobachtbare Eskalationsspiralen vorausgehen. Analysiert werden soll, „ob sich eine Person auf einem Entwicklungsweg befindet, der sie möglicherweise hin zu einem Angriff führt“. DyRiAS bieten eine Übersicht über die zeitliche Entwicklung des „Bedrohungsrisikos“ und legen gleichzeitig eine Falldokumentation an. Die Risikoeinschätzung basiert auf der statistischen Analyse von Fragebögen, die von Sachbearbeiter*innen (z. B. Polizist*innen) ausgefüllt werden.

DyRiAS-Systeme werden von Frauenschutzvereinen in Deutschland und Österreich verwendet. In der Schweiz wird DyRiAS in Kombination mit weiteren Risikomanagementsystemen für die präventive Polizeiarbeit, etwa zur Identifikation von „Gefährder*innen“ eingesetzt. Nach Recherchen des Schweizer Fernsehsenders SRF haben die Instrumente eine hohe Fehlerquote: Offenbar ist die Software so konfiguriert, dass sie zur Überschätzung des Risikos neigt [Link].


Nächstes Kapitel: Thema: Bildung, Aktienhandel, Stadt & Verkehr 

Vorheriges Kapitel: Das Internet

Inhaltsverzeichnis