Atlas der Automatisierung

Automatisierte Entscheidungen
und Teilhabe in Deutschland

Der Atlas der Automatisierung wird aktuell nicht mehr aktualisiert.
Die Daten sind daher nicht mehr auf dem neuesten Stand.


Life was quiet in the small town of Wanzer close to the former GDR border until shortly after the turn of the millennium. However, a few years later, everything changed: On week days, the remote country road that winds through the residential area of the town became filled with trucks. The introduction of an HGV toll on German motorways meant lorry drivers were re-routing through Wanzer. The drivers were using GPS navigation systems and smartphones with routing algorithms that sent them to the small town. The algorithms suggested that this section of previously quiet road would help drivers avoid paying a few Euros at the toll, while at the same time keeping traveling time between destinations in Eastern and Western Europe to a minimum. The former serenity and joy in nature behind the dike along the Elbe river in Wanzer was replaced by traffic noise and the scent of exhaust fumes.

The inhabitants of the town experienced first hand how automated decisions – that they have no influence over – can touch daily life in unexpected ways. We placed this example at the beginning of our report because we do not want to merely cover the familiar use cases of automated decision-making, such as Predictive Policing, in our Atlas of Automation. We also want to show that our entire everyday life is interfused with small or big automated decisions that we might not even register as such – and yet have consequences.


A comprehensive inventory of automation across all sectors of society would be a massive undertaking. To present the perennial transformation of industry alone would need a separate and extensive deliberation. With this Atlas, we therefore chose to concentrate on one specific aspect which we consider to be particularly relevant: The relevance for social participation. Other than the term discrimination, the term participation does not only examine the systematic disadvantage of specific groups in an abstract way, it also brings our attention to the field in which this disadvantage can take place. Participation means access to public goods and services as well as the ability to claim one’s rights. Examining systems of automated decision-making, in respect to their relevance for social participation, means looking at ways in which these systems could impede access to public goods and services as well as the ability to exercise one’s rights – especially for persons who are already destitute or can be described as being disadvantaged. We consider the extent to which such groups of people are enabled or refused from participating socially to be a decisive indicator for the state of democracy in a society.

Despite all the criticism, we do not want to give the impression that automation should be rejected. In its 200 year long history, automation has brought about enormous social progress and improved quality of life to such an extent that no-one would want to roll back the clock. Hence, the Atlas not only points out the potential for discrimination that can accompany automated decisions, it also illustrates the opportunities and benefits that the use of automated decisions make possible or imaginable.


The term “Artificial Intelligence” (AI) has had something of a renaissance over the past two years. It was first coined more than sixty years ago, and ever since there have been repeated periods during which it was en vogue for some time to use the term “Artificial Intelligence”. We have our doubts as to whether the current excitement for this term, which is mainly based on progress in “Machine Learning” and “Neural Networks”, will last very long. Outside of the world of experts, the use of the term AI is rather unclearly defined and some people award it almost magic capabilities. In the German government’s AI strategy, almost anything in connection to digitalization is summed up under “AI”. To which extent machines will ever be able to show “intelligence” that equals human autonomy and intentionality has long been disputed. However, it is agreed that the AI of today is still a very long way from human capability.

Mixing up automated decision-making with the term artificial intelligence rather leads us down the wrong path. When it comes to automated decision-making, what is essential is the fact that humans delegate machines to prepare decision-making or even to implement decisions. These machines can consist of highly complex neuronal networks, but they can also be made up of fairly simple software which calculates, weighs and sorts data according to a plain set of rules. In this Atlas, we therefore consistently speak of automated decision-making (ADM – see box) instead of artificial intelligence – even though many of the phenomena that we group under the term ADM could also be called AI applications.

In the past ten years, we have seen an unprecedented increase in automation through software. The amount of available data that helped make ADM possible in the first place, together with the proliferation of devices, equipment and infrastructure that are essential for ADM, have grown exponentially. With this, the influence of ADM on various aspects of society has inevitably expanded. As a result, we want our Atlas of Automation to initiate debate in society on the consequences of ADM. This is something that we believe to be an urgent necessity.


The current Atlas is a collection, not of geographical maps and diagrams, but of topics that in our view are particularly relevant in regard to the issue of ADM in connection with participation. Following this introduction, we present a set of recommendations which we developed based on our research and analysis. In the chapter “Methodology” we describe how we determined and defined the elements of this Atlas. The chapter “Actors” presents which authorities, research institutes, interest groups and NGOs decisively shape the discourse on ADM. This is followed by an overview of existing approaches to regulation of ADM that are relevant to participation. Individual chapters on social infrastructure, health and medicine, labour, consumer protection, the Internet, and security and control deal with the use of ADM in specific sectors of society.

Part of the Atlas project consists of a free digital database in which we describe about 150 actors and regulations, software systems and technologies. We will continue to expand this database. At the end of the report you can read more in the chapter entitled “Database” which also includes a selected bibliography.

We do not claim that our Atlas is exhaustive. We mainly want to illustrate ways in which ADM shapes society in the age of digitalization. In this we follow the Mission Statement which AlgorithmWatch set out in 2016: “It is not a law of nature that ADM processes are concealed from those affected by them. This has to change.” The statement goes on to say: “We have to decide how much freedom we want to transfer to ADM.” In this sense, this current Atlas of Automation is meant to help with taking the right human decisions.


ADM – Systems of automated decision-making

Systems of automated decision-making (ADM) are always a combination of the following social and technological parts:

  • A decision-making model
  • Algorithms that make this model applicable in the form of software code
  • Data sets that are entered into this software, be it for the purpose of training via Machine learning or for analysis by the software
  • The whole of the political and economic ecosystems that ADM systems are embedded in (elements of these ecosystems include: the development of ADM systems by public authorities or commercial actors, the procurement of ADM systems, and their specific use).



Participation means actively and passively using or exercising social opportunities and rights. People who are hindered in or denied access to public goods and services, and exercising their rights solely based on:

  • their sex
  • their sexual orientation
  • their age
  • their religion and/or their world view
  • their origin (geographic, social)
  • their health status
  • their social status (education, occupation)

are limited in their participation in society. (In the German report we use the term „Teilhabe“, which has a slightly different connotation than ”Partizipation” in German language.)

We consider ADM-systems, technologies, regulations and actors as relevant to participation if their actions or their application hinders or enhances participation.

To preserve freedom of expression and of information within the framework of a common public sphere is, in this sense, an integral part of participation. Similarly, a functioning ecosystem is relevant to participation because, by providing a common livelihood for all of us, it is an important public good.

Next chapter: Recommendations

Previous chapter: Executive Summary


Executive Summary

With the “Atlas of Automation“ we want to show how everyone‘s daily life is already immersed in automated decisions. We do not necessarily perceive them as such – but they have consequences. In today’s automated decision-making (ADM), neural networks (that are often referred to as “Artificial Intelligence”) are rarely employed. Instead we find more or less complex software applications that calculate, weigh and sort data according to sets of rules. We speak of decision-making systems because the respective software only selects from preset decision options. However, these decisions are determined by people who take part in the design and the programming, as well as the employment of ADM software.

The scope of this Atlas is limited in two ways: firstly, it focusses solely on Germany and on ADM systems specifically in regard to their relevance for participation. We are interested in the way ADM limits (or enhances) access to public goods and services, and the ability to exercise individual rights. In this context, people can experience discrimination in many ways: based on age, sex, or their social or geographical origin.

For this reason we address specific key areas to look at various issues. In regard to labor we examine automized recruitment procedures, ADM in personnel management and the administration of unemployment. In the chapter “Health and Medicine“ we focus on diagnostic systems and health apps. When our attention comes to the Internet we include aspects such as upload-filters and platform regulation. The chapter “Security & Surveillance” relates to face recognition and speech recognition used on asylum seekers and in “predictive policing“. Whereas in the “Education, Stock Trading, Cities & Traffic“ chapter we delve into topics such as education and traffic. Further chapters give an overview of the legal regulation of ADM and of relevant actors.

Another part of the “Atlas of Automation“ consists of a free online database: In its initial form it contains about 150 entries on ADM products and technologies, on actors and on regulations, all of which are relevant to the subject of participation. At this stage the database entries are all in the German language, but the text of this report is in English.

The research and analysis we did for the “Atlas of Automation“ brought us to a series of conclusions. We intend our recommendations for action to spur discussion and to inspire politicians and decision-makers in authorities, companies and civil society organizations. Briefly, these are our recommendations:


In the development and application of systems for automated decision-making (ADM), the guiding principle should be: to do no harm. (Primum non nocere). This means: The design and implementation of ADM systems should accompany an impact assessment and, if possible, a risk assessment of such technologies.


Instead of using the term “Artificial Intelligence” (AI) – which is loaded with expectations – we consider the term algorithm-based decision making (ADM) to be more appropriate. We thus want to highlight the issue of accountability because the responsibility for decisions still lies with the humans who commission, develop and approve ADM systems.


Citizens should be empowered to more competently assess the results and the potential of automated decisions. It is particularly important to develop materials and programs for schools, job training and further education. Germany‘s federal government should now let actions follow the promises it made in the AI strategy, specifically: “The state has to enable academia and civil society to contribute independent and competence based input to the societal discourse.”


Journalists, editors and publishers should make ADM a subject of their research and reporting. In addition, competences should be built and extended in order to enable responsible reporting on algorithms in decision-making (“Algorithmic Accountability Reporting”).


Municipalities, federal states and the national government in Germany should create a register of all software systems used in their administrations and which documents the degree of automation and its effect on participation and on society. Employees should be sensitized to the various possible impacts of decision-making software. At the same time, they should also be enabled so that they can identify potential uses of ADM for administrative purposes.


We have our doubts whether a centralized “Algorithm TÜV” (software testing and certifying institute) would be able to match the need for regulation in all the different sectors. Instead of demands for more transparency, the focus should be on the intelligibility of ADM systems: Transparency on its own is of little help when dealing with complex software and large amounts of data; it also needs to be openly documented as to which data was processed and how the procedure worked.


There already exist numerous regulations that allow the use of ADM systems and control it. It must be ensured, that these regulations are also reviewed and enforced. To this end, the supervisory authorities must be adequately equipped and qualified to proactively pursue this task.


Private companies should be subject to regulation if their ADM products can have collective effects, e.g. when it is used in an administration. Besides staff training, self-regulation and certification programs, audit procedures–defined by the state and relating to the above mentioned accountability–should be considered.


Apart from the software, automated decision-making processes need hardware and Internet infrastructure. This goes along with energy consumption. It should therefore be considered as to whether the expected benefit of ADM justifies the negative effects on the environment.

Next chapter: Introduction



Impressum des Reports

Atlas der Automatisierung:
Automatisierung und Teilhabe in Deutschland

1. Ausgabe, April 2019

AW AlgorithmWatch gGmbH
Bergstr. 22, 10115 Berlin

Lorenz Matzat

Lukas Zielinski
Miriam Cocco
Kristina Penner
Matthias Spielkamp
Sebastian Gießler
Sebastian Lang
Veronika Thiel

Ralf Grötker

Karola Klatt

Beate Autering,


Bildung, Aktienhandel, Stadt & Verkehr

In diesem Kapitel sammeln und beschreiben wir weitere Verfahren und Prozesse automatisierter Entscheidungen, die Auswirkungen auf Aspekte der gesellschaftlichen Teilhabe haben können und in unterschiedlichen gesellschaftlichen Bereiche stattfinden.


  • Schulverwaltung: Seit 2017 wird im Schulamt des Berliner Bezirks Tempelhof-Schöneberg eine „Intelligent Zoning Engine“ (IZE) eingesetzt; eine Ausweitung des Tools auf weitere Bezirke ist laut Hersteller im Gespräch. Die IZE ermöglicht den auf der Basis von Algorithmen optimierten Zuschnitt von Grundschuleinzugsgebieten („Schulsprengel“): Abhängig von der Wohnanschrift werden Erstklässler*innen einer konkreten Schule zugeordnet. Dafür werden neben Informationen über die Schulkapazitäten und Wohnorte von Schüler*innen auch demografische Daten in möglichst kleinen statistischen Einheiten (auf Häuserblockniveau) berücksichtigt. Laut Eigenangaben des IZE-Herstellers, spart das Tool den Schulverwaltungen viel Zeit ein. So werden Schulbezirke automatisch nach benutzerdefinierten Kriterien erzeugt, etwa im Hinblick auf möglichst kurze Schulwege. Das Unternehmen gibt an, dass „weitere Optimierungsdimensionen (sozio-ökonomische Zusammensetzung etc.)“ anwendbar wären. Das bedeutet, es wäre möglich, dass die Software dafür genutzt werden könnte, Segregation, beispielsweise nach Herkunft oder Einkommen, zu fördern oder zu mindern [Link].
  • Hochschulzulassung: Im Sommersemester 2020 ändert sich das Zulassungsverfahren zum Medizinstudium. Hochschulen müssen neben der Abiturnote ein weiteres Auswahlkriterium einrichten, das unabhängig von der Abiturnote ist. Das kann der im Auftrag der deutschen Kultusministerkonferenz entwickelte Test für medizinische Studiengänge sein, eine medizinische Ausbildung oder ein Eignungstest der jeweiligen Hochschule. Im Zuge dessen wird auch die Software der Stiftung für Hochschulzulassung umgestellt. Auf diese Weise sollen so mehr Faktoren als nur die Abiturnote bei der Studienplatzvergabe berücksichtigt und gewichtet werden.


Im Aktienhandel wird seit rund zehn Jahren vermehrt sogenannter Hochfrequenzhandel („high frequency trading“, kurz: HFT) betrieben. Dabei werden Wertpapiere von Computern komplett autonom durch Software gesteuert im Milli- und Mikrosekundenbereich gehandelt: Im Kern geht es darum, durch schnellen Ankauf und Abverkauf minimale Kursschwankungen einer Aktie gewinnträchtig zu nutzen. Mindestens ein kurzfristiger Börsencrash, der sogenannte Flash Crash 2010, wird unter anderem auf den Einsatz von HFT zurückgeführt. Damit wird deutlich, dass solche automatisierten Handelssysteme Volkswirtschaften schwer schädigen können, was sich unmittelbar auf verschiedene Aspekte von Teilhabe auswirken würde.

In Deutschland gibt es seit 2013 ein Hochfrequenzhandelsgesetz, dass unter anderem „System- und Risikokontrollen“ sowie eine „Kennzeichnungspflicht“ enthält. Die Vorschriften für HFT könnten als Anhaltspunkte für mögliche Regulierungsansätze auch in anderen Branchen und Sektoren dienen [Link].


Konzepte von „Smart Cities“ werden seit geraumer Zeit diskutiert. Für ländliche Gegenden wird äquivalent von „Smart Country“ gesprochen. Im Kern werden hier zum einen Infrastrukturdaten (Strom, Wasser, Verkehr etc.) erfasst und zusätzliche Daten über Sensoren (Luftqualität, Lärm etc.) gemessen. Ziel ist, die Infrastruktur zu vernetzen („Internet of Things“). Gleichzeitig werden aber auch die Bewegungen und das Verhalten von Individuen über ihre mobilen Endgeräte erfasst und fließen in die Auswertung ein. Dies ermöglicht, neue Dienste anzubieten (zum Beispiel Parkraumbewirtschaftung, personalisierte Werbung im öffentlichen Raum) und Verwaltungshandeln in Teilen zu automatisieren sowie Ressourcen effizienter zu managen.

Demokratische Partizipationsmöglichkeiten im Sinne von „Open Government“ sind in der Regel nicht Teil von Smart-City-Konzepten. Kritiker*innen bemängeln, dass es bei den Konzepten, die oft von größeren Technologieunternehmen mitentwickelt würden, um die Errichtungen von de facto Überwachungsinfrastrukturen sowie um neue Vermarktungsformen für den öffentlichen Raum gehe. Dem entgegen steht exemplarisch das Smart-City-Konzept der Stadt Barcelona, dass im Zusammenspiel mit den Einwohner*innen der Stadt entsteht und primär deren Interessen dienen soll [Link].


Ampeln: Seit fast hundert Jahren regeln Ampel-Systeme in Deutschland den Verkehr. Die recht einfachen Automaten – die mittlerweile mancherorts durch Verkehrsleitzentralen vernetzt sind – finden sich vornehmlich im städtischen Räumen und regeln dort das Verhältnis zwischen Fußgänger*innen sowie motorisierten und unmotorisierten Fahrzeugen. Meist wird mit ihnen eine autozentrierte Verkehrspolitik implementiert, die Einwirkungen auf Gesundheit (Luftverschmutzung, Unfälle) und Umwelt hat.

Navigationsgeräte: Spätestens seit dem Aufkommen des Smartphones ab 2007 stehen Navigationsgeräte beziehungsweise entsprechende Apps nahezu in jedem Fahrzeug zur Verfügung: Satellitengestützt (GPS, Gallilei, Glonass) erfassen sie den Standort eines Fahrzeugs und berechnen die schnellste und günstigste Route zu einem gewählten Ziel. Ob davon zum Beispiel Wohn- oder Naturschutzgebiete betroffen sind, wird nicht berücksichtigt.

Motorsteuerung (Dieselgate): 2015 wurde bekannt, dass deutsche Autobauer, allen voran die Volkswagen AG, die Software der Motorsteuerung mancher Fahrzeugtypen mit Dieselmotoren so programmieren ließ, dass sie in Prüfsituationen automatisch die Laufweise des Motors ändert, um Messwerte beim Schadstoffausstoß zu minimieren. Die in die Fahrzeuge eingebaute Steuerung setzte die „Entscheidung“ zu diesem Betrug um. Dies hat zum Beispiel Folgen für die Luftqualität in Städten und somit für die Gesundheit, vor allem von älteren Menschen und Kindern.

Autonomes Fahren: Die mediale Aufmerksamkeit für selbstfahrende Fahrzeuge ist in letzter Zeit etwas abgeklungen, da es wohl doch noch einige Zeit dauern wird, bis diese Zukunftsvision Wirklichkeit wird. Dennoch hat von 2016 bis 2017 eine vom Bundesverkehrsministerium einberufene Ethik-Kommission zum automatisierten und vernetzten Fahren getagt. In ihrem Abschlussbericht präsentiert die Kommission 20 „ethische Regeln“. In ihnen heißt es unter anderem, dass Entscheidungen über „Leben gegen Leben“ (unausweichliche Unfallsituationen) nicht „ethisch zweifelsfrei programmierbar“ seien. Jede „Qualifizierung nach persönlichen Merkmalen (Alter, Geschlecht, körperliche oder geistige Konstitution)“ sei strikt zu untersagen. Die Straßenverkehrsordnung wurde durch ein Änderungsgesetz im Sommer 2017 prinzipiell für die Einführung von autonom fahrenden Fahrzeugen vorbereitet. Dabei ging es unter anderem um Haftungsfragen, aber nicht um die oben genannten ethischen Probleme, die die Ethik-Kommission aufwarf. Fraglich bleibt, ob diese überhaupt durch eine Regulierung zu lösen sind und wie autonomes Fahren sich generell realisieren lässt, wenn es in Grundrechte eingreift.

Nächstes Kapitel: Impressum des Reports

Vorheriges Kapitel: Sicherheit & Überwachung


Sicherheit & Überwachung

Ob in der physischen Welt oder bloß im Digitalen: Bei Migration, Kriminalität, Terrorismus und Krieg bereitet Software Entscheidungen bereits mit vor.

Aussortieren und Vorhersagen – das sind die beiden Leistungen, die ADM-Systeme im Bereich der Sicherheit und Überwachung am häufigsten erbringen sollen. Themen sind Kamera- und Internetverkehrsüberwachung, vorhersagende Polizeiarbeit, automatische Grenzkontrollen und autonome Waffensysteme. Wenn Polizei und andere Sicherheitsbehörden einen Teil ihrer Arbeit an Maschinen und Programme delegieren, führt dies jedoch schnell zu falschen Verdächtigungen. Freizügigkeit und das Prinzip der Unschuldsvermutung, die wesentliche Elemente von Teilhabe sind, werden dabei eingeschränkt.


Mit einer „Digitalisierungsagenda 2020“ will das Bundesamt für Migration und Flüchtlinge (BAMF) Probleme in seinen Verfahrensabläufen in den Griff bekommen [Link]. 2016 wurde ein „Integriertes Identitätsmanagement“ eingeführt. Es enthält mittlerweile mehrere Bausteine, die als Assistenzsysteme Sachbearbeiter*innen bei ihren Entscheidungen zur Seite stehen. Die Systeme dienen hauptsächlich dazu herauszufinden, ob die Angaben der Schutzsuchenden plausibel sind. So findet beispielsweise eine Software Einsatz, die anhand von Audioaufnahmen die Herkunftssprache eines Menschen erkennen soll. Die Fehlerquote bei dieser sogenannten Sprachbiometrie lag anfangs bei 20 Prozent und konnte laut BAMF mittlerweile auf 15 Prozent reduziert werden. Das Verfahren wurde bis Mitte November 2018 gut sechstausend Mal eingesetzt. Ebenfalls wird eine Software angewendet, die ursprünglich aus der IT-Forensik von Militär, Geheimdiensten und Polizei stammt. [Link]. Mit der Software lassen sich Telefondaten auswerten und historische Verbindungsdaten und gespeicherte Telefonnummern analysieren. Den Zugang zu den Telefonen, so behauptet das BAMF, würden die Flüchtlinge freiwillig gewähren. Die Erkenntnisse aus der tausendfach eingesetzten Auswertung führten 2018 aber nur in weniger als hundert Fällen zu verwertbaren Ergebnissen. Weiter wird Software zum Abgleich von Fotoportäts sowie zum Abgleich der verschieden Möglichkeiten der Transliteration arabischer Namen in lateinische Buchstaben verwendet. Das BAMF wertet den Einsatz automatisierter Verfahren als Erfolg. Kritiker*innen dagegen halten die Kosten und Fehlerquoten für zu hoch. Weiter bemängeln sie die intransparenten Funktionsweisen der Softwaresysteme und das Fehlen ­einer wissenschaftlichen Begleitung, die die Wirksamkeit der angewandten Verfahren auswertet.

Seit 2013 nutzt die EU das Grenzüberwachungssystem „Smart Border“. Neben bereits aktiven komplett automatisierten Passkontrollen (EasyPASS) an einigen deutschen Flughäfen als Teil eines EU-weiten „automated border control systems“ wird auch an einer automatisierten Vergabe von Einreisegenehmigung für den Schengen-Raum gearbeitet (ETIAS, ab 2021). Im Rahmen des „Visa Information System“ wird derzeit ein „Entry Exit System“ etabliert, das in Zusammenspiel mit „Passenger Name Records“ des Flugverkehrs eine Datenbank bilden soll. Die Ein- und Ausreisen in den beziehungsweise aus dem Schengen-Raum sollen ab 2020 zentral festgehalten werden. Für die Gesichtserkennung wird nicht zuletzt biometrischen Daten eine wesentliche Rolle zukommen. Zudem finanziert die EU-Kommission ein Experiment u.a. zur Lügendetektion namens „iBorderControl“ mit 4,5 Millionen Euro [Link]. Es läuft bis August 2019 und wird an der ungarischen ungarischen, griechischen, lettischen und griechischen Grenze erprobt. Die Einreisewilligen bekommen während des Antragsprozesse für Visa etc. von computeranimierten Figuren von Grenzbeamt*innen per Bildschirm Fragen gestellt. Ihre „Mikrogesten“ werden per Kamera aufgezeichnet und daraufhin analysiert, ob sie lügen. Das Verfahren basiere auf „Pseudo-Wissenschaft“ lautet eine Kritik [Link].


Mit zweifelhaften Ergebnissen ist ein Test zur Kameraüberwachung am Berliner Bahnhof Südkreuz Mitte 2018 zu Ende gegangen. Für knapp ein Jahr wurden in einem Bereich des Bahnhofs, der als Testfeld für neue Technologien der Deutsche Bahn AG gilt, verschiedene Softwaresysteme erprobt, die Verdächtige per Gesichtserkennung herausfiltern sollten. Die Bahn arbeitete dafür mit der Bundespolizei und dem Bundeskriminalamt zusammen. Offiziell gelten die Ergebnisse als Erfolg, da durchschnittlich eine 80-prozentige Trefferquote erreicht worden sei. Zudem läge die falsch-positiven Erkennungsrate (FAR) bei unter einem Prozent. Der Chaos Computer Club (CCC) hält die Zahl von 80 Prozent Treffern für irreleitend, da diese nur für alle drei erprobten Systeme zusammen gelten würde. Die FAR von circa 0,7 Prozent würde am Bahnhof Südkreuz mit einem Fahrgastaufkommen von 90.000 Personen am Tag für 600 fälschliche Identifikationen von Verdächtigen sorgen. Weiter bemängelte der CCC, dass der Kreis der Testpersonen kaum repräsentativ gewesen sei hinsichtlich Alter, Geschlecht und Herkunft [Link]. So zeigt eine Studie aus den USA, dass einige dort eingesetzte Gesichtserkennungssysteme insbesondere Afro-Amerikanerinnen schlecht erkennen können [Link].

Angesichts dessen, dass es erste Einsätze von kamerabestückten Flugdrohnen („Quadrocopter“) bei Demonstrationen gibt, ist die Frage nach der Falscherkennungsrate von Erkennungssystemen aus bürgerrechtlicher Perspektive entscheidend. Beispielsweise wurden bei den Ermittlungen nach den Auseinandersetzungen um den G20-Gipfel 2017 in Hamburg seitens der Polizei große Mengen an Bildaufnahmen automatisiert nach Tatverdächtigen durchsucht.

Eine nächste Testphase der Kameraüberwachung am Bahnhof Südkreuz, in der ADM-Systeme auch Objekte wie Koffer und „ungewöhnliches Verhalten“ von Personen erkennen sollten, sagte die Bahn aus Kostengründen Anfang 2019 ab. Ein ähnlich gelagerter Test hat jedoch Ende 2018 in Mannheim begonnen. Das Fraunhofer Institut für Optronik, Systemtechnik und Bildauswertung liefert die Technologie für eine „algorithmenbasierte Videoüberwachung im öffentlichen Raum zur Bekämpfung von Straßenkriminalität“. Das System des auf fünf Jahre angelegten Vorhabens soll nach und nach in der Lage sein, beispielsweise Tritte oder Schläge erkennen zu können, um dann Polizeibeamte in Lagezentren auf einen möglichen Vorfall hinzuweisen. Insgesamt sollen 76 Kameras in der Innenstadt an das System angeschlossen werden [Link].

Hohe Fehlerquoten sind bei der automatisierten Fahndung nach KFZ-Kennzeichen über entsprechende Kamerasysteme offenbar die Regel. Solche Systeme sind in manchen Bundesländern fest installiert, zum Beispiel in Bayern, Hessen und Sachsen. In anderen Bundesländern werden sie nur punktuell oder (noch) nicht eingesetzt. Bei einem Pilotversuch der Landesregierung Baden-Württemberg wurde 2017 eine Fehlerquote von etwa 90 Prozent registriert. Ähnlich hoch sei die Fehlerrate in anderen Bundesländern, was damit zu tun habe, dass nicht die neuste Technologie zur Verfügung stünde. Das automatische Kennzeichenlesesystem in Baden-Württemberg ist 2011 angeschafft worden [Link].


In sechs Bundesländern finden derzeit Systeme der vorhersagenden Polizeiarbeit („predictive policing“) Anwendung. Neben Eigenentwicklungen der Behörden werden Systeme verschiedener privater Anbieter eingesetzt. Prinzipiell ist das Ziel der vorhersagenden Polizeiarbeit, anhand statistischer Auswertungen Gebiete zu identifizieren, in denen Wohnungs- oder Gewerbeeinbrüche sowie KFZ-Diebstähle verstärkt auftreten könnten. Die Kriminalitätsprognosen fußen auf Modellen wie der Near-repeat-These, die besagt, dass Einbrecher dazu tendieren, nahe des Orts einer erfolgreichen Tat erneut zuzuschlagen. Entsprechend kann dann die Einsatzplanung, etwa für Streifenfahrten, erfolgen. Unklar ist, ob diese rein ortsbezogenen Systeme tatsächlich positive Auswirkungen haben. Eine Begleitstudie des Freiburger Max-Planck-Instituts für ausländisches und internationales Strafrecht konnte im Zuge einer Testphase von 2015 bis 2017 in Stuttgart und Karlsruhe keine eindeutige Wirksamkeit der vorhersagenden Polizeiarbeit bei der Prävention oder Minderung von Kriminalität feststellen [Link]. Unter teilhaberelevanten Gesichtspunkten wäre beispielsweise zu untersuchen, ob die vorhersagende Polizeiarbeit Verstärkungseffekte erzeugt, die zu einer Stigmatisierung von Ortsteilen oder Gegenden führen könnten [Link].

Statt ortsbasiert arbeitet das System „Hessen-Data“ personenbezogen. Es setzt auf die „Gotham“-Software der US-Firma Palantir auf. Soweit bekannt, führt das System Daten aus sozialen Medien mit Einträgen in verschiedenen polizeilichen Datenbanken sowie Verbindungsdaten aus der Telefonüberwachung zusammen, um mögliche Straftäter zu ermitteln. Es wurde 2017 angeschafft und soll zur Identifizierung („Profiling“) von möglichen Terroristen dienen. Die hessische Landesregierung plant eine Ausweitung des Einsatzes auf die Bereiche Kindesentführung und -missbrauch. Die gesetzlich notwendige Grundlage für „Hessen-Data“ bietet das im vergangenen Jahr überarbeitete hessische Polizeigesetz. Derzeit versucht ein Untersuchungsausschuss des Hessischen Landtags Fragen zur Anschaffung des Systems sowie des Datenschutzes zu klären. Dem Vernehmen nach wird das System durch Mitarbeiter*innen des Betreiberunternehmens Palantir betreut, die dadurch möglicherweise Zugriff auf personenbezogene Daten haben [Link].


Spätestens seit den Enthüllungen durch den ehemaligen US-Geheimdienstmitarbeiter Edward Snowden 2013 ist belegt, dass Geheimdienste westlicher Länder in großem Umfang den weltweiten Internetverkehr verdachtsunabhängig kontrollieren. Dass deutsche Dienste dabei mitwirken, steht ebenfalls fest. Welche Softwaresysteme und Verfahren genau zum Einsatz kommen, ist wenig bekannt, denn die Möglichkeiten der parlamentarischen Kontrolle sind recht gering. Im Laufe dieses Jahres werden in diesem Zusammenhang bis zu acht Entscheidungen des Bundesverfassungsgerichts erwartet. So geht es etwa um die Ausweitung von Rechten des Bundesnachrichtendienstes, um die Vorratsdatenspeicherung und die Überwachung von Telekommunikation und Briefverkehr [Link].


Seit 2017 wird, angeregt durch die Vorarbeit einiger NGOs, in Gremien der Vereinten Nationen (UN) das weltweite Verbot von autonomen Waffensystemen debattiert. Gemeint sind damit beispielsweise Drohnen zu Luft, Wasser und Land, die ohne Rückkoppelung mit Menschen unter bestimmten Bedingungen autark den Einsatz tödlicher Gewalt ausführen. Soweit bekannt, sind solche komplett autonomen beziehungsweise autarken Waffensysteme bislang noch nicht im Einsatz. Allerdings sind Flugdrohnen seit gut einem Jahrzehnt mit Waffensystemen ausgestattet, die zumindest bestimmte Aufgaben eigenständig erledigen. Zu ihrem Arsenal gehören auch Systeme von Objekt- und Personenerkennung. Eine unabhängige Evaluation ihrer Fehlerquoten scheint es nicht zu geben. Auch die Luftwaffe und Marine der Bundeswehr setzen verschiedene Typen von Flugdrohnen ein. Davon ist mindestens ein Typ bewaffnungsfähig.


Dynamische Risiko-Analyse-Systeme

Die „Dynamischen Risiko-Analyse-Systeme“ (kurz: DyRiAS) sind Instrumente des deutschen Unternehmens Institut Psychologie & Bedrohungsmanagement (IPBm Projekt GmbH), die Risikoeinschätzungen über mögliche Gewalttaten von Personen in verschiedenen sozialen Kontexten (Schule, Intimpartner, Arbeitsplatz, Islamismus) anbieten. Laut Hersteller sind die Ergebnisse seiner Produkte psychologisch und empirisch fundiert. Grundannahme ist, dass Gewalttaten beobachtbare Eskalationsspiralen vorausgehen. Analysiert werden soll, „ob sich eine Person auf einem Entwicklungsweg befindet, der sie möglicherweise hin zu einem Angriff führt“. DyRiAS bieten eine Übersicht über die zeitliche Entwicklung des „Bedrohungsrisikos“ und legen gleichzeitig eine Falldokumentation an. Die Risikoeinschätzung basiert auf der statistischen Analyse von Fragebögen, die von Sachbearbeiter*innen (z. B. Polizist*innen) ausgefüllt werden.

DyRiAS-Systeme werden von Frauenschutzvereinen in Deutschland und Österreich verwendet. In der Schweiz wird DyRiAS in Kombination mit weiteren Risikomanagementsystemen für die präventive Polizeiarbeit, etwa zur Identifikation von „Gefährder*innen“ eingesetzt. Nach Recherchen des Schweizer Fernsehsenders SRF haben die Instrumente eine hohe Fehlerquote: Offenbar ist die Software so konfiguriert, dass sie zur Überschätzung des Risikos neigt [Link].

Nächstes Kapitel: Thema: Bildung, Aktienhandel, Stadt & Verkehr 

Vorheriges Kapitel: Das Internet


Das Internet

Im Netz haben sich neue Formen der Öffentlichkeit gebildet: Was Nutzer*innen zu sehen bekommen oder nicht, regeln nicht zuletzt Algorithmen.

Die Infrastruktur des Internets basiert auf zahllosen Maschinen und Kabeln, Softwaresystemen und automatisierten Prozessen. Versteht man Bereiche des Internets oder des darauf aufsetzenden World Wide Webs als Sphären von Öffentlichkeit, berühren sowohl der Zugang zum Netz als auch die Möglichkeit, sich dort frei informieren und ausdrücken zu können, die gesellschaftliche Teilhabe.


Für große Debatten in Deutschland sorgt gegenwärtig im Frühjahr 2019 die geplante EU-Urheberrechtsreform. Kritiker*innen befürchten, dass durch den Artikel 13 (später 17) der EU-Richtlinie zum Urheberrecht de facto die Einführung von sogenannten Upload-Filtern verbindlich wird: Betreiber von Internetangeboten, die es Nutzer*innen erlauben, Inhalte hochzuladen und zu veröffentlichen, wären gezwungen, diese automatisiert auf mögliche Urheberrechtsverletzungen zu untersuchen. Dabei, so die Kritik, würde es zwangsläufig zu Fehlentscheidungen kommen, die Zitationsrechte, Meinungs- und Kunstfreiheit einschränken könnten. So sorgten bereits in der Vergangenheit die Fehlentscheidungen des Filters, den YouTube für die Erkennung urheberrechtlich geschützter Musik und Filme beim Upload von Videodateien seit geraumer Zeit einsetzt, immer wieder für Ärger. Trotz beachtlicher Fortschritte im Bereich des Maschinellen Lernens sind Upload-Filter weit davon entfernt, den Kontext von Videos „verstehen“ zu können: Läuft Musik nur im Hintergrund auf einer öffentlichen Veranstaltung? Wird in einem Video ein kurzer Filmausschnitt aus einem Kinostreifen nur zu dokumentarischen Zwecken gezeigt? Wer sich bereits einmal mit Audioassistenten wie Alexa oder Siri „unterhalten“ hat, weiß, dass es noch lange dauern kann, bis solche Systeme Ironie und andere menschliche Zwischentöne wahrnehmen, geschweige denn richtig interpretieren können.

Ähnlich problematisch wie Upload-Filter sind alle Vorhaben und Regulierungen (siehe Kasten zum Netzwerkdurchsetzungsgesetz, kurz: NetzDG), die die automatisierte Moderation von sogenanntem Content zum Gegenstand haben. Eine voll automatisierte Filterung von Inhalten, zum Beispiel in sozialen Netzwerken, birgt die Gefahr, dass die Betreiber eher mehr als weniger automatisiert blockieren und entfernen („overblocking“), um möglichen Strafgebühren zu entgehen. Der Einsatz von ADM-Systemen ist in diesem Zusammenhang also kritisch zu sehen, weil die Meinungs- und Informationsfreiheit eingeschränkt werden könnte [Link]. Besonders betroffen sind hier junge Menschen, die sich als Urheber*innen von Inhalten in der traditionellen Medienöffentlichkeit noch nicht so gut Gehör verschaffen können wie etablierte Akteure, die es auf Grund ihrer beruflichen Stellung oder persönlicher Netzwerke hier leichter haben.


Der Fokus der Debatte über große Plattformen liegt derzeit auf Angeboten wie Facebook oder YouTube. Durch die von außen nur ansatzweise nachvollziehbare Steuerung der Inhalte, inzwischen oft „Kuratieren“ genannt, üben Plattformbetreiber einen großen Einfluss darauf aus, welche Inhalte Nutzer*innen zu sehen bekommen. Ziel der Plattformbetreiber ist es, Nutzer*innen dazu zu bewegen, sich möglichst lange auf der Plattform aufzuhalten, Inhalte zu kommentieren und weiterzuempfehlen. Auf diese Weise kann Nutzer*innen mehr Werbung angezeigt werden, mit der die Plattformbetreiber ihr Geld verdienen.

Kritiker*innen monieren schon länger, dass Dienste wie Facebook oder YouTube – anders als Verlage – für die auf ihren Seiten veröffentlichten und für Nutzer*innen individuell zugeschnittenen Inhalte rechtlich nur sehr begrenzt verantwortlich sind. Zunehmend setzt sich die Auffassung durch, dass es sich bei Plattformen um eine neue Kategorie von Dienstleistungen handelt, die weder mit dem traditionellen Verlagsmodell gleichzusetzen sind, noch auf die bloße Bereitstellung technischer Infrastruktur reduziert werden können. Demzufolge sind digitale Plattformen „Intermediäre“, das heißt Mittler, die zwischen den Erzeuger*innen der Inhalte auf der einen und den Leser*innen und Zuschauer*innen auf der anderen Seite stehen. Letztere – und das ist ein wesentliches Merkmal – können auch immer Erzeuger*innen sein. Dabei ist unstrittig, dass automatisierte (Vor-)Entscheidungssysteme eine herausragende Rolle dabei spielen, wie diese Erzeuger*innen am Diskurs teilhaben können. Bei der großen Zahl von Nutzer*innen, die Marktführer wie Facebook oder YouTube haben, muss man davon ausgehen, dass diese Dienste einen bedeutenden Teil der Medienöffentlichkeit darstellen. Somit wird ein signifikanter Teil der Öffentlichkeit durch ADM (mit-)gesteuert.

Regulierungen wie das NetzDG (siehe Kasten) oder die Entwürfe für die EU-Richtlinien zum Urheberrecht (siehe oben) und zur Verhinderung von terroristischen Online-Inhalten sorgen implizit dafür, dass automatisierte Systeme einen größeren Einfluss auf die Teilhabe von Menschen bekommen. Denn die Haftungsregeln, die sie vorschlagen, würden vielen Intermediären nur eine Wahl lassen: Entweder, sie verkleinern ihre Angebote radikal oder stellen sie ein oder sie setzen Filterprogramme ein, die eine automatisierte Vorentscheidung darüber treffen, welche Inhalte veröffentlicht werden und welche nicht.


Die Debatte über Auswirkungen von Filtern im Netz wird oft auf die Aspekte Desinformation durch Fake News, Filterblasen („Echokammern“) und sogenannte Hassreden verengt. Doch bereits die sehr detaillierte Messung von Zugriffszahlen bei journalistischen Online-Angeboten hat Auswirkungen auf die Inhalte und dürften großen Anteil an dem haben, was die Kommunikationswissenschaften als Boulevardisierung und „softening of news“ bezeichnen: Medien produzieren immer mehr Unterhaltungsinhalte zu Lasten von Information. Strategien wie “clickbaiting”, also Überschrift und Vorspann auf eine möglichst hohe Zahl von Aufrufen zu optimieren und dabei auch auf überzogenen Zuspitzungen und falsche Versprechungen zu setzen, sind durch automatisierte Analysesysteme überhaupt erst möglich geworden.

Wer das nur bei Angeboten wie Buzzfeed, Bento, Vice oder Huffington Post kritisch sieht, verkennt, dass auch alle traditionellen Medienunternehmen wie Spiegel, Zeit, SZ und FAZ für die Vermarktung ihrer Inhalte online viel Geld und Ressourcen in hochentwickelte Datenauswertung investieren, um ihre Werbeeinnahmen zu erhöhen. Noch sind hier Menschen in den Redaktionsprozess eingebunden. Doch prägt die datengetriebene und automatisierte Optimierung auf Klicks und Zugriffe (Suchmaschinenoptimierung, SEO) diese Angebote im Digitalen ebenfalls mit.



Im Herbst 2017 trat in Deutschland das „Gesetz zur Verbesserung der Rechtsdurchsetzung in sozialen Netzwerken“ (NetzDG) in Kraft. Es zielt darauf ab, der „Hasskriminalität“ („hate speech“) und „strafbaren Falschnachrichten“ („Fake News“) in sozialen Netzwerken begegnen zu können. Es sieht unter anderem vor, dass Betreiber von sozialen Netzwerken wie Facebook, Twitter und YouTube den Nutzer*innen ein einfaches Meldesystem bieten müssen. Offensichtlich strafbare Inhalte sind innerhalb von 24 Stunden nach Meldung zu löschen oder zu sperren. Bei Verstößen können Bußgelder in Millionenhöhe verhängt werden. Die Betreiber haben halbjährlich einen Bericht über Beschwerden und Lösch- oder Sperrmaßnahmen vorzulegen, wenn die Zahl der Beschwerden im Jahr 100 übersteigt [Link].

Die Einführung des NetzDG war umstritten. So wurde die Eile, mit der es vor der Bundestagswahl 2017 verabschiedet wurde und in Kraft trat, kritisiert. Auch wurde bemängelt, dass privaten Firmen der Umgang mit rechtswidrigen Inhalten überantwortet würde. Zudem wurden Befürchtungen geäußert, dass vorschnelles Löschen („overblocking“), um Bußgelder zu vermeiden, die Meinungsfreiheit beschränken könnte. Befürworter des NetzDG brachten an, dass diejenigen, die sich zuvor wegen gewalthaltiger und herabwürdigender Sprache („digitale Gewalt“) von sozialen Netzwerken ferngehalten hatten, nun teilhaben könnten.

  • Bericht über eingegangene Beschwerden und Löschungen bei Google/YouTube: [Link].
  • Bericht über eingegangene Beschwerden und Löschungen bei Facebook: [Link].
  • Bericht über eingegangene Beschwerden und Löschungen bei Twitter: [Link].

Nächstes Kapitel: Thema: Sicherheit & Überwachung 

Vorheriges Kapitel: Gesundheit & Medizin


Gesundheit & Medizin

ADM kommt in der Medizin als Instrument für Diagnosem und Therapie­entscheidungen zum Einsatz sowie bei der Zuordnung von Ressourcen im Gesundheitsmanagement.

Kliniken, Arztpraxen und Krankenkassen, aber auch private Endkund*innen nutzen ADM im medizinischen Kontext. Während Privatpersonen Apps mit ADM verwenden, die auch über den engeren medizinischen Anwendungsbereich hinausgehen und Zielen wie Fitness oder Selbstoptimierung dienen, ist ADM in der Klinik oder der Arztpraxis oftmals in komplexere Softwareumgebungen eingebunden, in die Verordnung von Medizinprodukten und in die Interaktion mit Diagnoseinstrumenten (zum Beispiel in der Radiologie).


Apps können medizinisches Fachpersonal bei der Diagnose von Krankheiten unterstützen. Besonders weit fortgeschritten sind Algorithmen, die Bilddaten wie Computertomografien, Magnetresonanztomografien oder andere medizinische Daten auswerten und so zum Beispiel in der Krebserkennung oder der Pränatalmedizin zur Diagnosestellung beitragen. Wissenschaftliche Studien zeigen, dass ADM-Systeme Auffälligkeiten im Bild verlässlicher detektieren und interpretieren können als das geschulte menschliche Auge [Link].

Weiter kommt ADM bei der Auswertung von genetischen Tests, in der Roboter-Chirurgie und bei der Suche und Auswertung von Forschungsliteratur-Datenbanken zum Einsatz [Link].

Andere ADM-gestützte Anwendungen richten sich an Patient*innen und zielen darauf ab, sie bei der Therapie ihrer Krankheiten zu unterstützen. Hierbei handelt es sich größtenteils um Smartphone-Apps, gegebenenfalls im Verbund mit Smart Watches, die besonders bei chronischen oder langfristigen Erkrankungen von Nutzen sein können. Manche dieser Apps haben eine simple Erinnerungsfunktion für die Einnahme von Medikamenten, komplexere Systeme überwachen dagegen engmaschig Messwerte, zum Beispiel die Blutzuckerwerte von Diabetiker*innen, um ihnen das Management ihrer Krankheit zu erleichtern.

Während ADM-gestützte Apps und Therapiehilfen einerseits Behandlungserfolge deutlich steigern und insbesondere chronisch kranken Menschen zu mehr Unabhängigkeit von ständiger ärztlicher Behandlung und Kontrolle verhelfen können, sind sie andererseits auch mit einer Reihe von Problemen und Risiken behaftet. Beim Einsatz von ADM-Systemen für die Diagnose und Therapieempfehlung erscheint problematisch, dass diese Systeme möglicherweise nicht immer nur auf das Wohl der Patient*innen ausgerichtet sind, sondern auch für die Steigerung des Profits derjenigen sorgen, die das ADM-System entwickeln oder vertreiben. Dies könnte durch Empfehlungen einer ADM-gestützten Anwendung für bestimmte Tests, Medikamente und Medizinprodukte geschehen. Folgen die Patient*innen diesen Empfehlungen, könnte das für sie mit zusätzlichen Kosten oder sogar mit unverhältnismäßigen Nebenwirkungen verbunden sein.

In Bezug auf Teilhabeaspekte ist der Einsatz von ADM in der Diagnose insofern problematisch, als dass Patient*innen, die in Bezug auf bestimmte biologische Merkmale eine Minderheit darstellen, systematisch benachteiligt werden könnten, weil die verwendete Datengrundlage für die betreffende Gruppe unzureichend ist oder zu Fehleinschätzungen führt. In einer Studie zur Bestimmung des Risikos von Herzerkrankungen tendierten beispielsweise algorithmenbasierte Diagnosen bei Patient*innen, die nicht der weißen Bevölkerungsmehrheit angehörten, sowohl zur Über- wie zur Unterschätzung von Risiken [Link].


ADM-Systeme können darüber hinaus auch genutzt werden, um eine effizientere Verteilung von Ressourcen im Gesundheitsbereich zu ermöglichen.

Bereits heute werden zum Beispiel bei der Entscheidung über die Zuteilung von Spenderorganen für eine Organtransplantation Patient*innen auf Basis bestimmter Parameter priorisiert, darunter Dringlichkeit und Erfolgsaussicht. Die Nutzung von ADM-basierten Vergabesystemen könnte jedoch bei Entscheidungen über Spenderorgane, ebenso wie bei Entscheidungen über andere medizinische Interventionen, zu selbsterfüllenden Prophezeiungen führen und dadurch bestimmte Gruppen von Patient*innen systematisch benachteiligen. Wenn etwa Patient*innen mit Hirnschäden oder Frühgeborene von bestimmten Behandlungen praktisch ausgeschlossen würden, weil mutmaßlich nur geringe Erfolgsaussichten bestünden, dann würde auch ein ADM-System diese bereits bestehende Praxis abbilden. Auf diese Weise könnten sich Entscheidungskriterien verfestigen, auch wenn diese auf Mutmaßungen beruhen und durch keine solide Datenbasis legitimiert sind.

Ein weiteres potentielles Einsatzfeld von ADM im Gesundheitswesen liegt im Bereich der privaten Krankenversicherungen. Hier könnte ADM helfen, das individuelle Risiko für bestimmte Erkrankungen zu berechnen, was wiederum zur Anpassung von Versicherungsverträgen verwendet werden könnte. Versicherte könnten auf diese Weise in stärkerem Maße als bisher in Risikogruppen unterteilt werden, die unterschiedliche Beiträge in die Versicherung einzahlen müssten. Dies könnte im Hinblick auf soziale Fairness und Teilhabe relevant sein und zu einer Verschärfung bestehender Ungleichheiten führen. Gesundheits- und Lifestyle-Apps auf Smartphones, oft im Zusammenspiel mit Fitness-Armbändern und Smart Watches spielen in diesem Kontext (“quantified self”) eine wichtige Rolle. Es gibt offenbar Überlegungen von privaten Krankenkassen in Deutschland, die Nutzung solcher Apps zur Voraussetzung für günstigere Versicherungstarife zu machen. Dies allein könnte zur Benachteiligung von Versicherten führen, die die betreffenden Apps nicht nutzen können oder die davon in Bezug auf ihren Versicherungstarif keine Vorteile hätten. Darüber hinaus kann auch die Art und Weise, in der die mittels App erhobenen Daten für die Anpassung der Tarife ausgewertet werden, zu Diskriminierungen führen.


Regulierung Von Digitalen Medizinprodukten

ADM-gestützte Softwaresysteme, die im klinischen oder ambulanten Bereich zum Einsatz kommen, müssen als Medizinprodukte registriert werden. Die Zulassung und Qualitätskontrolle von Medizinprodukten wird nach Maßgabe der europaweit geltenden Medizinprodukteverordnung durch das Bundesinstitut für Arzneimittel und Medizinprodukte geregelt.

Gesundheits-Apps, die sich an Endverbraucher*innen richten, sind derzeit überwiegend nicht als Medizinprodukte registriert und unterliegen somit keiner Qualitätskontrolle. Mit der 2020 in Kraft tretenden Neufassung der EU-Medizinprodukteverordnung werden allerdings sowohl die Registrierungspflichten für Apps ausgeweitet als auch Apps, die einen deutlichen diagnostischen oder therapeutischen Ansatz verfolgen, in eine höhere Risikoklasse eingestuft. Ob die Änderungen der Neufassung ausreichend sind, um Probleme und Risiken solcher Apps zu beseitigen, ist allerdings umstritten.

Nächstes Kapitel: Thema: Das Internet

Vorheriges Kapitel: Thema: Arbeit



Auf dem Arbeitsmarkt ist das Diskriminierungspotenzial besonders hoch. Wenn ADM-Systeme Einzug in die behördliche Verwaltung von Arbeit und Arbeitslosigkeit halten, ist deshalb besondere Wachsamkeit geboten. Das gleiche gilt für Bewerbungsprozesse, das innerbetriebliche Personalmanagement und die Leistungskontrolle.


Algorithmengestützte Auswahlverfahren, zum Beispiel das sogenannte Robo-Recruiting [Link], durchsuchen Bewerbungsprofile nach bestimmten Qualifikationen und Schlagworten. Bei einer großen Anzahl von Bewerber*innen auf eine Stelle kann auf diese Weise eine Vorauswahl getroffen werden. In der Regel sind jedoch im fortgeschritteneren Stadium des Bewerbungsprozesses Menschen involviert. Neben der Kostenersparnis können Vorteile einer Automatisierung darin bestehen, dass der Auswahlprozess entlang klarer Kriterien verläuft und für die Stellenbesetzung irrelevante Sympathien oder Abneigungen des Personalmanagers oder der Personalmanagerin außen vorbleiben.

Ein weiterführender Schritt besteht darin, über die Auswahl nach vorab bestimmten Kriterien hinaus Bewerbungs-Algorithmen selbstständig die Qualifikation von Kandidat*innen einschätzen zu lassen, etwa mithilfe von Verfahren des Maschinellen Lernens. Der Handels- und Tech-Konzern Amazon hatte 2014 begonnen, eine entsprechende Software zu entwickeln, doch das Tool wurde nie eingesetzt und das Vorhaben Anfang 2017 eingestellt. Die Daten, mit denen der Algorithmus trainiert worden war, basierten auf den letzten zehn Jahren der Amazon-Einstellungspraxis. Es waren hauptsächlich Männer im technologischen Bereich rekrutiert worden. Die Software schloss daraus, dass Männer bei der Stellenvergabe zu bevorzugen wären. Darüber hinaus reproduzierte der Algorithmus weitere diskriminierende Auswahlkriterien [Link].

Andere Verfahren zur Einschätzung von Bewerber*innen setzen auf die Bewertung der Persönlichkeit auf der Basis von psychometrischen Merkmalen wie die Stimme [Link]. Das IBM-Produkt „Watson Personality Insights“ wertet zur Analyse von Persönlichkeitsmerkmalen persönliche Kommunikation in Social Media oder anderen digitalen Formaten aus.

Abgesehen von Fragen nach der funktionalen Tauglichkeit der eingesetzten Verfahren stellt sich das Problem, dass Bewerber*innen in den seltensten Fällen mitgeteilt wird, dass sie automatisiert bewertet werden. Faktisch können individuelle Bewerber*innen nur unter Berufung auf das „Antidiskriminierungsgesetz“ (AGG) gegen die Ablehnung einer Bewerbung vorgehen. Inwieweit Kennzeichnungs- und Zertifizierungspflichten den Einsatz von ADM-Systemen bei Bewerbungsverfahren regulieren könnten, wäre zu diskutieren.


Vor allem größere Unternehmen setzen Software für das Personalmanagement ein, etwa in der Lohnbuchhaltung, bei der Urlaubsplanung oder der Registrierung des Krankheitsstands. Darüber hinaus bieten externe Dienstleister Softwareprodukte an, mit deren Hilfe sich Mitarbeiter*innen identifizieren lassen, bei denen ein besonders hohes Risiko besteht, dass sie sich anderweitig bewerben könnten, und die gleichzeitig eine besondere Relevanz für das Unternehmen haben („talent retention“). Andere Anwendungen fokussieren auf die Leistungskontrolle von Arbeitnehmer*innen auf Basis verschiedenster Datenpunkte, die im Zuge alltäglicher Abläufe innerhalb des Unternehmens generiert werden. Weitere Produkte bieten Verfahren für kontinuierlich durchgeführte Befragungen der Beschäftigten an, um Dynamiken in Teams und die Arbeitszufriedenheit der einzelnen Mitarbeiter*innen auszuwerten.

Auch Betreiber von digitalen Plattformen wie Uber (Taxidienst), Foodora (Essenslieferdienst) oder Helpling (Vermittlung von Reinigungskräften) nutzen Software, um bei der Vermittlung von Aufträgen an selbstständige Mitarbeiter*innen das mittlere Management, den Kundenservice und die Buchhaltung zu ersetzen. Schichtplanung, Auftragszuteilung und Leistungskontrolle werden automatisiert per Smartphone-App abgewickelt. Welche rechtliche Handhabe gegen den Einsatz von ADM-Systemen insbesondere für Solo-Selbstständige in der sogenannten Gig-Economy, die im Auftrag von digitalen Plattformen ihre Dienste anbieten, existiert oder geschaffen werden könnte, müsste weiter untersucht werden.

AlgorithmWatch befasst sich seit Anfang 2018 in einem zweijährigen Forschungsvorhaben mit automatisiertem Personalmanagement und betrieblicher Mitbestimmung [Link]. Neben der Frage, wie ausgeprägt ADM-Systeme in Deutschland bereits im Einsatz sind, wird untersucht, inwieweit die Systeme für Arbeitnehmer*innen zu mehr oder weniger Fairness führen, wer in den Unternehmen auf die gesammelten Daten zugreifen kann und inwiefern Aspekte der betrieblichen Mitbestimmung tangiert werden.


In Einrichtungen der Bundesagentur für Arbeit und in Jobcentern kommen zahlreiche Softwaresysteme zum Einsatz. Da der Betrieb von Jobcentern zum Teil alleine bei den Kommunen liegt („Optionskommunen“), ist ein Überblick schwer zu erlangen. Hinsichtlich der Arbeitsagentur wurde in der Antwort auf eine kleine Anfrage der Bundestagsfraktion Die Linke im Herbst 2018 deutlich, dass einige Verfahren, die ADM-Komponenten enthalten könnten, bereits im Einsatz oder geplant sind [Link]. Dazu zählen:

  • PP-Tools: Dieses Verfahren dient als Grundlage für die „Berechnungshilfe Arbeitsmarkt Chancen“, die von einem größeren Personenkreis (mindestens 12.500) verwendet wird, um „die Arbeitsmarktchancen des Kunden“ zu berechnen. Auf welche Weise dies geschieht, war bislang nicht in Erfahrung zu bringen. Welche Probleme solch eine softwaregestützte Beurteilung der Arbeitsmarktchancen haben könnte, zeigt das Beispiel des österreichischen Arbeitsmarkservice (siehe Kasten).
  • DELTA-NT: Diese Anwendung wird vom berufspsychologischen Service der Arbeitsagentur eingesetzt. Es handelt sich um eine computergestützte psychologische Begutachtung im Rahmen der beruflichen Orientierung („psychologische Eignungsdiagnostik“). Dieses Verfahren wird auch als „Computer-Assistiertes Testen“ bezeichnet und hat seinen Ursprung bei der Bundeswehr [Link].
  • VERBIS: Das zentrale Informationssystem für Vermittlung und Beratung der Arbeitsagentur, mit dem zahlreiche andere Systeme und Verfahren verknüpft sind. Es enthält zum Beispiel Funktionen, die bei der Arbeitsagentur hinterlegte Profile Arbeitssuchender mit Stellenausschreibungen und Fortbildungsmaßnahmen abgleicht.
  • 3A1: „Automatisierte Antragsbearbeitung Arbeitslosengeld“. Das Vorhaben wird seit Anfang dieses Jahres entwickelt und soll in einer ersten Stufe bis Mitte 2020 zur „Bearbeitungsreife“ gebracht werden. Laut Bundesregierung sind zuvor in einem Prototypen die notwendigen Prozesse und Datenflüsse für „automatisierte Entscheidungsvorbereitungen“ erprobt worden. Dabei habe es sich aber um „gebundene Entscheidungen“ gehandelt. Eine Automatisierung von Ermessensentscheidungen sei nicht Teil des Projekts gewesen.

Es bleiben Fragen offen: Welche Softwaresysteme bereiten direkt oder indirekt „Ermessensentscheidungen“ vor? Wie werden Softwareverfahren überprüft und auf mögliche Diskriminierungseffekte untersucht? Pro Jahr landen zehntausende Entscheidungen der Jobcenter vor Gerichten. Welche Rolle spielt die Software der Jobcenter bei der Erstellung dieser umstrittenen Entscheide?

Softwaregestützte Beurteilung der Arbeitsmarktchancen von Arbeitslosen beim österreichischen Arbeitsmarktservice

In Österreich sorgte Ende 2018 eine Ankündigung des Arbeitsmarktservice (AMS) – vergleichbar mit der Arbeitsagentur in Deutschland – für Aufsehen. Eine Softwareerweiterung soll anhand eines statistischen Modells ab 2019 die Chancen zur Vermittlung in einen Arbeitsplatz automatisch bewerten. Die Einordnung in eine der drei Kategorien „hoch, mittel und niedrig“ wird laut Presseberichten zunächst noch keine Konsequenzen nach sich ziehen, aber möglicherweise ab 2020 Auswirkungen auf die Vergabe oder das Versagen von Fördermitteln haben [Link]. Kritik entzündet sich daran, dass die Gewichtung der verschiedenen Faktoren allein auf Auswertungen des bisherigen Arbeitsmarkts beruht, existierende Diskriminierungen also im System abgebildet werden. So werden die Vermittlungschancen bestimmter Personengruppen (Frauen, ältere Menschen, Nicht-Staatsbürger) generell schlechter eingeschätzt [Link]. Österreichische Forscher bezeichneten den Ansatz der vom Arbeitsmarktservice beauftragten Lösung als „Paradebeispiel für Diskriminierung“ [Link].

Nächstes Kapitel: Thema: Gesundheit & Medizin

Vorheriges Kapitel: Regulierung



Vor allem das Allgemeine Gleichbehandlungsgesetz (AGG) und Vorschriften zum automatisierten Verwaltungshandeln regeln in Deutschland übergreifend den Umgang mit ADM.


In Deutschland gilt der Gleichbehandlungsgrundsatz, abgeleitet aus Artikel 3 des Grundgesetzes: „Alle Menschen sind vor dem Gesetz gleich.“ 2006 wurde das AGG erlassen, auch bekannt als „Antidiskriminierungsgesetz“.

Unter Gleichbehandlung versteht das AGG das Verhindern und die Beseitigung von „Benachteiligungen aus Gründen der Rasse oder wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität“. Sein Geltungsbereich deckt eine große Bandbreite von gesellschaftlichen Aspekten ab, beispielsweise den Zugang zum Beruf, zu Dienstleistungen, Gütern oder einer Wohnung, bei denen Gleichbehandlung zwingend vorgeschrieben ist. Damit liefert der Gesetzgeber indirekt eine Definition des staatlichen Verständnisses von Teilhabe. Die Anforderungen des AGG spielen auch für ADM-Systeme eine Rolle.


Paragraphen innerhalb des Verwaltungsverfahrensgesetzes (VwVfG) und des Sozialgesetzbuchs (SGB) regeln den Einsatz von automatisierten Verwaltungsverfahren in Deutschland.

Der Einsatz von automatisierten Verfahren in Behörden bedarf der Rechtsvorschrift, die einer Behörde den Einsatz von automatisierten Verfahren gestattet. Behörden, die vollautomatisierte Verfahren einrichten, müssen zudem Richtlinien erarbeiten, um die Einhaltung des Gleichbehandlungsgrundsatzes zu gewährleisten. Ein automatisiertes Verfahren muss erkennen können, wenn die Situation einer Antragstellerin oder eines Antragstellers von den im Programm vorgesehenen Szenarien abweicht und der Fall einer Einzelprüfung unterzogen werden muss. Auch muss die Möglichkeit für Bürger*innen bestehen, einen eigenen Standpunkt darzulegen, zum Beispiel, wenn sie in der Steuererklärung besondere Umstände gelten machen wollen.

Bei behördlich genutzten vollautomatisierten Systemen müssen ferner die Entscheidungskriterien, die von Algorithmen verwendet werden, nachvollziehbar sein. Grundprinzipien und Entscheidungsgrundlagen von behördlich eingesetzten ADM-Systemen, die mehr als nur unterstützend eingesetzt werden, unterliegen darüber hinaus der Veröffentlichungspflicht.

Risikomanagementverfahren, bei denen Vorgänge zur näheren Überprüfung weitergeleitet werden, dürfen nicht unbegründet diskriminierend sein.



Die wichtigste neue Regulierung, die in letzter Zeit in der EU und in Deutschland in Kraft getreten ist, ist die Datenschutzgrundverordnung (DVGSO). Die Umsetzung dieser EU-weiten Verordnung zum Datenschutz findet sich unter anderem auch in der oben beschriebenen Automatisierung von Verwaltungshandeln wieder. Prinzipiell schreibt die DVGSO zum Thema ADM vor, dass Personen das Recht haben, gegen ADM Einspruch zu erheben, wenn drei Kriterien erfüllt sind:

  • Die beanstandete Entscheidung ist vollautomatisch erfolgt.
  • Für die Entscheidung sind persönliche Daten verwendet worden.
  • Der betreffenden Person entstehen weitreichende rechtliche oder ähnlich geartete Konsequenzen.

Ob die DSGVO ausreichend ist, um Personen einen adäquaten Schutz vor Benachteiligung oder Diskriminierung durch ADM zu bieten, ist umstritten. Eine mögliche Regelungslücke: Auskunfteien wie die SCHUFA, welche die Kreditwürdigkeit von Personen beurteilen, müssen ihr Verfahren den Betroffenen nicht erläutern, obwohl ein derartiges Scoring laut DSGVO und Bundesdatenschutzgesetz (BDSG) eigentlich darzulegen wäre (DSGVO Art. 22, BDSG §31). Diese Regelung würde jedoch nur dann greifen, wenn die Auskunfteien auch die Entscheidungen über eine Kreditvergabe oder ähnliches treffen würden. Dies tun jedoch die Kreditinstitute. Diese wiederum entgehen der Offenlegung ihrer Entscheidungen, da sie den Score nicht berechnet haben.

Arbeitsrechtliche Kriterien auf EU Ebene

Parallel zur Entwicklung in Deutschland hat sich auch auf EU-Ebene eine Rechtsordnung zum Gleichstellungsgrundsatz im Arbeitsbereich ergeben. Verschiedene Direktiven und Gerichtsurteile, besonders zum Artikel 157 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV), schaffen die Basis dafür, dass Angestellte Rechte in Bezug auf Entscheidungen wahrnehmen können, die voll- oder teilautomatisiert stattfinden. Diese Rechte umfassen die gleichen Prinzipien wie der Gleichstellungsgrundsatz, also das Verbot der Diskriminierung basierend auf Kriterien wie Geschlecht, ethnische Zugehörigkeit und Abstammung.

Zudem enthält die Europäische Charta der Grundrechte den Artikel 21 zur Nichtdiskriminierung. Der Artikel ist so formuliert, dass die dort aufgelisteten Kriterien nicht exklusiv sind. Dies könnte insbesondere in Bezug auf die Anwendung des Artikels 21 auf die mit ADM verbundenen Schutzziele zukünftig von Bedeutung sein.


Deutschland ist sowohl als eigenständiger Staat als auch als EU-Mitglied Unterzeichner von verschiedenen Menschenrechtskonventionen. Da ADM auch Menschenrechte berührt, beispielsweise das Recht auf Freiheit und Sicherheit, die Gleichheit vor dem Gesetz, freie Ausübung von Religion etc., muss der Einfluss von ADM auf zukünftige – neue oder angepasste – Gesetze und Regularien beachtet werden [Link].


Auf die sektorenspezifischen Regulierungen des Hochfrequenzhandels mit Aktien sowie des Autonome Fahren wird im Kapitel „Bildung, Aktienhandel, Stadt & Verkehr“ eingegangen. Die Regulierung von Medizinprodukten und Gesundheitstechnologien ist Gegenstand des Kapitels „Gesundheit & Medizin“.



Im Endkundengeschäft kommt ADM vor allem im Internethandel zum Einsatz. Grundsätzlich stehen Verbraucher*innen in den meisten Fällen Alternativen zur Verfügung, wenn sie nicht online bestellen oder buchen wollen. Allerdings könnten sich diese Möglichkeiten in Zukunft zunehmend reduzieren. Im Onlinehandel, aber nicht nur dort, kann ADM eingesetzt werden, um durch individualisierte Preisgestaltung („dynamic pricing“) oder durch Scoringverfahren Kundensegmentierungen vorzunehmen, die dazu führen können, dass bestimmte Kundengruppen bevorzugt behandelt oder umgekehrt benachteiligt werden. Beide Praktiken sind grundsätzlich legal und legitim. Dennoch kann dies dazu führen, dass systematisch bestimmte Konsumentengruppen benachteiligt oder gar ausgeschlossen werden.

Ein bekanntes Beispiel für individualisierte Preisgestaltung ist der Taxidienst Uber, dessen Tarife von der momentanen Nachfrage und der Tageszeit abhängen. In anderen Anwendungsfällen verändert sich der Angebotspreis je nachdem, von welchem Endgerät aus die Anfrage durch Kund*innen erfolgt. Versicherungen gewähren Preisnachlässe im Rahmen von telematikbasierten Autoversicherungen. Hier entscheidet der via Telematik ermittelte Fahrstil über die Höhe des Tarifs. Im Kundenbeziehungsmanagement wird ADM verwendet, um den sogenannten Customer Lifetime Value zu errechnen: Wie profitabel sind Kund*innen, wen sollte man bevorzugt behandeln und wen kann man gegebenenfalls ans Ende der Telefonwarteschlange stellen?

Während die individualisierte Preisgestaltung in Deutschland noch nicht weit verbreitet ist, finden Scoringverfahren im Konsumentenbereich schon seit längerem breite Anwendung. Unter Scoring versteht man die Kategorisierung von Personen anhand ausgewählter Kriterien. Die Kombination bestimmter Werte dieser Kriterien ergibt einen Punktwert („score“), der zum Beispiel Einfluss darauf nehmen kann, welcher Preis angezeigt wird oder ob eine Bank einen Kredit bewilligt. Das bekannteste Beispiel für ein Scoringverfahren ist die Bonitätsprüfung durch die Schufa (siehe Kasten OpenSCHUFA unten).

Scoringverfahren helfen Unternehmen zu entscheiden, mit welchen Personen sie in Kundenbeziehung treten wollen. Prinzipiell gilt das Entscheidungsprivileg der Vertragsfreiheit; in einigen essentiellen Bereichen wie dem Miet- und Arbeitsrecht jedoch nur eingeschränkt, weil hier der Grundsatz der Gleichbehandlung tangiert wird. Ob auch in anderen Bereichen eine durch die Vertragsfreiheit legitimierte Ablehnung beziehungsweise Besser- oder Schlechterstellung von Kund*innen durch Scoringverfahren oder individualisierte Preisgestaltung dem Grundsatz der Gleichbehandlung zuwiderläuft, ist Gegenstand von Diskussionen [Link].

Nach geltender Rechtslage haben Verbraucher*innen formal einen Anspruch darauf, darüber informiert zu werden, wenn sie als Kund*innen Gegenstand eines Scorings werden. Dieser Rechtsanspruch wird jedoch nach Ansicht von Expert*innen wie etwa des Sachverständigenrats für Verbraucherfragen durch das Gesetz nur unzureichend konkretisiert. Auch die vorhandenen Möglichkeiten der Rechtsdurchsetzung, die Privatpersonen zur Verfügung stehen, werden als unzureichend kritisiert [Link].



Im Frühjahr 2018 startete die Open Knowledge Foundation Deutschland zusammen mit AlgorithmWatch das Projekt OpenSCHUFA. Ziel war, die Scoringverfahren von Deutschlands bekanntester Auskunftei, der SCHUFA, die Daten über gut siebzig Millionen Einwohner*innen besitzt, auf mögliche Diskriminierung zu untersuchen. Das Unternehmen liefert beispielsweise Auskünfte an Banken, die eine Verweigerung von Krediten zur Folge haben können.

Nach einem erfolgreichen Crowdfunding für OpenSCHUFA spendeten über dreitausend Personen ihre Schufa-Auskünfte über das eigens dafür entwickelte Spendenportal. Im Herbst 2018 veröffentlichten Spiegel Online und der Bayerische Rundfunk zusammen eine Auswertung der gespendeten Daten. Die Redaktionen machten deutlich, dass die ihnen vorliegenden Daten keineswegs als repräsentativ gelten können. Dennoch konnten sie diverse Auffälligkeiten darin feststellen. Etwa stach hervor, dass zahlreiche Personen von der SCHUFA verhältnismäßig negativ eingestuft werden, obwohl die Auskunftei keine negativen Informationen, beispielsweise Zahlungsausfälle, über sie vorliegen hat. Auch scheint es bemerkenswerte Differenzen zwischen verschiedenen Versionen des SCHUFA-Scores zu geben [Link].

Nächstes Kapitel: Thema: Arbeit 

Vorheriges Kapitel: Akteure



In den Diskurs über teilhaberelevante ADM fließen in Deutschland die Interessen vieler verschiedener Akteure aus Wirtschaft, Wissenschaft, Politik und Zivilgesellschaft ein. Die Online-Datenbank des „Atlas der Automatisierung“ stellt 30 von ihnen vor.

Es ist schwierig, die für Deutschland einschlägigen Akteure im Zusammenhang mit für Teilhabe relevanten Aspekten von automatisierter Entscheidungsfindung klar einzugrenzen. Ein Grund dafür ist, dass ein Großteil der Debatte über ADM unter dem umfassenderen Begriff der KI geführt wird. Insbesondere in den USA findet die „Ethik der Künstlichen Intelligenz“ („ethics of artificial intelligence“), die deutlich mehr umfasst als ADM, große Beachtung. Wortführer der Debatte sind nicht zuletzt die großen Technologieunternehmen, aber auch wissenschaftliche Einrichtungen und gemeinnützige Organisationen, die oftmals von Stiftungen mit hohen Summen an Fördergeldern ausgestattet werden. In dieser Gemengelage sind die strategischen Interessen, von denen sich die einzelnen Akteure leiten lassen, nicht immer leicht zu identifizieren. Eine 2018 veröffentliche Studie des Reuters Institute for the Study of Journalism an der britischen Universität Oxford [Link] sollte aufhorchen lassen: Die Autor*innen stellen fest, dass die Berichterstattung über KI im Wesentlichen durch die Industrie geprägt ist, deren Angaben kaum kritisch hinterfragt werden. Zwar wurde nur die britische Medienlandschaft untersucht, doch gibt es wenig Grund zu der Annahme, dass die Situation in Deutschland strukturell anders wäre. 


Industrieverbände wie der Bundesverband Informationswirtschaft, Telekommunikation und neue Medien e. V. (Bitkom) oder der Bundesverband Digitale Wirtschaft e. V. (BVDW), aber auch Unternehmen wie die Deutsche Telekom AG, Google und Facebook beziehen im Bereich Automatisierung und Teilhabe Positionen und betreiben Lobbyismus – oft unter dem Schlagwort „Künstliche Intelligenz“. Weitere Akteure sind die TÜVs (beim Thema Zertifizierung) und die Initiative D21 e. V. Diese Initiative ist ein gemeinnütziges Netzwerk, das sich mit ethischen Fragen rund um Automatisierung befasst. Mitglieder sind vor allem Unternehmen, die im Bereich der Digitalwirtschaft tätig sind.


Zahlreiche Organisationen sind an der Schnittstelle zwischen Politik und Industrie angesiedelt und werden oftmals auch von beiden Seiten finanziert. Darunter fallen die von der Deutschen Akademie für Technikwissenschaften acatech betriebenen und von den Bundesministerien für Bildung und Forschung sowie Wirtschaft und Energie geförderten Plattformen „Lernende Systeme“ (zum Thema KI-Anwendungen) und „Industrie 4.0“ (zum Thema intelligente Vernetzung und Automatisierung in der Industrie). Auch einige Fraunhofer Institute, die staatlich finanziert sind, leisten Auftragsforschung für die Industrie (zu Themen wie Gesundheit und Kameraüberwachung).


In der Ende 2018 veröffentlichten „KI-Strategie der Bundesregierung“ finden sich viele Passagen, die das Thema teilhaberelevanter ADM mehr oder weniger direkt tangieren. Entsprechend können das Bundesministerium für Arbeit und Soziales („Arbeit 4.0“), das Bundesministerium für Wirtschaft und Energie, aber auch das Bundesinnenministerium sowie das Bundesministerium der Justiz und für Verbraucherschutz, die alle der KI-Strategie verpflichtet sind, als Akteure auf dem Feld teilhaberelevanter ADM begriffen werden. An politischen Gremien sind der Sachverständigenrat für Verbraucherfragen (mit dem Leitthema „Verbraucher in der digitalen Welt“) zu nennen, die Datenethikkommission der Bundesregierung, der Deutsche Ethikrat (der sich in der Vergangenheit auch zu Fragen des autonomen Fahrens geäußert hat), sowie die Enquete-Kommission „Künstliche Intelligenz – Gesellschaftliche Verantwortung und wirtschaftliche, soziale und ökologische Potenziale“. Schließlich sind die politischen Parteien nicht zu vergessen, die in unterschiedlicher Intensität durch ihre digitalpolitischen Agenden, parlamentarischen Initiativen, aber auch durch ihre parteinahen Stiftungen am Diskurs über ADM und Teilhabe mitwirken.


Die ganze Bandbreite der Aspekte von ADM und Teilhabe findet ihre Entsprechung in zahlreichen Forschungseinrichtungen und -projekten, die von Hochschulen, Wissenschaftsorganisationen und Stiftungen betrieben werden.

Das erst 2017 gegründete Weizenbaum Institut für die vernetze Gesellschaft in Berlin dürfte sich mit seiner interdisziplinäre Ausrichtung auch im Themengebiet ADM und Teilhabe profilieren. Beispielhaft genannt werden sollen außerdem das kommunikationswissenschaftliche Hans-Bredow-Institut in Hamburg mit seiner Arbeit zu Plattformen (Intermediären) und die gewerkschaftsnahe Hans-Böckler-Stiftung, die einen Forschungsverbund „Digitalisierung, Mitbestimmung, Gute Arbeit“ betreibt, an dem auch AlgorithmWatch beteiligt ist.


Als Schwergewicht kann im zivilgesellschaftlichen Bereich die Bertelsmann Stiftung gelten: Sie hat 2017 das Projekt „Ethik der Algorithmen“ gestartet. In diesem Projekt werden eigenständig Themen bearbeitet, aber auch Dritte mit Studien und Aufsätzen zu rechtlichen Fragen oder Schwerpunkthemen beauftragt. AlgorithmWatch, die Organisation hinter diesem Altas, erhält durch das Projekt der Bertelsmann Stiftung eine Strukturförderung, ist aber in seiner Arbeit unabhängig. Neben der Bertelsmann Stiftung befassen sich NGOs und andere Organisationen aus dem digitalpolitischen Sektor wie die Gesellschaft für Informatik oder der Bundesverband der Verbraucherzentralen mit teilhaberelevanter ADM.

Unter den Gewerkschaften ist vor allem die Vereinte Dienstleistungsgewerkschaft ver.di zu nennen, die sich mit der Digitalisierung und Automatisierung der Arbeitswelt und insofern auch mit teilhaberelevanter ADM befasst.



Im Frühjahr 2019 präsentierten das „iRights Lab“ und das Projekt der Bertelsmann Stiftung „Ethik der Algorithmen“ eine Aufstellung von Kriterien, die beachtet werden müssen, um eine gesellschaftlich förderliche Gestaltung und Überprüfung von algorithmischen Systemen zu ermöglichen und zu erleichtern. Die unter dem Titel „Algo.Rules“ [Link] veröffentlichten Kriterien verstehen sich als Grundlage für ethische Erwägungen und für die Um- und Durchsetzung rechtlicher Rahmenbedingungen. Sie sollen weiterentwickelt werden. Die Mitarbeit von Interessierten ist dabei erwünscht.

Die programmatischen Überschriften, unter denen Algo.Rules die Kriterien gruppiert, lauten: 1. Kompetenz aufbauen, 2. Verantwortung definieren, 3. Ziele und erwartete Wirkung dokumentieren, 4. Sicherheit gewährleisten, 5. Kennzeichung durchführen, 6. Nachvollziehbarkeit sicherstellen, 7. Beherrschbarkeit absichern, 8. Wirkung überprüfen, 9. Beschwerden ermöglichen

Nächstes Kapitel: Regulierung 

Vorheriges Kapitel: Arbeitsweise