Atlas der Automatisierung

Automatisierte Entscheidungen
und Teilhabe in Deutschland

       

Regulierung

Vor allem das Allgemeine Gleichbehandlungsgesetz (AGG) und Vorschriften zum automatisierten Verwaltungshandeln regeln in Deutschland übergreifend den Umgang mit ADM.

GLEICHBEHANDLUNG

In Deutschland gilt der Gleichbehandlungsgrundsatz, abgeleitet aus Artikel 3 des Grundgesetzes: „Alle Menschen sind vor dem Gesetz gleich.“ 2006 wurde das AGG erlassen, auch bekannt als „Antidiskriminierungsgesetz“.

Unter Gleichbehandlung versteht das AGG das Verhindern und die Beseitigung von „Benachteiligungen aus Gründen der Rasse oder wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität“. Sein Geltungsbereich deckt eine große Bandbreite von gesellschaftlichen Aspekten ab, beispielsweise den Zugang zum Beruf, zu Dienstleistungen, Gütern oder einer Wohnung, bei denen Gleichbehandlung zwingend vorgeschrieben ist. Damit liefert der Gesetzgeber indirekt eine Definition des staatlichen Verständnisses von Teilhabe. Die Anforderungen des AGG spielen auch für ADM-Systeme eine Rolle.

VOLLAUTOMATISIERUNG VON BEHÖRDLICHEN ENTSCHEIDUNGSVERFAHREN

Paragraphen innerhalb des Verwaltungsverfahrensgesetzes (VwVfG) und des Sozialgesetzbuchs (SGB) regeln den Einsatz von automatisierten Verwaltungsverfahren in Deutschland.

Der Einsatz von automatisierten Verfahren in Behörden bedarf der Rechtsvorschrift, die einer Behörde den Einsatz von automatisierten Verfahren gestattet. Behörden, die vollautomatisierte Verfahren einrichten, müssen zudem Richtlinien erarbeiten, um die Einhaltung des Gleichbehandlungsgrundsatzes zu gewährleisten. Ein automatisiertes Verfahren muss erkennen können, wenn die Situation einer Antragstellerin oder eines Antragstellers von den im Programm vorgesehenen Szenarien abweicht und der Fall einer Einzelprüfung unterzogen werden muss. Auch muss die Möglichkeit für Bürger*innen bestehen, einen eigenen Standpunkt darzulegen, zum Beispiel, wenn sie in der Steuererklärung besondere Umstände gelten machen wollen.

Bei behördlich genutzten vollautomatisierten Systemen müssen ferner die Entscheidungskriterien, die von Algorithmen verwendet werden, nachvollziehbar sein. Grundprinzipien und Entscheidungsgrundlagen von behördlich eingesetzten ADM-Systemen, die mehr als nur unterstützend eingesetzt werden, unterliegen darüber hinaus der Veröffentlichungspflicht.

Risikomanagementverfahren, bei denen Vorgänge zur näheren Überprüfung weitergeleitet werden, dürfen nicht unbegründet diskriminierend sein.

WEITERE EU UND DEUTSCHLANDWEITE REGELUNGEN

DSGVO

Die wichtigste neue Regulierung, die in letzter Zeit in der EU und in Deutschland in Kraft getreten ist, ist die Datenschutzgrundverordnung (DVGSO). Die Umsetzung dieser EU-weiten Verordnung zum Datenschutz findet sich unter anderem auch in der oben beschriebenen Automatisierung von Verwaltungshandeln wieder. Prinzipiell schreibt die DVGSO zum Thema ADM vor, dass Personen das Recht haben, gegen ADM Einspruch zu erheben, wenn drei Kriterien erfüllt sind:

Ob die DSGVO ausreichend ist, um Personen einen adäquaten Schutz vor Benachteiligung oder Diskriminierung durch ADM zu bieten, ist umstritten. Eine mögliche Regelungslücke: Auskunfteien wie die SCHUFA, welche die Kreditwürdigkeit von Personen beurteilen, müssen ihr Verfahren den Betroffenen nicht erläutern, obwohl ein derartiges Scoring laut DSGVO und Bundesdatenschutzgesetz (BDSG) eigentlich darzulegen wäre (DSGVO Art. 22, BDSG §31). Diese Regelung würde jedoch nur dann greifen, wenn die Auskunfteien auch die Entscheidungen über eine Kreditvergabe oder ähnliches treffen würden. Dies tun jedoch die Kreditinstitute. Diese wiederum entgehen der Offenlegung ihrer Entscheidungen, da sie den Score nicht berechnet haben.

Arbeitsrechtliche Kriterien auf EU Ebene

Parallel zur Entwicklung in Deutschland hat sich auch auf EU-Ebene eine Rechtsordnung zum Gleichstellungsgrundsatz im Arbeitsbereich ergeben. Verschiedene Direktiven und Gerichtsurteile, besonders zum Artikel 157 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV), schaffen die Basis dafür, dass Angestellte Rechte in Bezug auf Entscheidungen wahrnehmen können, die voll- oder teilautomatisiert stattfinden. Diese Rechte umfassen die gleichen Prinzipien wie der Gleichstellungsgrundsatz, also das Verbot der Diskriminierung basierend auf Kriterien wie Geschlecht, ethnische Zugehörigkeit und Abstammung.

Zudem enthält die Europäische Charta der Grundrechte den Artikel 21 zur Nichtdiskriminierung. Der Artikel ist so formuliert, dass die dort aufgelisteten Kriterien nicht exklusiv sind. Dies könnte insbesondere in Bezug auf die Anwendung des Artikels 21 auf die mit ADM verbundenen Schutzziele zukünftig von Bedeutung sein.

Menschenrechte

Deutschland ist sowohl als eigenständiger Staat als auch als EU-Mitglied Unterzeichner von verschiedenen Menschenrechtskonventionen. Da ADM auch Menschenrechte berührt, beispielsweise das Recht auf Freiheit und Sicherheit, die Gleichheit vor dem Gesetz, freie Ausübung von Religion etc., muss der Einfluss von ADM auf zukünftige – neue oder angepasste – Gesetze und Regularien beachtet werden [Link].

 


Auf die sektorenspezifischen Regulierungen des Hochfrequenzhandels mit Aktien sowie des autonome Fahren von Autos wird im Kapitel „Bildung, Aktienhandel, Stadt & Verkehr“ eingegangen. Die Regulierung von Medizinprodukten und Gesundheitstechnologien ist Gegenstand des Kapitels „Gesundheit & Medizin“.


 

VERBRAUCHERSCHUTZ

Im Endkundengeschäft kommt ADM vor allem im Internethandel zum Einsatz. Grundsätzlich stehen Verbraucher*innen in den meisten Fällen Alternativen zur Verfügung, wenn sie nicht online bestellen oder buchen wollen. Allerdings könnten sich diese Möglichkeiten in Zukunft zunehmend reduzieren. Im Onlinehandel, aber nicht nur dort, kann ADM eingesetzt werden, um durch individualisierte Preisgestaltung („dynamic pricing“) oder durch Scoringverfahren Kundensegmentierungen vorzunehmen, die dazu führen können, dass bestimmte Kundengruppen bevorzugt behandelt oder umgekehrt benachteiligt werden. Beide Praktiken sind grundsätzlich legal und legitim. Dennoch kann dies dazu führen, dass systematisch bestimmte Konsumentengruppen benachteiligt oder gar ausgeschlossen werden.

Ein bekanntes Beispiel für individualisierte Preisgestaltung ist der Taxidienst Uber, dessen Tarife von der momentanen Nachfrage und der Tageszeit abhängen. In anderen Anwendungsfällen verändert sich der Angebotspreis je nachdem, von welchem Endgerät aus die Anfrage durch Kund*innen erfolgt. Versicherungen gewähren Preisnachlässe im Rahmen von telematikbasierten Autoversicherungen. Hier entscheidet der via Telematik ermittelte Fahrstil über die Höhe des Tarifs. Im Kundenbeziehungsmanagement wird ADM verwendet, um den sogenannten Customer Lifetime Value zu errechnen: Wie profitabel sind Kund*innen, wen sollte man bevorzugt behandeln und wen kann man gegebenenfalls ans Ende der Telefonwarteschlange stellen?

Während die individualisierte Preisgestaltung in Deutschland noch nicht weit verbreitet ist, finden Scoringverfahren im Konsumentenbereich schon seit längerem breite Anwendung.

Unter Scoring versteht man die Kategorisierung von Personen anhand ausgewählter Kriterien. Die Kombination bestimmter Werte dieser Kriterien ergibt einen Punktwert („score“), der zum Beispiel Einfluss darauf nehmen kann, welcher Preis angezeigt wird oder ob eine Bank einen Kredit bewilligt. Das bekannteste Beispiel für ein Scoringverfahren ist die Bonitätsprüfung durch die Schufa (siehe Kasten OpenSCHUFA unten).

Scoringverfahren helfen Unternehmen zu entscheiden, mit welchen Personen sie in Kundenbeziehung treten wollen. Prinzipiell gilt das Entscheidungsprivileg der Vertragsfreiheit, in einigen essentiellen Bereichen wie dem Miet- und Arbeitsrecht jedoch nur eingeschränkt, weil hier der Grundsatz der Gleichbehandlung tangiert wird. Ob auch in anderen Bereichen eine durch die Vertragsfreiheit legitimierte Ablehnung beziehungsweise Besser- oder Schlechterstellung von Kund*innen durch Scoringverfahren oder individualisierte Preisgestaltung dem Grundsatz der Gleichbehandlung zuwiderläuft, ist Gegenstand von Diskussionen [Link].

Nach geltender Rechtslage haben Verbraucher*innen formal einen Anspruch darauf, darüber informiert zu werden, wenn sie als Kund*innen Gegenstand eines Scorings werden. Dieser Rechtsanspruch wird jedoch nach Ansicht von Expert*innen wie etwa des Sachverständigenrats für Verbraucherfragen durch das Gesetz nur unzureichend konkretisiert. Auch die vorhandenen Möglichkeiten der Rechtsdurchsetzung, die Privatpersonen zur Verfügung stehen, werden als unzureichend kritisiert [Link].

 


OpenSCHUFA

Im Frühjahr 2018 startete die Open Knowledge Foundation Deutschland zusammen mit AlgorithmWatch das Projekt OpenSCHUFA. Ziel war, die Scoringverfahren von Deutschlands bekanntester Auskunftei, der SCHUFA, die Daten über gut siebzig Millionen Einwohner*innen besitzt, auf mögliche Diskriminierung zu untersuchen. Das Unternehmen liefert beispielsweise Auskünfte an Banken, die eine Verweigerung von Krediten zur Folge haben können.

Nach einem erfolgreichen Crowdfunding für OpenSCHUFA spendeten über dreitausend Personen ihre Schufa-Auskünfte über das eigens dafür entwickelte Spendenportal. Im Herbst 2018 veröffentlichten Spiegel Online und der Bayerische Rundfunk zusammen. eine Auswertung der gespendeten Daten. Die Redaktionen machten deutlich, dass die ihnen vorliegenden Daten keineswegs als repräsentativ gelten können. Dennoch konnten sie diverse Auffälligkeiten darin feststellen. Etwa stach hervor, dass zahlreiche Personen von der SCHUFA verhältnismäßig negativ eingestuft werden, obwohl die Auskunftei keine negativen Informationen, beispielsweise Zahlungsausfälle, über sie vorliegen hat. Auch scheint es bemerkenswerte Differenzen zwischen verschiedenen Versionen des SCHUFA-Scores zu geben [Link].


Nächstes Kapitel: Thema: Arbeit 

Vorheriges Kapitel: Akteure

Inhaltsverzeichnis