Künstliche Intelligenz und Menschenrechte – aber nicht für alle.

Die KI-Verordnung der EU verletzt gezielt die Grundrechte von Menschen auf der Flucht

Eigentlich hätte die KI-Verordnung der Europäischen Union Menschen auf der Flucht schützen müssen, immerhin folgt sie einem risikobasierten Ansatz. Das heißt, sie reguliert KI-Systeme umso strenger, je riskanter ihr Einsatz für die Grund- und Menschenrechte sind. Stattdessen sieht sie für Geflüchtete sogar ein geringeres Schutzniveau vor als für Menschen, die nicht fliehen müssen. Sie spannt einen parallelen Rechtsrahmen auf, der Geflüchtete systematisch benachteiligt, da er Migrations- und Sicherheitsbehörden Ausnahmegenehmigungen für den Einsatz hochriskanter und intransparenter Technologien erteilt.

Das ist ein Bruch mit der Logik der Verordnung. Menschen auf der Flucht sind bekanntermaßen besonders gefährdet und die für sie zuständigen Behörden ohnehin zu tiefen Eingriffen in die Menschenrechte befugt – von der Überwachung bis Inhaftierung. Hinzu kommt, dass KI oft bestehende gesellschaftliche Missstände verschärft. Das hat vor allem zwei Ursachen. Zum einen reproduziert KI Diskriminierungen, die sie über die Daten „lernt“, die zu ihrem Training verwendet werden. Zum anderen wird KI oft mit dem Ziel eingesetzt, Prozesse schneller und “effektiver” zu gestalten. Im Falle von Geflüchteten besteht daher das erhebliche Risiko, dass der Einsatz von KI zu schnelleren und „effektiveren“ Menschenrechtsverletzungen führt. Denn die Migrationspolitik der EU ist insgesamt vom Abbau des Rechts auf Asyl und Gewalt gegen Geflüchtete geprägt. 

Verbotene Emotionserkennung darf bei Geflüchteten eingesetzt werden

KI, deren Einsatz in anderen Bereichen verboten wird, darf nun offiziell von Migrationsbehörden eingesetzt werden. Dies gilt etwa für die sogenannte „Emotionserkennung“, die in u.a. mit dem System „iBorder Crtl“ bereits in Griechenland, Lettland und Ungarn getestet wurde – es geht also um Technologien, an deren Einsatz die EU Interesse hat. 

Systeme zur Emotionserkennung arbeiten stark fehlerhaft und diskriminierend. So schätzten sie einer Studie zufolge Schwarze NBA-Basketballspieler auf Fotos als aggressiver ein als weiße Sportler. Auch im Text der EU-Verordnung heißt es zutreffend, dass Technologien zur Emotionserkennung „zu diskriminierenden Ergebnissen führen und einen Eingriff in die Rechte und Freiheiten der betroffenen Personen darstellen“ kann. Daher wird ihr Einsatz „in Anbetracht des Machtungleichgewichts im Arbeits- oder Bildungskontext“ verboten. Doch Migrations- und Sicherheitsbehörden wird ihr Einsatz nun erlaubt.

Erlaubt werden auch Technologien, die das Recht auf Asyl weiter aushöhlen, darunter die automatisierte „Risiko-Einschätzungen“ von Menschen, die aus ihren Ländern fliehen mussten. Ein Problem dabei illustriert ein Beispiel aus den USA: Um Donald Trumps „Zero Tolerance“-Migrationspolitik während seiner Präsidentschaft umzusetzen, veränderte die Polizei- und Zollbehörde der USA einen Algorithmus zur Risikoeinschätzung undokumentierter Migrant*innen. Danach gab dieser stets ein so hohes Risiko an, dass sich damit eine Inhaftierung der Person begründen ließ. Andere Beispiele, etwa aus dem Justizsystem der USA, zeigen häufige Diskriminierungen Schwarzer Menschen durch risk-assessment-KI. Rassistische Politik wird so mithilfe einer scheinbar „objektiven" Technik umgesetzt, und die dafür verantwortlichen Personen verstecken sich hinter ihr.

Warum Grenzen nicht als öffentlicher Raum gelten

Die KI-Verordnung betrachtet Grenzkontrollpunkte ausdrücklich nicht als öffentlichen Raum. Für diesen nämlich gelten Beschränkungen für den KI-Einsatz. Dies ist insbesondere für die Verwendung von Systemen zur biometrischer Massenüberwachungssysteme bedeutsam. Die Überwachung von Menschen, z.B. anhand ihrer Gesichter, gilt im öffentlichen Raum als ein unverhältnismäßiger und damit menschenrechtswidriger Eingriff in das Recht auf Privatsphäre. Es ist übrigens auch ein Werkzeug, mit dem sich jede Bewegung überwachen und auch jede Form von Protest unterdrücken lässt. 

Gesichtserkennungs-KI diskriminiert insbesondere Frauen und People of Colour, bei denen die Systeme höhere Fehlerraten aufweisen. Ihre Regulierung war der zentrale Streitpunkt in den Verhandlungen. In der Verordnung findet sich nun ein grundsätzliches Verbot des Einsatzes im öffentlichen Raum, das durch zahlreiche Ausnahmen jedoch eher einer Erlaubnis mit Einschränkungen gleichkommt. Für Grenzkontrollen gelten diese Einschränkungen aufgrund der expliziten Ausnahme von der Definition des öffentlichen Raumes nicht. Und auch für andere Orte sind die Ausnahmen derart gestaltet, dass sie eine weitreichende Überwachung von Menschen auf der Flucht zulassen.

Wie Studien zeigen, führt der Einsatz von Überwachungstechnologie im Grenzbereich dazu, dass Geflüchtete – etwa aus Sorge vor illegalen Pull- und Pushbacks oder gewalttätigen Übergriffen – noch gefährlichere Routen wählen und dies häufig mit dem Tod bezahlen. Eine im Journal of Borderlands veröffentliche Studie fand eine „signifikante Korrelation zwischen den Standorten von Grenzüberwachungstechnologie, den Routen der Migrant*innen und den Fundorten sterblicher Überreste.“ 

Der Einsatz von Hochrisiko-KI durch Migrationsbehörden muss nicht transparent gemacht werden

Darüber hinaus werden Migrationsbehörden von Transparenzanforderungen ausgenommen. Die KI-Verordnung sieht eine Datenbank vor, in der öffentliche Behörden die von ihnen eingesetzte Hochrisiko-KI- registrieren müssen. Die „Informationen [müssen] auf benutzerfreundliche Weise zugänglich und öffentlich verfügbar sein.“ (Art. 71 Absatz 4). Wer mit Behörden zu tun hat, soll wissen können, ob KI für Entscheidungen etwa über einen eingereichten Antrag genutzt wurde. Migrations- und Sicherheitsbehörden sind von dieser Verpflichtung jedoch ausgenommen. 

Die Ausnahme macht es für Geflüchtete, Menschenrechtsorganisationen und Journalist*innen nahezu unmöglich, den Einsatz von Hochrisiko-KI im Migrationsbereich zu überprüfen. Das erschwert es, im Falle von Fehlentscheidungen und Diskriminierungsvorfällen, den Rechtsweg zu nutzen. Wie wichtig dieser sein kann, zeigt der Fall eines Visa-Streaming-Algorithmus in Großbritannien. Dieser wurde 2015 bis 2020 zur automatisierten Prüfung aller Visa-Anträge genutzt, nach einer Klage durch NGOs jedoch abgestellt. Durch „Feedback-Loops“ (der Algorithmus gründete Entscheidungen u.a. auf einer Liste „problematischer“ Nationalitäten, seine Entscheidungen beeinflussten dann wiederum die Liste), erhielten Angehörige bestimmter Nationalitäten unabhängig von ihrem Einzelfall fast nie ein Visum.

Wenn die nationale Sicherheit zum Blankoscheck für Menschenrechtsverletzungen wird

Ein europaweites NGO-Bündnis, die #ProtectNotSurveil-Coalition [https://protectnotsurveil.eu/], hat immer wieder auf die Doppelstandards aufmerksam gemacht und den Schutz Geflüchteter eingefordert. In den Verhandlungen setzte sich jedoch ein Diskurs der Versicherheitlichung durch, der inzwischen die Migrations- und Innenpolitik vieler europäischer Länder dominiert. Er zeichnet sich dadurch aus, dass Geflüchtete weniger als Menschen, denen Rechte zustehen, denn als potenzielle „Sicherheitsprobleme“ betrachtet werden. 

Diese Haltung zieht sich durch die Verordnung und zeigt sich auch in einer vierten, besonders umfassenden Ausnahme, die erst in den letzten Verhandlungsphasen hinzugefügt wurde: Die Verordnung gilt generell nicht für KI-Systeme, die zu Zwecken der nationalen Sicherheit entwickelt oder eingesetzt werden. Das stellt einen Blankoscheck für Missbrauch dar. Denn der Begriff der nationalen Sicherheit ist nicht klar definiert. Jedes EU-Land, jede (künftige) Regierung wird ihn unterschiedlich interpretieren. In Ungarn etwa wurde 2018 ein Gesetzespaket zur Unterdrückung der Zivilgesellschaft mit Verweis auf die nationale Sicherheit begründet. Die letzten Wahlen zum EU-Parlament haben rechtspopulistische und rechtsextreme Parteien massiv gestärkt, die Migration und Flucht als „Bedrohung der nationalen Sicherheit“ darstellen. Es besteht die Gefahr, dass diese Kräfte, wo sie an die Regierung kommen, intransparent und unreguliert auch verbotene oder streng regulierte KI einsetzen und hierfür die "Nationale Sicherheit” als Joker heranziehen. 

Fazit

Mit der KI-Verordnung lässt sich die Europäische Union also fast alle Türen offen, um Menschen auf der Flucht automatisiert zu überwachen, zu kategorisieren und abzuwehren. Dabei ließen sich die digitalen Technologien natürlich auch einsetzen, um Geflüchtete zu schützen. Die Seenotrettungsorganisation “Sea-Watch” etwa installiert auf ihren Schiffen Kameras, um Fehlverhalten der libyschen Küstenwache oder von Frontex-Schiffen zu dokumentieren. Sie filmt Push- und Pullbacks außerdem auch aus der Luft. Dies wiederum führt zu ihrer weiteren Kriminalisierung. Italien, unter der Führung der profaschistischen Minsterpräsidentin Georgia Melonie, etwa versucht, die zivilgesellschaftliche „Gegenüberwachung“ per Anordnung zu unterbinden. “Sea-Watch” hat angekündigt, vor italienischen Verwaltungsgerichten dagegen vorzugehen. 

Auch Menschen auf der Flucht nutzen digitale Technologien, um ihre schwierige Reise zu koordinieren und zu navigieren. Zivilgesellschaftliche Organisationen setzen sich europaweit dafür ein, bei den jetzt anstehenden nationalen Umsetzungen der KI-Verordnung ein strengeres Verbot von Gesichtserkennungstechnologie und mehr Transparenz auch für Migrations- und Sicherheitsbehörden durchzusetzen. Die Verordnung führt ein Beschwerderecht für natürliche und juristische Person ein, das sicherlich von Geflüchteten und NGOs genutzt werden wird, um Verantwortliche von Verstößen gegen die Regulierung zur Rechenschaft zu ziehen. Die KI-Verordnung war für Menschen auf der Flucht zwar nicht die gute Nachricht, die sie hätte sein müssen – doch es gibt viele kleine gute Nachrichten, die Hoffnung auf Verbesserungen geben.