Brasilien: schockierende Sperrung durch Algorithmus auf Youtube

Dieser Text beruht auf einer wahren Begebenheit und prangert die Risiken an, die von Algorithmen getroffene Entscheidungen mit sich bringen. Algorithmen sind logisch miteinander verkettete, eindeutige Routinen, die von Software, Automaten und sogenannten Systemen künstlicher Intelligenz gebildet werden; letztere sind unterteilt in Maschine Learning, Deep Learning und andere. Algorithmen agieren fast nie alleine. Sie sind mit Datenstrukturen verbunden, und indem sie mit diesen Informationen interagieren, treffen sie Entscheidungen anhand von Regeln oder Mustern, die sie den zuvor gesammelten Daten entnehmen. Deshalb bezeichnen wir diese Gruppe –  Algorithmen, Datenbanken, Software und Kommunikationsgeräte zusammen – als algorithmische Systeme.

Am 30. November 2019 sollte in Rio de Janeiro eine neue Folge unseres Podcasts Tecnopolítica (Technopolitik) aufgenommen werden. Dieser Podcast wurde Ende 2018 von Sérgio Amadeus ins Leben gerufen und diskutiert Themen mit Bezug auf Technik und Politik unter dem Blickwinkel von Machtverhältnissen. Tecnopolítica versucht aufzudecken, wie Codes und Technologien politische Entscheidungen beeinflussen und enthalten und wie viele politische Beschlüsse mithilfe technologischer Geräte umgesetzt werden. Es war das erste Mal, dass wir Tecnopolítica in einem Auditorium aufgenommen haben, unter Beteiligung von 120 Zuschauer*innen. Das Publikum begleitete die gut 30-minütige Aufnahme und diskutierte mit dem Projektgründer, Sérgio Amadeu, und seinem Gast, Larissa Santiago, Produzentin und Koordinatorin der Blogueiras Negras (Schwarze Bloggerinnen).

Der Blog, geschrieben von „schwarzen und afrikanisch-stämmigen Frauen mit unterschiedlichen Lebensgeschichten und Interessensgebieten, die sich jedoch in Fragen rund um Negritude, Feminismus und Wissensproduktion zusammengefunden haben“, ist einer der wichtigsten digitalen Reflexionsräume über den Aktivismus schwarzer Frauen in Brasilien.

Das Gespräch drehte sich darum, wie digitale Technologien, vor allem Algorithmen, frauenfeindliche, patriarchale und rassistische Elemente beinhalten, die in der brasilianischen Gesellschaft präsent sind, und um das Problem der „falsch-positiven“ oder fehlerhaften Identifizierung von Personen durch Systeme künstlicher Intelligenz, die an Überwachungskameras gekoppelt sind – ein Problem, dem nicht nur Brasilien, sondern die ganze Welt gegenübersteht.

Larissa Santiago zeigte anhand mehrerer Beispiele, wie schwarze Frauen und Männer durch algorithmische Systeme diskriminiert werden, und welche Auswirkungen und Risiken das auf die Reproduktion von Vorurteilen hat. Eines der erwähnten Beispiele war die Nutzung von Gesichtserkennungssystemen in Brasilien, insbesondere durch den Bundesstaat Bahia während des Iemanjá-Festes und des Karnevals 2019. Larissa zitiert die Autorin und Pädagogin Simone Browne: „Überwachung wurde schon immer genutzt, um Körper zu bestrafen. Aber welche Körper? Diejenigen, die in der Geschichte schon immer unterdrückt wurden.“ Browne verwendet die Metapher vom historischen Sklavenschiff als Ort absoluter Überwachung. „Jedes technologische Gerät in einer rassistischen Gesellschaft wird unausweichlich rassistisch sein. Jedes technologische Gerät zur Überwachung wird insbesondere die Körper überwachen, die in der Geschichte schon immer Unterdrückung erfahren haben.“

Wir können eine Analyse oder sogar eine Analogie ableiten zwischen dieser Feststellung von Larissa und dem, was mit unserer Podcast-Episode passiert ist, als wir diese auf YouTube bewerben wollten.

Das Geschäftsmodell der digitalen Plattformen ist an die Bereitschaft interessierter Nutzer gekoppelt, für die Bereitstellung ihrer Anzeigen, Werbung und Inhalte in den Netzwerken zu zahlen. Aus diesem Grund werden die Räume für diejenigen, die ihre Inhalte nicht „monetarisieren“, immer limitierter und auf ein Minimum an Zugriffen und Interaktionen reduziert. Deshalb bewerben wir die Episoden von Tecnopolítica für gewöhnlich. Bei Episode Nummer 24, Geschlecht, Rechte und Technologie, wurden wir bei der Bewerbung des Videos auf YouTube davon überrascht, dass diese aufgrund „schockierenden Inhalts“ abgelehnt wurde:

Auf den anderen Plattformen, auf denen wir präsent sind, wie auf Facebook Spotify und Deezer, kam es zu keinerlei Sperrung aufgrund des Inhalts oder seiner Bewerbung. Für YouTube sind „schockierende Inhalte“ unter anderem „gewaltsame Sprache, makabre oder abstoßende Bilder, Beschimpfungen, obszöne oder gotteslästerliche Sprache, Szenen, die Körperflüssigkeiten enthalten oder explizite Bilder und Berichte über körperliche Traumata“.

Wir haben uns auch in den FAQs von YouTube informiert, was „schockierender Inhalt“ bedeuten soll. Die Erklärung war ähnlich, als Begründung wurde angegeben: „Wir legen Wert auf Diversität und den Respekt Anderen gegenüber. Wir bemühen uns zu vermeiden, die Zuschauer mit für unser Werbe-Netzwerk unangemessenen Werbeanzeigen, Websites oder Apps zu beleidigen oder zu schockieren“.

Nach der Lektüre der Regeln der Plattform zu „schockierenden Inhalten“ haben wir die Folge noch einmal angesehen und überprüft, ob es in ihr eine Aussage gibt, die „schockieren oder erschrecken“ könnte – schließlich fokussiert das Video auf Bilder von Larissa Santiago und Sergio Amadeu sowie anschließend auf Personen aus dem Publikum. Es gab kein einziges schockierendes Bild, außer die Plattform hielt die Personen, die im Video auftauchten, für abstoßend oder erschreckend. Aber das wäre unsinnig und nicht haltbar.

Wir konnten kein einziges Wort, keinen einzigen Satz finden, das/der als obszön, unmoralisch, taktlos, anstößig oder pervertiert definiert werden könnte. Die nachfolgende Debatte war respektvoll und glitt teilweise eher in eine akademische Sprache ab.

Was ist es also, was YouTube als “schockierenden Inhalt” eingestuft hat? Eine Frage ohne Antwort. Die Ablehnung der Bewerbung führte zu einer sehr niedrigen Anzahl an Klicks für die Folge (100 Views bis zur Aufhebung der Sperrung), insbesondere verglichen mit den durchschnittlichen 1650 Klicks, die der Podcast auf YouTube üblicherweise erhält. Wir konnten daher belegen, wie die Nicht-Bewerbung dieser Podcastfolge und die Auswahl der hochgeladenen Inhalte durch YouTube-Algorithmen den Zugriff auf diese Folge von Tecnopolítica negativ beeinflussten.

Wir füllten also ein von der Plattform bereitgestelltes Formular aus und beantragten die Überprüfung des Status, um unsere Werbung freizuschalten. Der gesamte Prozess wird online abgewickelt, ohne Kontakt zu einem Menschen. Es werden weder Informationen über die von YouTube durchgeführten Analyseprozesse bereitgestellt, noch über den Zeitraum, für den die Werbung blockiert wird.

Einige Tage später erhielten wir per Mail die Antwort, dass unser Inhalt nach einer manuellen Überprüfung freigeschaltet worden war:

„Hallo, guten Morgen. Alles gut?

Hier ist ____, Spezialist für Google-Werbung, ich bin der verantwortliche Mitarbeiter für deinen Fall und werde dir helfen.

Also, fangen wir an?

Du hast mit uns Kontakt aufgenommen, nachdem die Werbeanzeige des Kontos Ads mit der ID 379-401-1986 abgelehnt wurde.

Wie werden wir das lösen?

Mach dir keine Sorgen. Als ich deine e-Mail bekommen habe, habe ich sofort Kontakt mit unserem Politik-Team aufgenommen, um die manuelle Überprüfung deiner Anzeige anzufordern.

Ich freue mich, dir mitteilen zu können, dass deine Anzeige schon durch unsere Überprüfung gelaufen ist, sich im Einklang mit unseren Politiken befindet und somit freigeschaltet wurde und zur Verbreitung zur Verfügung steht.

Ab jetzt, nur noch Erfolg!“

Diese Antwort hat uns mindestens zweierlei bestätigt: Dass die Sperrung durch YouTube nicht durch Menschen erfolgt ist, sondern durch das algorithmische System der Plattform und dass dieses Verfahren einen Fehler kreiert hat, von dem wir nicht wissen, worin er bestand. Die Plattform-Betreiber wissen wahrscheinlich, wie diese Fehler passieren und in welcher Form sie in ihren Codes verarbeitet werden, aber die Nutzer*innen erhalten darüber keinerlei Informationen. Dies verstärkt das von Frank Pasquale entworfene Bild, dass Algorithmen echte “Blackboxen” sind, gesichert und weit weg von den Betroffenen.

Wir wissen nicht, ob das algorithmische System das Audio oder eine Szene des Gesprächs schockierend fand. YouTube informiert nicht darüber. Es handelt sich um eine Technik der Verschleierung (PASQUALE 2015). Welcher Fehler wurde von dem Algorithmus verursacht? Ist er aus einem falschen oder fehlgeleiteten Input erfolgt? Welche Sätze wurden als schockierend eingestuft? Ist es YouTube egal, wenn solche Fehler passieren und sie dann einfach eine manuelle Autorisierung des Inhalts durchführen?

Dieser Fall scheint vielleicht zu klein, um eine gesellschaftlich relevante Debatte zu initiieren. Er scheint klein, wenn wir ihn einzeln betrachten, aber wenn wir darüber nachdenken, was algorithmische Systeme erzeugen können, was automatisierte, auf Daten basierende Entscheidungen produzieren können, was die „Voreingenommenheit“ der Algorithmen auslösen kann, wenn wir also über die Diskriminierungen und Ausgrenzungen nachdenken, die möglich sind – dann sollten wir uns ernsthaft Sorgen um den Typ soziotechnischer Konstellationen machen, mit dem wir zu tun haben.

Algorithmen müssen erklärt und demokratisch kontrolliert werden

Der Wissenschaftler Tarleton Gillespie hat einen sehr nützlichen Begriff geprägt, um algorithmische Systeme zu beschreiben. Er sagt, dass Algorithmen von öffentlicher Relevanz sind, das heißt, die Auswirkungen dieser Algorithmen können unzählige Personen betreffen oder das Leben eines Menschen stark beeinflussen (GILLESPIE, 2014).

Es sind Algorithmen, die zum Beispiel das Strafmaß eines Angeklagten bestimmen, den Anspruch auf ein Sozialrecht oder seinen Ausschluss davon festlegen, Straßen und öffentliche Plätze auf Straftäter hin überwachen, eine Vorauswahl von Lebensläufen für eine freie Arbeitsstelle treffen oder die festlegen, wer einen Kredit ohne Erhöhung des Risikosatzes erhält.

Algorithmen sind nicht neutral. Darüber hinaus können Algorithmen ungerecht sein und gesellschaftliche Vorurteile umsetzen. Schließlich werden sie von Menschen entwickelt und nutzen Datensätze, die in gigantischen Datenbanken gespeichert werden. Isoliert betrachtet sind diese Daten nur Daten – werden sie jedoch als Quelle für das Training von Maschine-Learning-Algorithmen für ein bestimmtes Ziel genutzt, können sie zu diskriminierenden Prozessen führen. Algorithmische Systeme, insbesondere die, die als neuronale Netzwerke programmiert werden, sind nicht selbsterklärend; andere, weniger komplexe Algorithmen nicht alleine durch ihre Lektüre interpretierbar. Es müssen Tests durchgeführt und die Algorithmen mit Daten gefüttert werden, damit man verstehen kann, was sie realisieren können und wie.

Diese algorithmischen Systeme, die unsere Leben beeinflussen, reproduzieren Vorurteile und praktizieren Diskriminierung deutlich komplexer als dort, wo Menschen agieren. Ein häufiges Argument ist, dass Menschen seit langem diskriminieren und dass ein Mensch somit eher dazu neigt, intolerant, feindlich oder von Vorurteilen geleitet zu handeln als ein Code. Wenn ein Mensch rassistisch handelt, ist dies allerdings sichtbar und die Verantwortlichkeit klar. Wenn ein Visualisierungssystem, das von einem Algorithmus gesteuert wird, eine Entscheidung trifft, die Schwarze schädigt oder ihnen bestimmte Rechte vorenthält, ist dies nicht unbedingt erkennbar. Aber die Tatsache, dass uns diese Diskriminierung nicht deutlich wird, bedeutet nicht, dass sie nicht existiert. Im Gegenteil: Das macht den Kampf gegen durch Algorithmen verübten Rassismus, Frauenfeindlichkeit und Vorurteile noch komplexer.

Algorithmen von öffentlicher Relevanz sollten zumindest von multisektoralen, seriösen und unabhängigen Organisationen der Zivilgesellschaft geprüft werden, deren Funktion der Schutz der Gesellschaft vor ihren eigenen Irrtümern sowie das Aufzeigen von grundsätzlichen Korrekturerfordernissen wäre, um Ungerechtigkeiten und Fehler zu vermeiden.

Die Idee einer Prüfung taucht im Artikel An Algorithm Audit der Wissenschaftler Christian Sandvig, Kevin Hamilton, Karrie Karahalios und Cedric Langbort auf. In dem Artikel weisen die Autor*innen nachdrücklich darauf hin, dass „es wenig Gründe gibt, zu glauben, dass die Unternehmen, von denen wir abhängen, angesichts der Abwesenheit einer regulierenden Aufsicht in unserem Interesse agieren“(2) (SANDVIG, et al, 2014, 7). Wir brauchen transparente Strukturen, die von der Gesellschaft kontrolliert werden, um die technologischen Plattformen zu kontrollieren, die einen enormen Einfluss haben und unsere alltäglichen Interaktionen messen. (SILVEIRA, 2019, 88)

Wahrscheinlich werden wir nie wissen, was der Algorithmus von YouTube in der Folge 24 unseres Podcasts Tecnoplítica Geschlecht, Rechte und Technologie entdeckt hat, um sie als „schockierenden Inhalt“ einzustufen. Ob es wohl ein Praxisbeispiel für den Rassismus war, den die Folge anprangerte? Ein Beispiel für Diskriminierung? Um zu verstehen, was genau passiert ist, müsste YouTube seine Codes offenlegen und zeigen, in welchem Moment der Algorithmus die Unangemessenheit des Videos festgestellt hat und welche Art „Filter“ zu dieser Interpretation geführt hat. Leider wird die Plattform dies nicht tun, denn wie wir bereits erwähnt haben, regiert in den meisten Geschäftsmodellen, die sich auf algorithmische Prozesse stützen, die Intransparenz.

Dies zeigt, wie sehr wir von algorithmischen Operationen abhängig sind, die nicht frei von Präferenzen, Fehlern, Vorurteilen und Diskriminierung sind. Algorithmen mit öffentlicher Relevanz können Verhalten beeinflussen und Subjektivität auf eine Art und Weise herstellen, die sozial ausschließend, rassistisch und patriarchalisch ist. Deswegen müssen wir, um von einer Demokratisierung der Technopolitik sprechen zu können, beginnen, soziale Kontrollstrukturen für Unternehmen und Staat zu entwickeln, wann immer diese Algorithmen nutzen, die diskriminieren, segregieren oder die öffentliche Meinung beeinflussen können. Wir, vom Podcast Tecnopolítica, versuchen mit unseren Podcast-Folgen, unseren Informationen und unserem Wissen über die Technologien dazu beizutragen. Dabei wenden wir uns an die Zivilgesellschaft und stellen Informationen und Erklärungen über die Dynamiken bereit, die die politischen und ökonomischen Machtstrukturen anhand von Technologien konsolidieren.

Übersetzung aus dem Portugiesischen: Hannah Sofie Forst

Den Originalartikel in portugiesischer Sprache finden sie hier

Literaturverzeichnis

• GILLESPIE, Tarleton. The relevance of algorithms. Media technologies: Essays on communication, materiality, and society, Band 167, S. 167, 2014.
• PASQUALE, Frank. The black box society. Harvard University Press, 2015.
• SANDVIG, Christian et al. An algorithm audit. In: Data and discrimination: collected essays. New York, NY: New America, Open Technology Institute, S. 6-10, 2014.
• SILVEIRA, Sergio Amadeu. Democracy and invisible codes: How algorithms are modulating behaviors and political choices. Edições Sesc SP / Amazon.com Services LLC, 2019.