Ein Essen mit einem Produzenten hat das Leben von Collien Ulmen-Fernandes verändert. Der Mann fing plötzlich an herumzudrucksen, erinnert sich die Schauspielerin und Moderatorin. „Er habe mit mir einige Zeit lang auf LinkedIn in Kontakt gestanden, sagte er.“ Etwa ein halbes Jahr lang sei der Austausch auf dem Karriere-Portal unverbindlich gewesen, dann habe sie angefangen, mit ihm zu flirten, Nacktbilder zu schicken, sogar Sexvideos.

Doch es war nicht die Schauspielerin, die hier kommunizierte. Weder die Fotos noch die Videos hatte sie aufgenommen. Es handelte sich um Deepfake-Pornos – Videos, in denen mit künstlicher Intelligenz (KI) das Gesicht einer Person auf den Körper einer anderen gesetzt wird. Betroffene wissen häufig nichts davon.

„Ich bin froh, dass der Produzent mir davon berichtet hat“, sagt Ulmen-Fernandes im Gespräch mit der Redaktion des WEISSEN RINGS. „Ich wurde unfreiwillig zu jemandem gemacht, der in dieser Branche Männer anbaggert.“ Sie empfindet dieses Vorgehen als perfide und massiv rufschädigend, spricht von „digitalem sexuellem Missbrauch“.

Collien Ulmen-Fernandes ging mit dem Thema auf die Produktionsfirma Tower Productions zu. Daraufhin entstand eine mehrteilige Dokumentation für das ZDF-Doku-Format „Die Spur“. Das Besondere: Ulmen-Fernandes brachte nicht nur die Idee ein, sondern sprach auch ausführlich über ihre eigenen Erfahrungen mit Deepfake-Pornos.

„Jetzt, wo ich weiß, in welchem Umfang ich Männer in der Branche angebaggert habe, ist es mir umso wichtiger, darauf aufmerksam zu machen, dass das nicht wirklich ich war“, sagt sie. „Man wird unfreiwillig ausgezogen.“ So beschreibt sie den Missbrauch in der Doku. Die neuen Deepfakes seien von echten Nacktbildern kaum zu unterscheiden.

Einblicke in ein verborgenes System

Wer steckt dahinter? Daten-Journalistin Marie Bröckling ist der Frage in einer sechsmonatigen Recherche nachgegangen. Sie wollte Einblicke in einen verborgenen Bereich gewinnen. Bröckling meldete sich auf Webseiten an, die Deepfake-Inhalte veröffentlichen, schrieb Szenemitglieder an. „Ich habe spätabends gearbeitet, wenn die Nutzer aktiv waren.“ Die ersten Kontakte führten sie zu weiteren Plattformen und schließlich zu den Herstellern.

Bröckling lernte ein System kennen, das von vielen Konsumenten, Produzenten, App- und Webseitenentwicklern getragen wird – und vielen Menschen schadet. „Es gibt Fälle im Schulkontext, in denen Jugendliche Deepfakes von Menschen aus ihrem Umfeld durch Apps erstellen.“ Aber auch Professionelle, die mit Spezialsoftware aufwändige Deepfakes von Prominenten anfertigen. Um für die Nutzer eine möglichst authentische Illusion zu schaffen, arbeiten sie teilweise tagelang, perfektionieren etwa die Augen- und Mundbewegungen. Eine Methode ist es, Bilder von einem Gesicht auseinanderzubauen und neu zusammenzusetzen. Den Produzenten gehe es nicht zwingend um Geld; manchen genüge die Anerkennung der Szene.

Was Macher und Konsumenten ignorieren: Die Videos zeigen Opfer. „Mir war klar, dass wir respektvoll mit den Informationen umgehen“, sagt Bröckling. Auf einer Porno-Messe spielte sie der Darstellerin Aische Pervers zwar einen Clip vor, in dem ein anderes Gesicht auf den Körper der Frau montiert worden war. Vorher hatte die Journalistin Pervers aber gefragt, ob sie das Material sehen möchte. Bröckling sprach vor den Interviews mehrfach mit allen Betroffenen, um sicherzustellen, dass sie dazu bereit waren.

In einer weiteren Szene trifft sich Collien Ulmen-Fernandes mit ihren Moderationskolleginnen Lola Weippert und Mareile Höppner. Beide sind ebenfalls Opfer von Deepfake-Pornos. Sie sprechen über ihre Erfahrungen und Gefühle – nicht alleine vor der Kamera, sondern gemeinsam, an einem Tisch, in einem lichtdurchfluteten Raum.

Mangel an Gesetzen?

Die Dokumentation endet damit, dass Ulmen-Fernandes zur Polizei geht und die Deepfakes mit ihrem Gesicht anzeigt. Noch habe sich daraus nichts ergeben. „Leider werden Frauen in Deutschland nicht hinreichend vor digitalem sexuellem Missbrauch geschützt“, kritisiert die Schauspielerin. Während der Recherche berichtete ihr eine Anwältin, dass bisher jeder ihrer Fälle wegen Geringfügigkeit eingestellt worden sei. „Ich habe eine Frau interviewt, die bereits zum fünften Mal umziehen musste, weil im Internet, neben Deepfake-Pornografie von ihr, mehrfach ihre Adresse veröffentlicht wurde“, so Ulmen-Fernandes. Männer hätten darunter Vergewaltigungsfantasien ausgetauscht.

Das Bundesministerium der Justiz (BMJ) sieht auf Anfrage der Redaktion des WEISSEN RINGS keine dringende Notwendigkeit für ein neues Gesetz zur Bekämpfung von Deepfakes. Es betont, die Paragrafen im Strafgesetzbuch, insbesondere zu Verleumdung und Verletzung von Persönlichkeitsrechten durch Bildaufnahmen, böten ausreichende Möglichkeiten zur Strafverfolgung. Deepfakes werden in keinem der Gesetze erwähnt.

„Ein eigenes Gesetz hätte eine Signalwirkung, Opfern, aber auch Tätern gegenüber“, meint Marie Bröckling. In Foren hätten Hersteller von Deepfakes und Konsumenten oft nichts von der Strafbarkeit gewusst. Das Justizministerium sollte Gerichte und Staatsanwaltschaften mehr auf die existierenden Gesetze hinweisen, fordert die Journalistin. „Nach meiner Recherche werden die Gesetze nicht angewendet, in Deutschland wurde bisher kein Fall geahndet.“

Collien Ulmen-Fernandes spricht sich dennoch dafür aus, Anzeige zu erstatten, da so die Fälle in der Statistik erfasst werden und das Ausmaß bekannt wird. „Dieser digitale sexuelle Missbrauch passiert vielen Frauen. Irgendwann kann der Staat nicht mehr wegsehen.“

„Die Scham muss die Seite wechseln“, dieser Satz hat die von Missbrauch betroffene Französin Gisèle Pelicot berühmt gemacht. Auch Ulmen-Fernandes kennt ihn. Damit die Forderung Wirklichkeit wird, müsse Tätern auch juristisch gespiegelt werden, dass ihr Handeln falsch ist, mahnt sie: „Wenn Fälle von bildbasiertem sexuellem Missbrauch jedoch wegen ‚Geringfügigkeit‘ eingestellt werden, sagt das ja auch etwas aus.“ Deepfake-Pornos können für die Opfer traumatische Folgen haben, deshalb will sich die Schauspielerin weiter öffentlich für Opferschutz einsetzen.

In einem Bäckereicafé im nordöstlichen Hessen sitzt der Lehrer Erik Meyfarth, 51 Jahre alt, vor seinem Cappuccino und erinnert sich an 2014. Damals, so Meyfarth, hatte an der Freiherr-vom-Stein-Schule in Hessisch Lichtenau das Mobbing unter Schülerinnen und Schülern in WhatsApp-Gruppen so stark zugenommen, dass aus dem Problem im digitalen Raum zunehmend auch ein Problem im analogen Schulalltag wurde. Meyfarth erinnert sich an Frust im Kollegium, an das Gefühl von Hilflosigkeit und an die Frage: Wer soll sich in der Schule um solche Themen kümmern?

Bis dato, so erzählt es der Chemie- und Physiklehrer, sei es „reine Glückssache“ gewesen, ob den Kindern und Jugendlichen Kompetenzen für die Mediennutzung vermittelt wurden. „In den Lehrplänen steht bis heute, Lehrkräfte sollten das jeweilige Fach durch Einsatz digitaler Medien unterrichten, es gibt eine Fußnote hier, eine Fußnote da. Das führt letztendlich dazu, dass es vom Lehrer abhängt: Wenn jemand das Thema wichtig findet und selbst kompetent ist, dann kommt es im Unterricht vor. Wenn jemand mit dem Digitalen nicht viel zu tun hat, dann lernen die Schüler auch nichts darüber.“

Aber was heißt das überhaupt: „Kompetenzen für die Mediennutzung“?

Ein Blick ins Internet – eine Google-Suche – gibt Aufschluss. Medienkompetenz ist in der Wissenschaft kein final ausdefinierter Begriff. Oft zitiert wird der Pädagoge Dieter Baacke (1934 bis 1999), dessen Modell Medienkritik, Medienkunde, Mediennutzung und Mediengestaltung vereint. Ziel ist demnach die Entwicklung der Fähigkeit, mit Medien vertraut zu sein, sie sinnvoll für sich und für den zwischenmenschlichen Austausch einsetzen zu können. Heutzutage werden Begriffe wie Mediennutzungskompetenz oder digitale Bildung weitgehend synonym verwendet. Inhaltlich umfassen sie ein breites Spektrum: technische Kenntnisse in Präsentationserstellung oder Tabellenkalkulation, das Bewusstmachen der Vor- und Nachteile sozialer Medien, das Erkennen der Gefahr von Desinformation, Datendiebstahl und Rachepornos.

Auf der Webseite der Freiherr-vom-Stein-Schule heißt es, es sei durch Studien belegt, „dass es nicht funktioniert, diese Kompetenzen (wie in den Lehrplänen vorgegeben) quasi ‚nebenbei‘ zu vermitteln“. Aus Frust und dem Gefühl der Hilflosigkeit entstand in der hessischen Kleinstadt das „Computer- und Medien-Training“, kurz „CoMeT“, konzipiert von Meyfarth und seinem Kollegen Guido Ipsen für die Klassen 7 und 8. Das Besondere daran: Die Lehrer wollten die Vermittlung von Medienkompetenz in den Stundenplan integrieren – als eigenes, verpflichtendes Fach. Dafür mussten sie rechtliche Hürden nehmen; dies gelang ihnen, indem „CoMeT“ Zeit bekam, die für Wahlpflichtfächer vorgesehen war. Meyfarth erinnert sich an einen „ziemlichen Alleingang“: Unterstützung von politischer Seite habe es erst gegeben, als Presseberichte erschienen über das neue Schulfach, für das es zu diesem Zeitpunkt keine Vorbilder gab.

Seitdem sei in zehn „CoMeT“-Jahren eine Internet-Cloud mit Materialien und fertigen Unterrichtseinheiten entstanden, und es gebe immer genügend Lehrkräfte – aktuell sind es acht –, die das Fach unterrichteten, sagt der 51-Jährige. So bauten nicht nur die Schüler und Schülerinnen, sondern auch Lehrerinnen und Lehrer digitale Kompetenz auf: zu Themen wie Cybermobbing, zu Fake News, zu Chancen und Gefahren bei der Nutzung von sozialen Netzwerken und Messenger-Programmen.

Meyfahrt sagt, „ein bisschen stolz“ sei man schon, eine obligatorische Vermittlung von Medienkompetenz an der Schule etabliert zu haben, die heute als Aushängeschild der Schule gilt, „aber vor allem machen wir das Leben unserer Schüler ja besser“.

Bildung ist Ländersache. Die Redaktion des WEISSEN RINGS hat die 16 für Bildung zuständigen Ministerien nach dem Stellenwert von Medienkompetenz an den Schulen ihres Bundeslandes gefragt. Nur acht Länder meldeten sich zurück. Das Saarland, das 2024 der Kultusministerkonferenz vorsteht, beantwortete als einziges Land alle fünf Fragen. Es ist auch das einzige Land, das auf unseren Wunsch eine Einschätzung zu Qualität und Umfang der Vermittlung von Medienkompetenz wagte: Schulnote 1. Der Rest machte entweder keine Angabe oder teilte mit, keine Bewertung vornehmen zu wollen.

In den Antworten finden sich schwer überprüfbare Aussagen wie diese: „Die Medienkompetenzförderung findet in allen Jahrgangsstufen auf altersgerechte Weise statt.“ Unklar bleibt, in welchen Klassenstufen zum Beispiel Wissen über digitale Gewalt vermittelt wird. Nur vier Länder beantworteten die Frage, ob Lehrkräfte für die Vermittlung von Medienkompetenz ausreichend ausgebildet seien: drei antworteten mit „ja“, eines mit „unbekannt“. Mehrmals weisen Ministerien darauf hin, dass die Schulen eigene Medienkonzepte hätten. Häufig argumentieren sie, bei der Vermittlung von Medienkompetenz handele es sich um eine fächerübergreifende Aufgabe.

Lehrer Meyfarth ist selbst Vater von vier Kindern, drei davon haben bereits ein eigenes Smartphone. Er sagt: „Wir können es uns nicht leisten, zu warten und auf Bildung im Bereich Medienkompetenz zu verzichten.“ Schulen bräuchten aus seiner Sicht mehr Sozialarbeiter und Schulpsychologinnen, er spricht von „multiprofessionellen Teams“. Und dann sagt der 51-Jährige, der seit 24 Jahren an seiner Schule unterrichtet: „Wir Lehrer und Lehrerinnen schaffen das nicht mehr. Das Thema ist zu groß.“

Aber wer kann es dann machen?

Ein Videogespräch mit Lara Niederberger in Berlin. Die 31-Jährige sagt: „Das Feld der sozialen Medien ist superdynamisch, diese Entwicklung zu monitoren und sich zu überlegen, wie man das pädagogisch vermitteln kann, ist ein Vollzeitjob. Wenn man sich den Alltag von Lehrkräften anschaut, dann ist das einfach nicht machbar.“ Niederberger ist Koordinatorin des medienpädagogischen Präventionsprojekts „AntiAnti“ des Vereins Mediale Pfade, das sich mit Online-Radikalisierung in den Bereichen Rechtsextremismus, Antisemitismus und Islamismus befasst. Das Konzept richtet sich an pädagogische Fachkräfte sowie an Jugendliche, der Verein bietet zum Beispiel in Schulen oder Jugendeinrichtungen Workshops für 14- bis 21-Jährige an. In Berlin seit 2018 und seit 2024 in Brandenburg werden die Seminare vom zuständigen Senat beziehungsweise Ministerium gefördert.

Niederberger sitzt in ihrem Büro vor der Kamera und erklärt: Skandalisierende, polarisierende und emotionalisierende Videos im Internet bewirkten, dass sich junge Menschen durch die permanente Konfrontation mit Krisen und gefühltem Chaos überfordert und ohnmächtig fühlten. Die zahlreichen Radikalisierungsangebote im Netz mit ihren ungeprüften Inhalten seien niedrigschwellig zugänglich und böten vermeintlich einfache Lösungen und Schuldige für komplexe Zusammenhänge und Probleme, was eine Radikalisierung begünstige.

So weit die Analyse – aber was ist die Lösung?

Die 31-Jährige sagt: „Ambiguitätstoleranz“. Das Wort beschreibt die Fähigkeit zu erkennen, dass es in der Welt Ungewissheiten und Mehrdeutigkeiten gibt, dass es nicht immer eine klare Einteilung in richtig und falsch gibt oder eine einfache Lösung für ein komplexes Problem. In den „AntiAnti“-Workshops werde dem begegnet, indem die Teilnehmenden nach ihren Empfindungen gefragt werden: „Es ist zum einen wichtig anzuerkennen, dass Gefühle wie Angst oder Frustration berechtigt sind, und zum anderen, dass niemand von uns immer alles verstehen kann, weil wir in einer komplexen globalisierten Welt leben, und dass wir lernen müssen, das auszuhalten.“

Am Workshop-Anfang steht der Austausch, erläutert Niederberger: „Wir lassen die Jugendlichen von ihrer Lebensrealität erzählen, zum Beispiel vom aktuellen Lieblings-TikTok-Video oder ihren Erfahrungen auf Social Media. Oft geht es darum, wie ihnen schon Hass im Netz begegnet ist, wie sie damit umgegangen sind und wie sie sich gefühlt haben.“ Insbesondere wird der Einfluss auf den personalisierten Algorithmus thematisiert und die Möglichkeiten, bestimmte Inhalte wie etwa Kriegsszenen oder Gewalt, die man nicht angezeigt bekommen möchte, bei der Plattform zu melden. Das brauche natürlich eine gewisse Konsequenz, sagt die Projektkoordinatorin. Es gebe aber Jugendliche, die sich solche Beiträge weitgehend „weggezüchtet“ hätten:

„Das zeigt, auch in der Nutzung entwickelt sich eine Medienkompetenz bei jungen Menschen, die man auch nicht unterschätzen sollte.“ Trotzdem spiele der Algorithmus immer mal wieder etwas Neues in den Feed rein, was man eigentlich nicht sehen möchte: „Wir nennen das eine Nebenbei-Normalisierung, also eine Normalisierung von Gewalt oder anderen problematischen Inhalten, ohne dass dieser Prozess bewusst von den Nutzern wahrgenommen wird.“

Ein wichtiger Punkt sei das Wissen über Funktions- und Interaktionslogiken von sozialen Medien: „Gerade TikTok, das für Jugendliche nicht nur Unterhaltungsplattform, sondern Hauptinformationsquelle ist, wird von verschiedenen ideologischen Akteuren aus der rechten oder islamistischen Szene sehr, sehr strategisch genutzt durch das Aufgreifen von aktuellen Trends, Memes, Hashtags oder bestimmter Emoji-Kombinationen, die wie ein Code funktionieren, um einer Löschung zu entgehen, etwa zwei Blitze statt ‚SS‘.“

Letztlich geht es doch darum, sagt Niederberger, „zu schauen, wie Medien genutzt werden können, damit sie für uns als Gesellschaft gut sind“.

Thomas-Gabriel Rüdiger ist ein Zocker und Nerd. Er wuchs auf mit Games, Comics und Science-Fiction-Serien und hat heute jede Menge „Geek-Stuff“ zu Hause. Im Online-Interview sitzt er vor einem bunten virtuellen Hintergrund, aber dahinter verbergen sich „Star Wars“-Helme, Laserschwerter, Marvel-Zeug und Tabeltop-Figuren, sagt er. Er spiele auf dem Rechner und dem Handy, „alles rauf und runter“. Zum einen macht es ihm einfach Spaß, das merkt man, wenn er darüber spricht. Zum anderen ist er überzeugt: „Authentizität spielt beim Thema digitale Bildung eine ganz wichtige Rolle dabei, wie man wahrgenommen wird. Sprich, wenn ich nicht selbst ein Gamer bin, habe ich ganz schlechte Karten, wenn ich mit Kindern oder Jugendlichen über Onlinespiele rede, denn sie merken immer schnell, ob jemand selbst zockt oder nur was darüber gelesen oder einen Vortrag darüber gehört hat.“ Dasselbe gelte auch für die Social-Media-Welt: „Es geht darum, diesen Raum wirklich zu verstehen.“

Rüdiger ist auch ein Ex-Polizist und Forscher, er leitet das Institut für Cyberkriminologie an der Hochschule der Polizei des Landes Brandenburg und bespielt einen Instagram-Kanal mit rund 28.000 Followern. Die Idee, Aufklärung im Digitalen zu betreiben, wurde geboren, als er immer mehr Anfragen zu Vorträgen erhielt und er sich fragte, wie er eine größere Zielgruppe erreichen könnte, ohne ständig unterwegs sein zu müssen: „Ich dachte mir, wir müssen doch dort Präventionsarbeit für junge Leute betreiben, wo die jungen Leute sind. Und das ist in den sozialen Medien und im Games-Bereich“, sagt Rüdiger. Das legt auch eine Studie des Digitalverbands Bitkom aus dem Jahr 2022 nahe: Fast 60 Prozent der 10- bis 18-Jährigen können sich „ein Leben ohne Internet nicht vorstellen“. Ein weiteres Ergebnis: Der Anteil der Kinder und Jugendlichen ab dem Alter von sechs Jahren, die ein Smartphone oder Tablet nutzen, liegt bei 98 Prozent.

Aber wie kann, wie sollte digitale Prävention aussehen?

Als „Sinnfluencer“ sieht sich Rüdiger, in Anspielung auf die sogenannten Influencer in den sozialen Netzwerken. „Fast jeder wird im digitalen Raum mit Kriminalität konfrontiert. Ob sie aber jeder als solche erkennt und ob jeder weiß, wie damit umzugehen ist, das macht den Unterschied“, sagt der Wissenschaftler. Auf seinem Instagram-Kanal zeigt er zum Beispiel, wie ein öffentlich gepostetes Foto mittels Alterungsfilter die gezeigte Person quasi für immer identifizierbar macht oder wie mithilfe von künstlicher Intelligenz daraus täuschend echt aussehende Videos werden. Viele seiner Beiträge richten sich direkt an Eltern, etwa mit der Bitte zu schauen, mit wem ihre Kinder Online-Games spielen und was sie dabei erleben. „Das Kind ist der Experte im Internet, nicht die Eltern. Da hat sich etwas verschoben“, sagt Rüdiger, selbst Vater von zwei Kindern mitten in der Pubertät. „Die Studienlage deutet darauf hin, dass sich viele Eltern überfordert fühlen“, sagt Rüdiger, „und jetzt erst reflektieren, dass vieles falsch gelaufen ist. Andere haben aber bis heute keine Sensibilität entwickelt, dass zum Beispiel Fotos der Kinder nicht ins WhatsApp-Profilbild gehören.“ Oder dafür, dass Alter und Geburtsdatum nicht im Netz veröffentlicht werden sollten, um Rückschlüsse auf persönliche Daten zu vermeiden. Deshalb möchte der Cyberkriminologe diese Informationen über sich selbst auch nicht für diesen Text preisgeben.

Wie Erik Meyfarth und Lara Niederberger ist Rüdiger überzeugt, dass nur eine interdisziplinäre, gesamtgesellschaftliche Zusammenarbeit zu ausreichender digitaler Bildung führen kann: „Wir müssen die Eltern fit machen, wir müssen die Schule fit machen, und wir müssen auch die Polizei fit machen.“ Angesichts der Bedeutung von Onlinekriminalität hält er es für essenziell, die Kompetenzen fürs Digitale bei den Angehörigen der Polizei aufzubauen. Seine Studierenden müssen sich daher an der Polizeihochschule mit der Nutzung von und dem Umgang mit sozialen Medien beschäftigen. Der ehemalige Polizist findet, es brauche eine Verlagerung der bestehenden Personalressourcen ins Netz. Und ein Nachdenken über strukturelle Änderungen, vielleicht sogar über „eine neue, bundesweit agierende, digitale Polizeieinheit“. Aber das ist natürlich wegen des Föderalismus mit dem örtlichen Zuständigkeitsprinzip – wie Bildung ist auch Polizei Ländersache – eine „leider noch eher utopische“ Vorstellung, ordnet Rüdiger ein.

Rüdiger sprüht vor Ideen, etwa zu virtuellen Streifen oder Kinder-Online-Wachen. Oder auch: „Der Staat könnte Clips schalten auf Streaming-Plattformen wie Amazon Prime, Netflix, Disney+, bei YouTube und in den öffentlich-rechtlichen Mediatheken.“ Vor angesagten Serien sollten damit in erster Linie Erwachsene angesprochen werden mit Fragen wie: Hast du dich mal gefragt, mit wem dein Kind eigentlich gerade online spielt? Findest du es richtig, wenn in Chats extremistische oder antisemitische Witze geteilt werden? Ein bisschen also wie das, was früher die Sendung „Der 7. Sinn“ im linearen Fernsehen war: eine Reaktion auf ein gesellschaftlich wahrgenommenes Phänomen – steigende Zahl Verkehrstoter infolge der Massenmotorisierung – in Form zeitgemäßer, digitaler Bildung.

Die will auch weiterhin die Freiherr-vom-Stein-Schule in Hessisch Lichtenau anbieten. Lehrer Meyfarth hat eine Information der Schulleitung auf der Website hochgeladen: „Künstliche Intelligenz (KI) verändert die Art und Weise, wie wir leben, arbeiten und lernen“. Es sei unerlässlich, dass die Schülerschaft ein Verständnis für diese Technologie entwickelt und ihre Potenziale sowie Herausforderungen erkennt. Der sprachbasierte KI-Bot ChatGPT der US-Firma OpenAI ist für jeden zugänglich und wird längst im Alltag genutzt. Das Problem: Aus Datenschutzgründen darf das Programm nicht einfach im Unterricht eingesetzt werden. Die Lösung: Meyfarth schrieb einen Antrag. Im Herbst soll seine Schule nun die erste im Schulamtsbereich sein, die mit einer auf ChatGPT basierenden, aber datenschutzkonformen KI arbeiten wird. Und bald soll dann schon in Klasse 6 das Medienkompetenzfach „CoMeT“ unterrichtet werden, damit in den höheren Jahrgängen Zeit für neue Themen wie KI geschaffen werden kann.

Der brasilianische Fußballstar Vinicíus Júnior, Deutschlands schnellster Sprinter Owen Ansah, die deutsche Biathletin Vanessa Voigt – sie alle erlebten in sozialen Medien schon eine Welle von Hasskommentaren. „Man liest immer wieder von Athletinnen und Athleten, die sich auf Social Media mit schlimmsten Anfeindungen und Beschimpfungen konfrontiert sehen“, sagt auch Thomas Weikert, Präsident des Deutschen Olympischen Sportbundes (DOSB). „Das wollen wir nicht länger dulden.“ Zu den Olympischen Spielen und den Paralympics hat der DOSB seinen Athletinnen und Athleten einen Hate-Speech-Filter angeboten, der Hasskommentare in Echtzeit erkennt und blockiert. Die Kommentare werden gespeichert, um sie in justiziablen Fällen an Strafverfolgungsbehörden weiterzugeben.

Laut einer Studie der Landesanstalt für Medien in Nordrhein-Westfalen (LFM NRW) haben mehr als 70 Prozent der Internetnutzerinnen und -nutzer in Deutschland bereits Hasskommentare online gesehen oder selbst erlebt. Die Landesmedienanstalten sind im Rahmen der Medienaufsicht auch für Internet-Dienste und Plattformen zuständig. Seit Jahren setzen sie KI-Tools ein, um Hass und Hetze im Internet aufzuspüren und zu bekämpfen. Früher durchsuchten studentische Hilfskräfte manuell Hunderte Kommentarspalten und Social-Media-Posts nach potenziellen Rechtsverstößen. Die Inhalte reichten von Holocaustleugnung über Volksverhetzung bis zu frei zugänglicher Pornografie. „Das war weder besonders effizient noch mitarbeiterschützend“, sagt die zuständige Referentin Barbara Banczyk. „Es war eine Sisyphus-Arbeit, bei der wir oft unvermittelt mit drastischen Inhalten konfrontiert wurden.“

Um effizienter zu arbeiten und die Mitarbeitenden besser zu schützen, kooperiert die Landesmedienanstalt NRW seit August 2020 mit dem Berliner IT-Unternehmen Condat. Das Ergebnis ist ein Software-Programm namens KIVI, eine Wortschöpfung aus KI und „vigilare“ (lat. „wachsam sein“). Das KI-Werkzeug durchsucht täglich bis zu 10.000 Seiten im Internet – darunter klassische Webseiten und Plattformen wie Telegram, TikTok oder X. Es ist auf potenziell strafbare Texte, Bilder und Videos trainiert, sucht nach Tausenden Stichworten und zeigt die Funde in einem Ticketsystem an. Zum Schutz der Mitarbeiterinnen und Mitarbeiter lässt sich jeder Arbeitsplatz so einstellen, dass explizite Inhalte im Vorschaubild nur unscharf dargestellt werden.

„Die Verstöße lassen sich jetzt priorisieren und entsprechend der Schwere abarbeiten“, sagt Banczyk und beschreibt damit einen weiteren großen Vorteil von KIVI gegenüber der manuellen Recherche. Die Bilanz: Allein die LFM in Nordrhein-Westfalen hat seit dem Start von KIVI im März 2021 bis Anfang Juli 2024 von insgesamt mehr als 43.000 Funden rund 38.300 überprüft und so 8.279 Verstöße bestätigt. „KIVI recherchiert für uns viel breiter nach rechts und links, und unsere Trefferquote hat sich deutlich erhöht“, sagt Banczyk. Die Anzahl der Strafanzeigen an die Staatsanwaltschaft konnte mehr als verdoppelt werden. „Wir sehen KIVI als Unterstützung für Menschen und nicht als Ersatz“, betont Banczyk. Die Verantwortung müsse am Ende beim Menschen liegen. Juristinnen und Juristen der Landesmedienanstalten bewerten die Inhalte final.

Das Modell kam gut an: Seit April 2022 nutzen alle 14 Landesmedienanstalten KIVI und tauschen sich bundesweit über ihre Arbeit aus. KIVI verhindert durch das Ticketsystem, dass alle Landesmedienanstalten dieselben Posts bearbeiten. Das Programm wird fortlaufend optimiert, durch die größeren Datenmengen lernt es stetig dazu. Landesmedienanstalten können die entdeckten Inhalte nicht selbst löschen, sondern melden sie den Plattformen oder bringen sie zur Anzeige. Über eine Schnittstelle können sie ihre Strafanzeigen direkt aus KIVI an die Zentrale Meldestelle für Internetkriminalität beim Bundeskriminalamt (ZMI) senden. Die ZMI leitet die Fälle zur weiteren Strafverfolgung an die zuständigen Landeskriminalämter weiter. Nach Feststellung der Strafbarkeit der Inhalte kümmern sich die Landesmedienanstalten um die medienrechtliche Verfolgung – also um die Aufforderung zur Löschung bei den Plattformen.

Einen anderen Ansatz verfolgen Forschende der Hochschule Darmstadt, die zwei KI-basierte Softwareprogramme entwickelt und der Meldestelle „Hessen gegen Hetze“ zur Verfügung gestellt haben. DeTox steht für „Detektion für Toxizität“ und BoTox für „Bot- und Kontexterkennung im Umfeld von Hasskommentaren“. „DeTox durchsucht das Netz nicht aktiv selbst, sondern unterstützt die Meldestelle dabei, die von Nutzerinnen und Nutzern eingehenden Meldungen nach strafrechtlicher Relevanz zu sortieren und zu priorisieren“, erklärt Professor Dr. Melanie Siegel (Foto ganz oben), Leiterin des Forschungsprojekts von der Hochschule Darmstadt. BoTox geht noch einen Schritt weiter und erkennt mittlerweile gut, ob ein Mensch die Hasskommentare geschrieben hat oder ein Bot, also ein Roboter.

„Eines unserer größten Probleme ist es, dass sich die Themen mitunter schnell ändern. Im Jahr 2019, aus dem unser großer Datensatz stammt, gab es zum Beispiel noch kein Corona“, sagt Siegel. Das erfordert ein permanentes Nachtrainieren und ständiges Aktualisieren der Daten. Beleidigungen und Schimpfwörter ändern sich ebenfalls. „Man muss immer up to date sein“, so Siegel. Lebenslanges Lernen gilt auch für KI. Die Maschine lernt anhand der Daten, was potenziell strafbarer Inhalt ist und was freie Meinungsäußerung. Diese KI-unterstützten Sprachtechnologien extrahieren aus vorhandenen Daten Merkmale und versuchen so, neue Inhalte danach zu klassifizieren. „Danach muss immer noch ein Mensch draufgucken“, sagt Siegel. „Ich würde die Entscheidung am Ende nie einer Maschine überlassen.“

Die Forschung zu Hasskommentaren kommt nicht überall gut an. Die hessische Landtagsfraktion der AfD wittert in einer Kleinen Anfrage an die Landesregierung eine „ideologische Nutzung von künstlicher Intelligenz an der Hochschule Darmstadt“. Melanie Siegel sagt: „In unserem Forschungsprojekt geht es darum, Strafverfolgungsbehörden dabei zu unterstützen, strafrechtlich relevante Hasspostings schneller erkennen und priorisieren zu können. Das hat nichts mit Ideologie zu tun.“

Der Vorwurf der rechtspopulistischen Partei greift aus Siegels Sicht noch aus einem anderen Grund ins Leere. Die Professorin und ihr Team haben bereits bei der Entwicklung ihrer KI-Programme im Rahmen des Forschungsprojekts viele Hasskommentare zu den unterschiedlichsten Themen im Netz gesammelt, um die KI damit zu trainieren. Es zeigte sich: „Das meiste davon kam aus der rechtsradikalen Ecke.“ Für die Entwicklung der KI-Tools war das ein Problem. „Wenn man so einen unausgewogenen Datensatz hat, erkennt unser Tool Hass von links überhaupt nicht. Also habe ich meine Mitarbeitenden damit beauftragt, gezielt Hate Speech aus der linksextremistischen Ecke zu suchen und mit in unseren Datensatz aufzunehmen. Es war gar nicht so einfach, dies in ausreichender Menge zu finden, aber wir haben es geschafft.“

Melanie Siegel denkt im Rahmen des Forschungsprojekts wissenschaftlich, nicht in politischen Kategorien. „Menschen zu bedrohen, zu diskriminieren oder zu beleidigen hat mit politischer Ausrichtung nichts zu tun, sondern ist in jedem Fall verwerflich, teilweise sogar strafbar“, sagt Siegel. „Mich stört es sehr, dass dieser Hass mittlerweile so normalisiert wird. Das ist eine Tendenz, die mir gesellschaftlich überhaupt nicht behagt.“

Professor Dr. Melanie Siegel und ihr Team suchen weiter nach dem besten digitalen Helfer gegen den Hass im Netz. Jetzt geht es im Forschungsprojekt BoTox bis mindestens Januar 2025 darum, wie sich Hasskommentare über Netzwerke von Personen und Gruppen hinweg fortpflanzen. Und um die zentrale Frage: Wie lässt sich der Hass im Netz stoppen?

Ob der KI-Einsatz während der Olympischen Spiele in Paris Sportlerinnen und Sportler vor Hasskommentaren geschützt hat, ist indes noch unklar. Nach Angaben eines DOSB-Sprechers seien die Daten noch nicht ausgewertet.