Deborah Schnabel über den Band „Code und Vorurteil“: „Antisemitismus wird stark durch KI verbreitet“
![Junge Menschen informieren sich oft über TikTok über Neuigkeiten.](https://www.fr.de/assets/images/34/683/34683881-junge-menschen-informieren-sich-oft-ueber-tiktok-ueber-neuigkeiten-17fe.jpg)
Deborah Schnabel über den Band „Code und Vorurteil“, in dem es um Verschwörungserzählungen und Hass im Internet geht.
Frau Schnabel, „Code und Vorurteil“ – ein schöner Titel. Er klingt auch ein wenig nach Schullektüre, oder sagen wir nach Bildungsarbeit...
So ist es. Ich bin 2020 mit dem Auftrag zur Bildungsstätte Anne Frank gekommen, die digitale politische Arbeit neu aufzubauen. Im ersten Schritt haben wir uns die Sozialen Medien als Möglichkeits- und auch Gefahrenräume der antisemitismus- und rassismuskritischen Bildungsarbeit angeschaut. Einen Schritt weitergedacht, landet man schnell bei der Künstlichen Intelligenz, die eine immer wichtigere Rolle spielt. Gerade im Superwahljahr 2024, in dem die KI stark auf Meinungsbildungsprozesse einwirkt und es um die Macht der Bilder geht, haben wir uns zum Ziel gesetzt, uns dem Thema KI zu widmen.
Auf welche Zusammenhänge von Antisemitismus und KI sind Sie gestoßen?
Zunächst haben wir uns die Mechanismen der KI angeschaut. Die Trainingsdaten der KI führen die Biases der Gesellschaft fort, verbreiten sie weiter und verstärken die Diskriminierungsmechanismen der Gesellschaft, was wiederum auf die KI zurückwirkt. Dann haben wir uns angeguckt, in welchen Lebensbereichen die von Antisemitismus und Rassismus betroffenen Menschen mit KI in Berührung kommen, wie Tools Ausschlüsse erzeugen und fortführen, ob die Tech-Branche auch marginalisierte Gruppen mitdenkt, auf wessen Rücken die KIs trainiert werden. Was die Aufarbeitung von Rassismus und Antisemitismus durch die KI angeht, haben wir vor allem beim Antisemitismus eine große Leerstelle entdeckt. Wir haben es dabei vorrangig mit den klassischen Verschwörungserzählungen zu tun, die stark durch die KI verbreitet werden.
In Ihrem Buch wird die KI als „Extremismusschleuder“ bezeichnet. Wie viel Antisemitismus und Rassismus produziert die KI und wo begegnen wir dem Hass?
Extremismus findet man wirklich überall im Netz. Die Sozialen Medien sind eine Distributionsplattform für KI-generierten Hass. Man ist sehr schnell zum Beispiel bei den schon genannten antisemitischen Verschwörungserzählungen, die dann durch die KI-gesteuerten Algorithmen auch noch befeuert werden. Das System funktioniert nach der Logik, dass belohnt wird, was extrem ist, weil damit sehr intensiv interagiert wird. Und dann haben wir es massenhaft mit radikalen Inhalten zu tun, die in die Feeds gespült werden. Selbst, wenn die Person gar nicht nach den Inhalten gesucht hat.
Können Sie ein Beispiel dafür nennen?
Für eine andere Veröffentlichung, unseren Report „Die TikTok-Intifada“, haben wir den Selbstversuch mehrmals gemacht: Wenn wir uns bei TikTok als ganz frischer User, frische Userin anmelden und den Suchbegriff „Gaza“ eingeben, suchen der Algorithmus und die dahinterliegende KI – die uns noch nicht kennt – für uns Videos raus, die zu diesem Begriff gerade trenden. Es kommen erst internationale Videos, die sich auf die humanitäre Lage in Gaza beziehen, und dann das erste deutsche Video, von einer Influencerin. Sie verbreitet die Verschwörungserzählung, dass der 7. Oktober ein Inside-Job gewesen wäre, dass also die israelische Regierung von dem Anschlag der Hamas gewusst habe. Dieses Video wird als relevant ausgewählt und im Feed platziert, obwohl es keine sachliche Information ist. Wenn man sich einen jungen Endnutzer vorstellt, der sich ohne Vorwissen zum Nahost-Konflikt informieren will, ist das sehr bedenklich.
Meine news
Das Buch
Deborah Schnabel, Eva Berendsen, Leo Fischer, Marie-Sophie Adeoso (Hg.): Code & Vorurteil. Über Künstliche Intelligenz, Rassismus und Antisemitismus. Verbrecher Verlag, Berlin 2024. 232 S., 20 Euro.
Die KI hilft also auf der einen Seite bei der massenweisen Verbreitung, aber sie generiert auch selbst Hassbotschaften. Welche KI-generierten, antisemitischen Inhalte haben Sie entdeckt?
Kurz nach dem Angriff der Hamas im Oktober machte ein KI-generiertes Bild die Runde, das vermeintlich palästinensische Opfer zeigte, darunter auch Kinder. Später wurde es als Fake entlarvt, aber auf den ersten Blick sah es sehr realistisch aus. Warum ist das antisemitisch? Es bedient das Narrativ, dass Juden und Israelis Kindermörder sind und dass das israelische Militär gezielt an der Auslöschung einer Bevölkerungsgruppe arbeitet. Das wird durch diesen Deepfake transportiert. Ein anderes Beispiel ist ein Filter, der viral ging, und der Gesichtsausdrücke so verzerrt, dass sie den antisemitischen, stereotypen Bildern eines vermeintlich jüdischen Gesichts entsprechen. Oder der Filter veränderte die Gesichter so, dass man sie für Shoah-Opfer halten sollte. Es zeigt, wie weit die Menschen in ihrem Hass gehen, möglich gemacht durch die KI. Genutzt werden KI-Bildgeneratoren übrigens sehr stark von der AfD und anderen rechten Akteuren, wenn sie ihre Botschaften bebildern möchten.
Zwischen einigen Großkonzernen ist ein Wettbewerb um die Entwicklung der KI entbrannt. Legen die Unternehmen denn mittlerweile mehr Wert auf eine gerechtere KI?
Die KI-Entwicklung ist sehr kommerziell dominiert und liegt in der Hand von wenigen, zugleich sehr wirkmächtigen Akteuren. Ich bin der Meinung, dass Konzerne mehr in die Verantwortung genommen werden müssen und auch von ihnen viel mehr an Eigeninitiative kommen müsste. Mittlerweile versuchen Konzerne wie OpenAI, politisch korrekt zu agieren und Rassismus und Antisemitismus, aber auch radikales islamistisches oder rechtes Gedankengut aus der Software herauszunehmen. Daran sieht man, dass es möglich wäre – wenn es sich zum Ziel gesetzt würde. Man kann diese Anwendungen aber auch austricksen. Gerade von Rechtsradikalen wissen wir, dass sie versuchen, ihr eigenes ChatGPT aufzusetzen und eigene KI zu entwickeln und zu nutzen.
Was sind unsere Möglichkeiten der Einflussnahme, gibt es eine gesellschaftliche Gegenwehr?
Es gibt einige Projekte, die sich engagieren, etwa „Decoding Antisemitism“: Da wird Software entwickelt, die KI besser aus dem Netz filtern oder Verschwörungserzählungen erkennbar machen kann. In einem anderen Projekt wird eine KI entwickelt, die Verschwörungserzählungen erklärt, oder die uns darauf aufmerksam macht, dass das, was wir konsumieren oder vielleicht auch selbst schreiben, antisemitische Stereotype reproduziert. Die Möglichkeiten sind da. Man muss sie nutzen, und das hängt von Geldern ab. Die politische Bildung mithilfe der KI kostet weitaus mehr als ein Workshop. Fatal ist dabei die finanzielle Knappheit, bei gleichzeitiger rasanter Entwicklung der Technik. Wir hängen mit dem Nachdenken darüber, wie progressive Kräfte KI nutzen können, ziemlich hinterher. Im Moment ist es so, dass die KI eine firme und starke Zivilgesellschaft bräuchte, diese aber noch nicht so ganz warm geworden ist mit dem Thema KI. Die Blockade und Abwehr überwiegt, auch die Angst, was uns da erwartet. Die Wissenslücke, um es wirklich richtig einschätzen zu können, gilt es nun zu schließen, das war eine wichtige Motivation für das Buch.
Welches Szenario steht uns noch bevor?
Die KI wird immer weiter im Alltag ankommen. Und wir sehen schon, dass auf Tech-Konzerne mehr Druck ausgeübt wird, nachzujustieren. Die Branche wird vielleicht auch etwas sensibler. Die Probleme, die wir benennen, lassen sich aber so lange nicht lösen, wie es strukturellen Antisemitismus und Rassismus in der Gesellschaft gibt. Denn solange es diese und andere Diskriminierungsformen gibt, werden sie auch immer wieder in den technischen Produkten, die wir nutzen, auftauchen. Große Sorge bereiten mir das verstärkte Auftauchen von Deepfakes, Falsch-infos, Verschwörungserzählungen und Dynamiken im Netz, weil wir sehen, wie stark sich das auf die Meinungsbildung auswirkt. Das kann eine Gefährdung für die Demokratie sein. Löschverfahren sind außerdem viel zu langsam, und problematische Inhalte bleiben zu lange im Netz. Vor allem junge Menschen nutzen KI viel, bewerten sie eher positiv. Zugleich schreitet die Technologie weiter voran, und man kann sich darüber sorgen, dass wir sie nicht mehr abfangen können.
![Deborah Schnabel ist seit 2022 Direktorin der Bildungsstätte Anne Frank, davor war sie stellvertretende Direktorin mit Schwerpunkt Digitale Politische Bildung. Foto: Felix Schmitt](https://www.fr.de/assets/images/34/683/34683882-deborah-schnabel-ist-seit-2022-direktorin-der-bildungsstaette-anne-frank-davor-war-sie-stellvertretende-direktorin-mit-schwerpunkt-digitale-politische-ORBG.jpg)