Zwischen Chance und Verantwortung - KI im Einsatz für eine konstruktive Diskurskultur?

Welche Potenziale bieten KI-Modelle für eine respektvolle, faktenbasierte Online-Kommunikation? Wo können sie zivilgesellschaftliche Arbeit stärken und uns entlasten? Welche Risiken für Diskurse, Machtverhältnisse und Teilhabe müssen wir im Blick behalten? 

Darüber haben wir mit den Verantwortlichen der Projekte KIdeKu und PENEMUE sowie Wikimedia Deutschland e.V. bei unserem letzten NETTZ.Gespräch in 2025 gesprochen.

Welche Chancen eröffnet KI für eine lebendige, konstruktive Debattenkultur und welche Verantwortung geht damit einher? – Einblicke in zwei Projekte

KIdeKu

Sebastian Cacean eröffnete das NETTZ.Gespräch mit einer Vorstellung des Projekts Chancen von KI zur Stärkung unserer deliberativen Kultur (KIdeKu), das untersucht, wie Large Language Models, also generative Sprachmodelle, eingesetzt werden, um unsere demokratische Diskurskultur und die politische Willensbildung zu stärken. Dem Projekt liegt die Vorstellung zugrunde, dass KI-Tools zur Detektion von Hassrede Mitarbeitende in zivilgesellschaftlichen Organisationen, die sich gegen Hass im Netz engagieren oder entsprechende Meldungen bearbeiten, psychisch entlasten und die Bearbeitungszeit verkürzen.

Dazu wurde im Rahmen von KIdeKu der Prototyp eines KI-basierten Tools – der „Toxicity Detector” – entwickelt, der Äußerungen wie z.B. Kommentare unter Social Media-Beiträgen anhand von 12 Indikatoren danach prüft, ob sie Hassrede enthalten. Ein generatives Sprachmodell fasst die Ergebnisse der Prüfung in einer Gesamteinschätzung zusammen und kategorisiert sie anschließend.

Allerdings stehen Tools wie KIdeKu vor diversen Herausforderungen: Nicht nur handelt es sich bei Hassrede um ein soziokulturelles Phänomen, das abhängig von kulturellen und situativen Kontexten und somit nicht immer eindeutig zu kategorisieren ist. Auch bleibt durch das Fehlen einer eindeutigen Definition für Hassrede in vielen Fällen eine Interpretationsoffenheit für das Tool bestehen.

Damit der „Toxicity Detector” Hassrede effektiv einordnen kann, muss es über Informationen zum Kontext von Aussagen und ausreichende Datensätze zum Trainieren verfügen.

Um dieses Ziel zu erreichen, hat KIdeKu vier Lösungsansätze entwickelt:

1. Unabhängige Evaluation mit offenen Testdatensätzen
2. Technische Transparenz zu Datensätzen, Trainingsdaten, Prompts (noch besser: Open Source-Lösungen)
3. Erklärbare KI über Decoder-Modelle, mit denen User*innen sprechen und nachfragen können
4. Userkontrolle: Einspruchs- und Korrekturmöglichkeiten

PENEMUE

Im Anschluss an Sebastian Cacean sprach die Mitgründerin und COO Sara Egetemyr vom Start-Up PENEMUE über ihr entwickeltes KI-basiertes Tool, das Hassrede und potenziell strafbare Inhalte in Echtzeit erkennt und damit Menschen unterstützt,, die in der Öffentlichkeit stehen und Hass und Hetze ausgesetzt sind.

Mit dem „Digitalen Schutzengel“ können die eigenen Social Media-Kanäle so miteinander verknüpft werden, dass alle eingehenden Kommentare durch das Tool analysiert werden, welches anschließend Empfehlungen dazu ausspricht, welche Kommentare problematisch sein könnten. 

Die von PENEMUE trainierte KI erkennt den Kontext eines Kommentars, codierte Sprache im Lichte eines digitalen Sprachwandels und gibt eine juristische Einstufung inkl. Aufklärung über mögliche weitere juristische Schritte. Außerdem besteht die Möglichkeit, erkannte Kommentare direkt an die Staatsanwaltschaft weiterzuleiten.

Den spannenden Einblicken in die entwickelten Tools folgte eine Diskussion mit beiden Projektverantwortlichen sowie Stina Lohmüller von Wikimedia Deutschland e.V. und Beyond AI Collective e.V. über die Folgen der Nutzung von KI für eine konstruktive Diskurskultur und darüber, wie mögliche ungewollte Konsequenzen verhindert werden können.

Wie kann die Zivilgesellschaft KI effektiv nutzen?

Zum Einstieg in die Diskussion brachte Stina Lohmüller zwei wichtige machtkritische Fragen auf, deren Klärung beim Einsatz von KI-Modellen für Content Moderation entscheidend sei, und bot mögliche Antworten:

1. Wer definiert, was unter Hate Speech fällt? Oft werde das aus eurozentrischer Perspektive festgelegt. Eine Möglichkeit, Hate Speech gegen marginalisierte Gruppen in die Anwendung einzubeziehen, könnten von spezifischen Communities erarbeitete Regeln sein.
2. Nicht Tech-Konzerne sollten die Regeln und Normen für respektvollen Diskurs vorgeben, denen sie in der Praxis selbst nicht folgen. Man müsse sich immer fragen: In welchem ethischen Kontext steht eine Aussage und wie können wir diesen Kontext mitgestalten?

Am wichtigsten sei, sich immer wieder vor Augen zu führen: Das Digitale ist ein öffentlicher Raum. Das berge diverse Risiken, aber eben auch die Chance, ihn selbst zu gestalten. 

Diskutiert wurde auch der Einsatz von Large Language Models (LLM) in der zivilgesellschaftlichen Arbeit: Was können sie leisten – welche Arbeit können sie übernehmen – und was nicht? Alle Speaker*innen berichteten dabei von einer gefühlten Diskrepanz bei den User*innen zwischen Erwartungen an die KI-Nutzung und der tatsächlichen Realität darüber, was LLMs bieten können. Dabei hätten vor allem Minderheiten die Angst, dass Biases reproduziert würden und so zum Beispiel effektive Meldungen von Hassrede verhinderten. PENEMUE beschäftige daher ein diverses Annotationsteam und beziehe Forschende beim Training ihrer KI mit ein, um Diskriminierungs-Biases nicht zu reproduzieren. 

Sebastian Cacean von KIdeKu betonte, dass zusätzlich immer manuelle Interventionsmöglichkeiten gegeben sein müssten – im besten Fall von denjenigen, die die hasserfüllten Äußerungen betreffen. Eine weitere Möglichkeit sei die Nutzung von Open-Source-Modellen, die lokal trainiert werden können, statt großer kommerzieller KI-Produkte, bei denen die Biases nicht angepasst werden könnten und die am Ende eine große Black Box darstellen. Um aber tatsächlich effektive Meldungen zu ermöglichen, müsse unabhängig von eingesetzten Tools vor allem die Rechtsdurchsetzung im Internet besser werden, betonte Sara Egetemeyr von PENEMUE. 

Um KI-Tools in der Content-Moderation oder für zivilgesellschaftliche Arbeit verlässlich nutzbar zu machen, müssten wir anstatt uns zurückzuziehen oder jegliche Nutzung von KI zu unterbinden, Sprache und Diskurs sowie die Rolle von KI innerhalb dieser aktiv verhandeln. Stina Lohmüller verband ihr Fazit mit einem Aufruf in das Netzwerk der zivilgesellschaftlichen Organisationen: Unsere Kapazitäten sind oft begrenzt – lasst uns deshalb die Stärken unserer Vernetzung nutzen, um Kompetenzen aufzubauen, Wissensvermittlung voran zu treiben und uns fortlaufend auszutauschen. So können wir gemeinsam daran arbeiten, von den großen Konzernen Abstand zu nehmen.

Die wichtigsten Erkenntnisse aus dem NETTZ.Gespräch lauten daher zusammengefasst:

Eine Verknüpfung von wissenschaftlichen Erkenntnissen mit praktischer Anwendung von KI-Tools in der Content-Moderation bzw. zivilgesellschaftlichen Arbeit ist unter bestimmten Voraussetzungen möglich.

Wenn man:

1. keine komplette Automatisierung erwarte
2. in LLMs enthaltene Biases durch Transparenz sichtbar mache, um das Vertrauen in sie zu stärken
3. Open Source-Nutzung in den Fokus stelle und durch Vernetzung von Anbietern und der Zivilgesellschaft stärke
4. und Regeln für demokratischen und respektvollen Diskurs im Internet als Zivilgesellschaft innerhalb der Demokratieförderung selbst aushandle

→ könnten KI-Tools die vielfältige zivilgesellschaftliche Arbeit gegen Hass im Netz perspektivisch unterstützen.

Speaker*innen

Sebastian Cacean 
(KIdeKu)

Sebastian Cacean ist Wissenschaftler am Karlsruher Institut für Technologie mit einem Hintergrund in Philosophie und Naturwissenschaften. Seine Forschungsinteressen umfassen Argumentationsanalyse, (Methodologie der) Inhaltsanalyse, angewandte Ethik, formale Epistemologie und Wissenschaftstheorie. Er leitet seit 2024 das Projekt KIdeKu.

Sara Egetemeyr
(PENEMUE)

Sara Egetemeyr ist Mitgründerin und Geschäftsführerin von PENEMUE. Sie setzt sich dafür ein, Menschen vor Hass im Netz und digitaler Gewalt zu schützen. Sie studierte Betriebswirtschaftslehre, Kulturwissenschaften und Philosophie. In ihrer Arbeit verbindet sie technologische Innovation mit dem klaren Ziel, Meinungsfreiheit und Vielfalt zu sichern.

Stina Lohmüller
(Wikimedia Deutschland e. V.,  Beyond AI Collective e.V.)

Stina Lohmüller ist Referentin für digitale Demokratie bei Wikimedia Deutschland. Sie arbeitet an den Schwerpunkten Digitalpolitik, Datennutzung und soziale Gerechtigkeit. Außerdem hat sie das Beyond AI Collective mitgegründet und verbindet darin Machine Learning, Antidiskriminierungsarbeit und Technikphilosophie.

Moderation:

Amos Wasserbach, Senior Strategy & Business Development Manager bei Das NETTZ - Vernetzungsstelle gegen Hate Speech.

Falls euch Veranstaltungen wie dieses NETTZ.Gespräch interessieren, abonniert gerne unseren Newsletter. Dort informieren wir regelmäßig über Neuigkeiten, Projekte und Events rund um das Thema Hass im Netz.

Förderhinweis

Das NETTZ.Gespräch ist eine Veranstaltung von Das NETTZ als Teil von toneshift – Netzwerk gegen Hass im Netz und Desinformation und wird gefördert vom Bundesprogramm „Demokratie leben!“ vom Bundesministerium für Bildung, Familien, Senioren, Frauen und Jugend. Für inhaltliche Aussagen und Meinungsäußerungen tragen die Publizierenden dieser Veröffentlichung die Verantwortung.