31.10.2023 Facebook

KI- und Social Media Moderation: automatisierte Filterung von Spam, Hate Speech und unangemessenem Verhalten in der Community

In diesem Beitrag dreht sich alles um die Community-Moderation durch die Künstliche Intelligenz auf Social Media. Und es wird auch aufgezeigt, welche Grenzen die KI in diesem Einsatzgebiet hat.

Carina Kröpfl
6 Min. Lesezeit
7 Kommentare

Lebendige Social Media Communities erhöhen die Sichtbarkeit von Unternehmen, binden KundInnen und sorgen sogar für wachsende Umsätze. Aber manchmal reicht ein unangemessener Kommentar, um den Frieden zu stören. Treten solche oder Spam Kommentare häufiger auf, leidet das Nutzererlebnis spürbar. Denn mal ehrlich: Wer hält sich gerne an einem Ort auf, ob virtuell oder im echten Leben, an dem er ständig mit aufdringlicher Werbung oder Beleidigungen konfrontiert ist? In Communities von Nachrichtenmedien besteht zusätzlich die Gefahr, dass Bots Fake News verbreiten.

Künstliche Intelligenz eröffnet neue Möglichkeiten, Hate Speech, Spam und Co. frühzeitig zu erkennen und den Austausch in Social Media Communities vor schädlichen Einflüssen zu schützen.

Grundlagen zu künstlicher Intelligenz in der Social Media Moderation

KI-gesteuerte Social Media Moderation meint, dass Social Media Communities mithilfe von KI moderiert werden.

Dies bietet sich vor allem aus folgendem Grund an: KI-Tools verarbeiten in kurzer Zeit riesige Datenmengen. Sie können diese filtern, sortieren und automatisch Aktionen ausführen, beispielsweise einen Kommentar verbergen oder sogar darauf antworten.

Dies bringt eine Reihe von Vorteilen für Social Media ManagerInnen mit:

  • Es schafft die Möglichkeit, in kurzer Zeit grössere Mengen an Kommentaren zu analysieren beziehungsweise zu bearbeiten. Für die Content-Moderation in Medien Communities ist das besonders wichtig. Diese stehen oft unter Dauerbeschuss durch Bots und Trolle.
  • Das Team spart wertvolle Zeit, zum Beispiel für die Contenterstellung.
  • Die Fehlerquote sinkt und damit die Gefahr, dass ungefilterte Kommentare Schaden anrichten.
  • Schliesslich hebt es die Stimmung, wenn Social Media ManagerInnen nicht den ganzen Tag lang mit anstössigen Kommentaren beschäftigt sind.

Das heisst nicht, dass Community Management in die Hand einer Software gegeben werden soll. KI-Tools können viel Arbeit abnehmen, jedoch brauchen sie menschliche Aufsicht. Darauf folgen später mehr Informationen in diesem Beitrag.

Wichtig: Software, die Social Media Kommentare nach vorher definierten Keywords filtert, gab es auch bisher schon. KI-Tools gehen einen Schritt weiter, indem sie eigenständig potenziell unerwünschte Inhalte erkennen und Handlungen ableiten. In der Regel funktionieren sie – wie ChatGPT – mit Machine Learning.

Konkrete Anwendungsgebiete der KI in der Content Moderation

KI-Tools spielen ihre Stärken bei der Community Moderation vor allem in folgenden Bereichen aus:

  • Sie erkennen Spam Posts und Posts, die von Bots stammen. Meist handelt es sich um Beiträge, mit denen die AbsenderInnen Personen auf andere Websites locken wollen.
  • Sie identifizieren Hate Speech und toxisches Verhalten.
  • Schliesslich sind KI-Tools in der Lage, unangemessene Bilder und Videos zu erkennen. Denn nicht jeder unerwünschte Kommentar ist textbasiert.
Quelle: Screenshot swat.io | Carina Kröpfl

Quelle: Screenshot swat.io | Carina Kröpfl

Wie KI-Tools auf potenziellen Spam oder unangemessene Bilder reagieren, unterscheidet sich und lässt sich oft vorab einstellen.

Grob lassen sich folgende Funktionsweisen unterscheiden:

1. Das Tool markiert potenziell problematische Kommentare für menschliche Social Media ManagerInnen.
2. Die Software reagiert eigenständig auf «Treffer», indem sie diese zum Beispiel verbirgt oder direkt endgültig löscht.

Wichtig: Je nach Tool kann die Software weiter angelernt werden. Dies funktioniert häufig automatisch, nachdem Entscheidungen der KI überprüft und entweder angenommen oder korrigiert werden.

Die verschiedenen KI-Tools für die Community Moderation

Soll die Künstliche Intelligenz bei der Moderation von Social Media Communities helfen, existieren verschiedene Angebote:

Smart Moderation

Quelle: Screenshot Smart Moderation | Carina Kröpfl

Quelle: Screenshot Smart Moderation | Carina Kröpfl

Smart Moderation konzentriert sich auf den Kampf gegen Bots, Trolls, Spam und anstössige Kommentare. Personen können Kommentare automatisch verbergen lassen oder im manuellen Modus selbst entscheiden. Die Software lernt dazu und lässt sich einfach installieren. Die Verwaltung läuft über ein zentrales Dashboard. Allerdings gilt all das nur für Facebook, Instagram und YouTube.

Preise: ab 79 Dollar/Monat

Bodyguard.ai

Quelle: Screenshot Bodyguard.ai | Carina Kröpfl

Quelle: Screenshot Bodyguard.ai | Carina Kröpfl

Ähnlich wie Smart Moderation funktioniert Bodyguard.ai. Das Tool filtert selbstständig Kommentare, wertet zugrunde liegende Sentiments aus und sortiert zum Beispiel irrelevante und wertvolle Beiträge. Laut Anbieter, ein französisches Start-up, erkennt Bodguard.ai auch Emojis und Rechtschreibfehler.

Für Preise muss das Unternehmen kontaktiert werden.

Conversario

Quelle: Screenshot conversario.io | Carina Kröpfl

Quelle: Screenshot conversario.io | Carina Kröpfl

Nun folgt ein Tool, auf das Content ModeratorInnen grosser Nachrichtenmagazine wie Fokus, Spiegel oder ntv vertrauen. Conversario lässt sich mit Facebook, Instagram, LinkedIn, Twitter, YouTube und TikTok verknüpfen, ebenso wie mit vielen anderen Kanälen, die eigene Website inklusive.

Eines der zentralen Features von Conversario ist die Identifikation von Spam, Hate Speech und Co. Dafür bietet die Software umfangreiche Einstellmöglichkeiten. Zum Beispiel lässt sich die «Strictness» verändern. AnwenderInnen können je nach Uhrzeit oder Besetzungsstärke variieren und so die eigenen Kanäle ganz oder nur teilweise von Conversario überwachen lassen. Zusätzlich ermöglicht es die Software zum Beispiel, Interaktionen zu analysieren und zu teilautomatisieren oder wichtige Community TreiberInnen aufzuspüren.

Preise macht das Unternehmen leider nicht öffentlich.

Swat.io

Quelle: Screenshot swat.io | Carina Kröpfl

Quelle: Screenshot swat.io | Carina Kröpfl

Swat.io ist ein umfassendes Social Media Management Tool für Publishing, Community Management, Analyse und Customer Service. In immer mehr Bereichen bietet die Software Menschen KI-Funktionen. Das gilt auch für die Community Moderation.

Zum Beispiel unterstützt dieses KI-Tool bei der Beantwortung von Kommentaren. In Kürze gibt es ausserdem die Option, dass die künstliche Intelligenz Kommentare analysiert und automatisch verbirgt. Auch hier sind mehrere Abstufungen möglich.

Damit bietet Swat.io gute Voraussetzungen, um menschliches Community Management und Community Moderation durch KI in einer Schaltzentrale zu verbinden.

Preise: ab € 35 pro Monat

Wichtig: Bei der Auswahl eines KI-Tools für die Community Moderation muss darauf geachtet werden, welche Sprachen die Software beherrscht.

Limitationen und ethische Überlegungen

Wie bereits beschrieben: Die Community Moderation komplett in die Hände der KI zu legen, ist keine gute Idee.

Mehrere Gründe

  • Egal wie gut die Software ist, sie ist nicht perfekt. Zum Beispiel sind KI-Tools kaum in der Lage, Stilmittel wie Ironie oder Sarkasmus einwandfrei zu erkennen. Dasselbe gilt für Dialekte.
  • Keine Software versteht alle Sprachen (gleich gut).
  • Wann es sich bei einem Kommentar um Hate Speech handelt und wann um seriöse Kritik, ist manchmal schwer zu entscheiden. Kritische Kommentare einfach zu verbergen oder zu löschen, ist weder zielführend noch moralisch einwandfrei.

Ebenso besteht ein Risiko, dass das Tool böswillige Kommentare nicht ausreichend erkennt. Ein weiteres Risiko besteht darin, dass immer wieder, ohne hinreichenden Grund, Kommentare verborgen oder gar gelöscht werden. So fühlen sich Community-Mitglieder nicht wertgeschätzt und im schlimmsten Fall kann ein vorschnell gelöschter Kommentar sogar zu einem Shitstorm führen. Davon abgesehen wünschen sich die Menschen auf Social Media eine Interaktion mit echten Menschen.

Entgegnet werden kann dies, indem die Entscheidungen der Software zeitnah kontrolliert und korrigiert werden. Dafür ist es wichtig, klare Workflows zu installieren.

Fazit: Die Bedeutung von KI wird wachsen

Das Hauptaugenmerk in der Diskussion über KI und Social Media Marketing liegt aktuell auf der Contenterstellung. Jedoch nutzen immer mehr grosse Unternehmen und Medienorganisationen die künstliche Intelligenz auch zur Community Moderation.

Die Vorteile davon sind klar: KI-Tools filtern und analysieren in Rekordzeit grosse Mengen an Kommentaren. Sie sind auch in der Lage schnell genug zu reagieren, bevor Spam oder Hate Speech Schaden anrichten können. Auch deshalb wird ihre Bedeutung in der Zukunft wachsen.

Wichtig ist, dass die Risiken im Blick behalten und KI-Tools nicht als eigenständige Community ManagerInnen angesehen werden. Erst im Zusammenspiel von Mensch und Maschine entfaltet sich ihr volles Potenzial.

Kennst Du…?

Den Digital Marketing Upgrade Podcast der Hutter Consult mit regelmässigen Social Advertising News? Hier gibts was auf die Ohren. 

Facebook LinkedIn Xing

Kommentar via Facebook

Bitte akzeptieren Sie die Cookies um die Facebook Kommentare zu nutzen.

Schreib uns einen Kommentar

  1. info@stier-umzug.de' Resit sagt:

    Hallo Carina, mit deinem Artikel sprichst du ein hochaktuelles Thema an. Die KI und die damit verbundenen Tools bieten viele Chancen an, davon sollte die Gesellschaft auch profitieren. Allerdings wird die Bedeutung der KI und das selbstlernende Funktion unterschätzt. Jetzt ist es vielleicht noch nicht soweit, aber bald wird die KI in unserem Leben eine hochriskante Rolle spielen, weil wir das Handeln nicht mehr kontrollieren können. Für die Vorstellung dieser Tools möchte ich bedanken. Sicherlich sind sie an einigen Stellen sehr sinnvoll und erleichtern vieles. Aber diese Tools sollten keinesfalls die gesamte Kontrolle über den geteilten Inhalt erhalten. Diesen Tools ein Limit zu setzen, worüber sie entscheiden dürfen wäre dringend ratsam.

    Viele Grüße aus Berlin
    Resit

    1. carina.kroepfl@swat.io' Carina sagt:

      Hallo Resit,

      danke für deinen Kommentar! Ja, ein Mensch muss immer die Endverantwortung haben, wenn KI-Tools eingesetzt werden. Die Risiken werden ja auch im Blog Post besprochen. Künstliche Intelligenz darf immer nur als Inspiration oder Hilfestellung gesehen werden, nie als Ersatz für Community ManagerInnen aus Fleisch und Blut.

  2. info@glamatronic.de' Philipp S. sagt:

    Liebe Carina,

    ich habe mit Begeisterung deinen Text gelesen. Das Thema KI interessiert mich sehr und gerade wenn man eine eigene Website hat, die mit Leben gefüllt werden will, ist die KI nicht mehr wegzudenken. Doch bin ich ganz bei dir, dass man es auf jeden Fall vermeiden sollte, alles von der KI schreiben zu lassen.

    Liebe Grüße
    Philipp S.

    1. carina.kroepfl@swat.io' Carina sagt:

      Hi Philipp, danke, da gebe ich dir völlig recht! Viel Erfolg mit deiner Website.

  3. Hallo Carina, die fortschreitende Integration von KI in die Moderation von sozialen Plattformen wirft zweifellos interessante ethische Überlegungen auf. Diese sich entwickelnde Symbiose zwischen Mensch und Maschine verspricht eine aufregende Zukunft im digitalen Raum. Danke, dass du diese spannenden Aspekte mit uns geteilt hast!
    Liebe Grüße,
    Marcel Richter

    1. carina.kroepfl@swat.io' Carina sagt:

      Hallo Marcel, danke für deinen Kommentar! Ja, damit hast du absolut recht. Beim Einsetzen von KI in der Moderation sollten wir uns immer fragen, ob wir auch wollen würden, dass unsere Anliegen von der künstlichen Intelligenz beantwortet werden.

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Möchtest Du immer auf dem neusten Stand mit unseren Newsletter sein?

Melde Dich jetzt an