Chronologie
einer Radikalisierung
Wie Telegram zur wichtigsten Plattform für Verschwörungsideologien und Rechtsextremismus wurde
Innerhalb der vergangenen drei Jahre entwickelte sich Telegram zur wichtigsten Plattform für Verschwörungsideolog:innen und Rechtsextreme im deutschsprachigen Raum. Mit dem Messengerdienst erreichen zahlreiche Kanäle täglich Hunderttausende – die Anzahl der Aufrufe einiger Nachrichten geht in die Millionen.
Der Messengerdienst wurde beispielsweise genutzt, um während der Coronapandemie die Proteste der sogenannten Querdenken-Bewegung zu organisieren und Verschwörungserzählungen über die Impfung zu verbreiten. Die auf der Plattform geteilten prorussischen Desinformationen schaffen es weit über die Chatverläufe hinaus, tief in die politischen Diskurse und Einstellungen Einfluss zu nehmen. Putsch- und Terrorpläne wurden öffentlich diskutiert und antisemitische Inhalte massenhaft verbreitet.
Mehrere „Alternativmedien“ erreichen über Telegram regelmäßig ein sechsstelliges Publikum und schaffen es so, selbst größere Redaktionen zu finanzieren. Staatliche Sanktionen werden umgangen, indem prorussische Desinformations-Influencer:innen über Telegram direkte finanzielle Unterstützung erhalten. Aktuell bauen Telegram und sein Gründer Pawel Durow diese Möglichkeiten sogar noch weiter aus: Telegram wird damit langfristig nicht nur zur Verbreitung, sondern auch zur internationalen Finanzierung von Desinformation und Verschwörungsideologien genutzt werden.
Nach wie vor hält sich der Glaube, Telegram würde nicht auf staatliche Anfragen reagieren und keinerlei Inhalte löschen. Ein Irrglaube. In der Vergangenheit zeigte sich, dass Telegram, wenn der Druck zu groß wurde und beispielsweise eine Sperrung in den App Stores von Google und Apple befürchtet wurde, durchaus reagierte – jedoch bisher nur willkürlich und unsystematisch.
Wie konnte Telegram in so kurzer Zeit zur wichtigsten Plattform für Verschwörungsideolog:innen und Rechtsextreme werden? Warum konnte sich die Plattform bisher fast jedem Versuch der Regulierung entziehen – und wann musste sie doch handeln? Kann oder will Telegram nichts gegen den Hass auf seiner Plattform unternehmen? Wer sind die aktuell relevantesten Akteur:innen auf der Plattform und wie viele Menschen erreichen sie dort? Was können wir in Zukunft von dem Messengerdienst erwarten?
In diesem neuen CeMAS-Digitalreport gehen wir diesen Fragen auf den Grund.
Die Kommunikation auf Telegram ist sowohl unmittelbar über Direktnachrichten, aber auch über sogenannte Kanäle und Gruppen möglich. Diese Kanäle und Gruppen spielten bei der Vernetzung der verschwörungsideologischen und rechtsextremen Szene eine große Rolle: Kanäle können durch Telegram-Nutzer:innen abonniert werden. Schreibt der Kanalbetreiber eine Nachricht, erhalten alle Abonnent:innen direkt diese Benachrichtigung. Die Kommunikation verläuft hier größtenteils unidirektional – teilweise gibt es auf Kanälen die Funktion, Beiträge des Kanals zu kommentieren oder über Emojis darauf zu reagieren. Die Größe eines Kanals ist unbegrenzt.
Neben den Kanälen findet die Kommunikation auch in Gruppen statt: In diesen können sich Nutzer:innen mit anderen Nutzer:innen unterhalten und dort auch Nachrichten – unter anderem von Kanälen – teilen. Viele der Gruppen auf Telegram haben einen regionalen Bezug. Die Höchstgrenze für Gruppen liegt bei maximal 200.000 Mitgliedern. Im Gegensatz zu anderen sozialen Netzwerken arbeitet Telegram nicht mit einem sogenannten Newsfeed, also eine auf die Nutzer:innen individuell zugeschnittene Startseite, die die Beiträge der Kanäle aggregiert. Telegram zeigt lediglich chronologisch an, in welchen Kanälen und Gruppen zuletzt kommuniziert wurde. Kanalbetreiber:innen sind deshalb besonders darauf angewiesen, dass ihre Nachrichten besonders häufig und aktuell in vielen anderen Gruppen diskutiert und durch andere Kanäle geteilt werden.
“Also viele der Leute die heute an der Macht sind gehören eigentlich aufgehängt. Kann man sonst nirgends sagen, hier kann man es sagen.”
Es entsteht ein Nachrichtensystem, das Besonderheiten im Umgang mit der Moderation und Löschung von Inhalten mit sich bringt: Wird ein Kanal gelöscht, können immer noch viele Gruppen existieren, auf denen die Inhalte eines Nachfolgekanals geteilt werden. Diese Gründe führten dazu, dass die Identitäre Bewegung beschloss, 2018 über lokale Gruppen ein dezentrales Netzwerk auf Telegram zu schaffen. Ein System, das später durch weitere Akteur:innen übernommen wird.
2018 und 2019 wachsen die deutschsprachigen Kanäle des Milieus langsam, aber beständig. Oliver Janich und ein Kanal der Identitären Bewegung erreichen bis Ende 2019 etwa 40.000 Abonnent:innen – sie sind bei Weitem die reichweitenstärksten dieser Zeit. Im Dezember 2019 erreicht Janich mit seinen Nachrichten etwa 13.700 Aufrufe pro Nachricht.
2020: Während der Pandemie explodiert die Reichweite auf Telegram.
Mit Beginn der Coronapandemie entstehen auf etablierten sozialen Netzwerken wie Facebook zügig Gruppen, in denen die Pandemie verschwörungsideologisch uminterpretiert wird: Das Virus wird dort geleugnet, Maßnahmen zur Eindämmung werden abgelehnt und es wird ein personifiziertes Feindbild über die Auswirkungen der Pandemie geschaffen. Viele Plattformen geraten unter Druck, Desinformationen und Verschwörungserzählungen auf ihren Netzwerken einzudämmen.
Nach einem ähnlichen Prinzip wie dem der Identitären Bewegung beschließt am 24. April 2020 die damals etwa 60.000 Mitglieder große Facebook-Gruppe Corona Rebellen, lokale und dezentrale Gruppen auf Telegram aufzubauen. Dabei wollen sie auch einer möglichen Sperrung durch Facebook zuvorkommen.
Die gegründeten Telegram-Gruppen und Kanäle heißen unter anderem Corona Rebellen Düsseldorf, Nicht ohne uns Wesel und auch Querdenken 711 Stuttgart.
Mit Beginn der Pandemie konzentrierte ein großer Teil der verschwörungsideologischen und rechtsextremen Szene ihre Kommunikation auf Telegram. Hunderte Kanäle und Gruppen wurden erstellt und Kanäle, die vor der Pandemie bereits auf der Plattform vertreten waren, erreichten plötzlich Hunderttausende auf ihrer Plattform.
2021: Neue „alternative“ Medien etablieren sich in der Szene.
Im weiteren Verlauf der Pandemie gründeten sich zahlreiche „alternative“ Medienportale – feste Redaktionen veröffentlichen dort regelmäßig neue und professionell wirkende Inhalte. Laut eigenen Angaben finanzierten sie sich oft über Spenden aus der Szene, aber auch über Produkt- und Werbeplatzierungen auf den entsprechenden Webseiten und Telegram-Kanälen.
“Die Hinweise verdichten sich, dass die echte Pandemie erst bevorsteht und zwar durch die Impfung. Es wird zu einem massiven Anstieg an Todesfällen kommen[…].”
Wochenblick.at, Infodirect, AUF1, Boris Reitschuster und auch RT DE sind feste Größen der verschwörungsideologischen Szene geworden – im Jahr 2021 konnten sich viele dieser „Alternativmedien“ eine große Reichweite aufbauen und über diese zahlreiche Verschwörungserzählungen und Desinformationen verbreiten.
2022: Das Jahr der prorussischen Desinformations-Influencer:innen
Mit Beginn des russischen Angriffskriegs auf die Ukraine im Februar 2022 veränderte sich auch die Informationslandschaft auf Telegram.
Innerhalb von nur drei Jahren hat sich Telegram zu einer der wichtigsten Plattform für das verschwörungsideologische und rechtsextreme Milieu entwickelt. Während der Pandemie aber auch darüber hinaus konnten sich hier verschiedene Akteur:innen ein Netzwerk aufbauen, in dem sie regelmäßig sechsstellige Aufrufzahlen erreichen können. Dieses große Publikum aber auch zahlreiche Funktionen und Erweiterungen der Plattformen führten dazu, dass sich viele der hier dargestellten Akteur:innen professionalisieren konnten. Sie können über ihre Verbreitung von Verschwörungserzählungen, Desinformationen, Rechtsextremismus und Antisemitismus mittlerweile genügend Geld durch Werbung oder Spenden einnehmen, um teilweise Redaktionen zu bezahlen.
Auf Telegram hat sich ein verschwörungsideologisches und rechtsextremes Universum gebildet.
Anders als von Rechtsextremen und Verschwörungsideolog:innen erhofft findet also auch bei Telegram eine Moderation in Form von Beschränkung und Einschränkungen von Accounts, Kanälen und Gruppen statt – wenn auch in weit geringerem Ausmaß als auf anderen sozialen Netzwerken.
Der Telegram-Gründer Pawel Durow suggerierte häufig, dass einer der Gründungsgedanken Telegrams sei, eine Plattform zu schaffen, die niemals auf staatliche Anfragen reagieren würde. Eine Plattform, die Redefreiheit als oberste Prämisse ansetzen würde.
Dieser Grundsatz brach häufiger an der Realität: Die Unternehmensgeschichte zeigt auf, dass Telegram auf Anfragen und Sperrungsersuche durchaus reagierte – in mehreren Ländern und auch mit Autokratien kam Telegram ins Gespräch.
Die Plattform hat in der Vergangenheit auf unterschiedliche Möglichkeiten der Moderation von Inhalten zurückgegriffen.
Die Maßnahmen reichen dabei von Sperrungen von Kanälen auf bestimmten Geräten (beispielsweise Apple-Geräten) über Zugangsbeschränkungen aus bestimmten Regionen (z. B. eine Sperrung europäischer Telefonnummern) bis hin zur gänzlichen Löschung von Accounts, Inhalten, Kanälen und Gruppen.
Während der Pandemie gerät die Plattform immer stärker unter Druck aufgrund der Kritik, nichts gegen den Hass und zahlreichen Gewaltaufrufen auf der Plattform zu unternehmen – ein Druck, der möglicherweise dazu führte, dass Telegram auf ihrer Plattform schließlich doch stärker durchgreift.
Telegrams größte Befürchtung ist es, aus den App Stores entfernt zu werden. Deshalb sperrt Telegram auf Apple-Geräten beispielsweise besonders schnell Kanäle und Gruppen, innerhalb derer pornografische Inhalte gezeigt oder Urheberrechte verletzt werden.
Bei antisemitischen und gewaltverherrlichenden Äußerungen agiert das Unternehmen hingegen oft nur willkürlich und unsystematisch.
Dies wird am Beispiel des Antisemiten Attila Hildmann besonders offensichtlich.
Künstliche Intelligenz zur Erkennung von antisemitischen Textinhalten in deutschen Telegram-Nachrichten
Um Antisemitismus in deutschen Telegram-Nachrichten schneller und großflächiger erkennen und analysieren zu können, hat CeMAS zusammen mit Rewire eine künstliche Intelligenz (KI) zur Erkennung von antisemitischen Textinhalten entwickelt. In diesem Kapitel beschreiben wir den Entwicklungsprozess der KI sowie deren Stärken und Schwächen.
Grundlage: Neuronales Sprachmodell
Die Basis der KI ist ein modernes neuronales Sprachmodell, das speziell für die deutsche Sprache entwickelt wurde. Dieses Modell wurde auf mehreren Milliarden Wörtern aus online frei verfügbaren Texten für den allgemeinen Sprachgebrauch vortrainiert (englisch: pre-training) und anschließend von uns mithilfe von gezielt ausgesuchten Trainingsdaten auf die Unterscheidung zwischen antisemitischen und nicht antisemitischen Textinhalten spezialisiert (englisch: fine-tuning).
Schritt 1: Sammeln der Trainingsdaten
Die Trainingsdaten für das Finetuning des Klassifikationsmodells stammen aus deutschsprachigen Telegramkanälen und -gruppen, die von CeMAS wegen potenziell antisemitischer Inhalte vorselektiert wurden. Aus diesen Quellen haben wir zwei Datensätze erstellt: einen mit zufällig ausgewählten Nachrichten aus den Jahren 2020 bis 2022 und einen mit Nachrichten, die bestimmte Suchbegriffe enthalten.
Die verwendeten Suchbegriffe stammen aus drei von uns zusammengestellten Listen. Diese Listen enthalten entweder
- antisemitische Beleidigungen,
- Begriffe, die häufig im Kontext von antisemitischen Erzählungen verwendet werden (z. B. Gelber Stern, Konzentrationslager, Rothschild, Zionist) oder
- Begriffe, die aus dem Kontext jüdischer Kultur, Geschichte oder Religion stammen (z. B. Bar-Mizwa, Heiliges Land, Jüdin, Schalom).
Während die zufällig ausgewählten Nachrichten vor allem thematisch irrelevante und unbedenkliche Inhalte umfassen, enthalten die durch die Suche gesammelten Nachrichten mit einer größeren Wahrscheinlichkeit antisemitische oder thematisch relevante Inhalte. Für das Training der KI ist es wichtig, sowohl die zu erkennenden antisemitischen Inhalte als auch die tatsächliche Verteilung der Eingangsdaten gut abzubilden. Außerdem werden Gegenbeispiele von unbedenklicher Nutzung thematisch relevanter Begriffe gegeben.
Die gesammelten Nachrichten wurden schließlich automatisch bereinigt und in Textsegmente von maximal 128 Wörtern unterteilt, um die Annotation und die Verarbeitung durch das Klassifikationsmodell zu vereinfachen.
Schritt 2: Annotation der Trainingsdaten
Insgesamt wurden für die Entwicklung der KI über 5.000 der gesammelten Textsegmente von geschulten Annotator:innen zu antisemitischen Inhalten untersucht und entsprechend gekennzeichnet. Diese Annotationen basieren auf einer überarbeiteten Version der Arbeitsdefinition von Antisemitismus der International Holocaust Remembrance Alliance (IHRA), die in Zusammenarbeit von CeMAS und Rewire entwickelt und mit erklärenden Fallbeispielen erweitert wurde.
Durch sorgfältige Begleitung des Annotationsprozesses konnten wir eine qualitativ hochwertige und konsistente Annotation der Trainingsdaten garantieren. Die Qualität der Trainingsdaten trägt zu einer genaueren automatischen Unterscheidung zwischen antisemitischen und unbedenklichen Inhalten bei.
Schritt 3: Training der KI
Die annotierten Textsegmente wurden mit einigen zusätzlichen Beispielen aus ausgewählten Quellen angereichert und für die Entwicklung des Klassifikationsmodells in insgesamt vier Datensätze unterteilt.
Der größte Teil der Daten floss in einen Trainingsdatensatz, mit dem das Sprachmodell für die Unterscheidung zwischen antisemitischen und nicht antisemitischen Textinhalten sensibilisiert wurde. Vereinfacht gesagt werden hierbei der KI wiederholend Textsegmente mit ihrem entsprechenden Label (antisemitisch oder nicht antisemitisch) präsentiert. Das Modell lernt dadurch, die Relevanz von unterschiedlichen Textmerkmalen besser zu gewichten – und letztendlich das richtige Label zu bestimmen. Hierbei bezieht sich das neuronale Sprachmodell nicht nur auf einzelne Schlagwörter, sondern kann den gesamten sprachlichen Kontext eines Textes für die Klassifikation mit einbeziehen.
Neben dem Trainingsdatensatz wurden die restlichen Daten in kleinere Validierungs-, Evaluations- und Testdatensätze unterteilt. Wie an ihren Bezeichnungen zu erkennen ist, helfen diese Datensätze beim Entwickeln und Testen des Modells oder werden zur abschließenden Evaluation der KI verwendet.
Schritt 4: Evaluation der KI
Für die Evaluation des entwickelten Klassifikationsmodells wurden insgesamt 700 annotierte Textsegmente zurückgehalten. 400 dieser Segmente stammen aus der Sammlung von zufällig ausgewählten Nachrichten und 300 wurden durch Stichwortsuchen selektiert. 220 (31,4 %) der Textsegmente wurden von den Annotator:innen als antisemitisch gelabelt.
Das entwickelte Modell hat eine Erkennungsrate von 86,4 % dieser antisemitischen Textinhalte (englisch: recall) mit einer Genauigkeit von 82,3 % (englisch: precision). Insgesamt bedeutet dies, dass Textinhalte im Testdatensatz zu 89,9 % korrekt klassifiziert werden (macro-averaged F1 von 88,4 Punkten).
Stärken und Schwächen der KI
Eine Durchsicht der Testdaten deutet darauf hin, dass eine der größten Fehlerquellen die inkorrekte Klassifizierung von Texten mit Verschwörungserzählungen um Themen wie New World Order (NWO), Kabbalisten oder Satanisten ist. Die KI erteilt bei diesen Themen oft das Label antisemitisch, auch wenn das den Annotationsrichtlinien zufolge nicht immer der Fall sein muss.
Eine zweite, für ein Modell wie dieses sehr typische Fehlerquelle ist die inkorrekte Klassifikation von extrem seltenen Textinhalten, die im Trainingssatz nicht repräsentiert werden. Die Wortschöpfung Coronacaust zum Beispiel ist nach unserer Annotationsrichtlinie als klar antisemitisch einzuordnen, wird von unserem Modell aber nicht korrekt klassifiziert. Um dieses Problem zu beheben, könnte die KI für nachfolgende Projekte noch mit sogenannten Adversarial Samples, also gezielten, manuell generierten Beispielen, nachjustiert werden.
Referenzen
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, & R. Garnett (Hrsg.), Advances in neural information processing systems (Bd. 30). Curran Associates, Inc. https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf
Wich, M., Gorniak, A., Eder, T., Bartmann, D., Çakici, B. E., & Groh, G. (2022). Introducing an Abusive Language Classification Framework for Telegram to Investigate the German Hater Community. Proceedings of the International AAAI Conference on Web and Social Media, 16, 1133–1144. https://doi.org/10.1609/icwsm.v16i1.19364
Der Antisemitismus und die Gewaltaufrufe in den Gruppen Hildmanns sind dabei – wie auch an vielen anderen Orten der Plattform – kaum zu leugnen.
Mittels eines gemeinsam mit Rewire entwickelten Machine-Learning-Ansatzes konnte CeMAS automatisiert Tausende von antisemitischen Nachrichten in Zehntausenden Kommentaren von Hildmanns Gruppen erfassen.
Auch Telegram könnte solche Methoden nutzen, um Kanäle und Gruppen zu identifizieren, auf denen es zu Gewaltaufrufen und gruppenbezogener Menschenfeindlichkeit kommt, und diese anschließend überprüfen. Ihre Systeme müssten erkennen, wenn nach Sperrungen Zweit- und Drittkanäle erstellt werden.
Telegram bewegt sich. Allerdings nur dann, wenn der Druck von außen groß genug ist und die Aufmerksamkeit auf den Hass, der auf der Plattform zu finden ist, das Risiko birgt, dass die Telegram-App aus den App Stores von Google und Apple entfernt werden könnte.
Diese Bedrohung führte in der Vergangenheit teils dazu, dass Telegram seine übliche Umgangsstrategie bei staatlichen Anfragen – das Ignorieren – aufgeben musste und sich öffentlich positionierte und sogar Maßnahmen wie Content Moderation ergriff. Ein Blick in die Unternehmensvergangenheit und wie das Team um Pawel Durow mit Forderungen staatlicher Akteure umging findet sich in einem ausführlichen Gastbeitrag von Darren Loucaides.
Gastbeitrag
Darren Loucaides
Telegram:
Zwischen Ideologie und Pragmatismus als Kernelement der Unternehmensstrategie
Mit einer Nutzerbasis von 700 Millionen hat Telegram eine enorme Verantwortung als globaler Messaging-Dienst, der auch als soziales Netzwerk fungiert. Von jeder sich der Größenordnung von Telegram nähernden Plattform wird auch erwartet, dass sie Maßnahmen ergreift, um problematische Inhalte und Entwicklungen auf der Plattform zu unterbinden – seien es Spams, Urheberrechtsverletzungen oder gefährliche Aufrufe zur Gewalt. In zahlreichen Rechtsordnungen wurden im Laufe der Jahre Vorwürfe gegen Telegram erhoben, dieser Verantwortung nicht gerecht zu werden.
Telegram behauptet, die freie Meinungsäußerung unterstützen zu wollen, und lehnt eine von ihnen behauptete Zensur durch Regierungen und Behörden ab. Dies scheint durch einen relativ zurückhaltenden Ansatz zur Moderation bestätigt zu werden. Aufgrund der dünnen Personaldecke oder aber der Ideologie – oder aus allen oben genannten Gründen – neigt Telegram dazu, nur langsam auf Meldungen zu reagieren und Inhalte nur dann zu entfernen, wenn sie in den eigenen Nutzungsbedingungen als illegal bezeichnet werden. Telegram wurde auch von den höchsten Gerichten in mehreren Ländern zur Rede gestellt. Mehr als einmal hat Telegram keine Maßnahmen ergriffen, um illegale Inhalte zu unterbinden, bis Regierungen und oberste Gerichte mit Verboten drohten.
Dieses Kapitel gibt einen Überblick darüber, wie Telegram bisher mit Behördenanfragen in ausgewählten Ländern umgegangen ist. Anschließend wird untersucht, warum Telegram so reagiert und ob sich das Verhalten künftig ändern könnte. Um diesen letzten Punkt nachzuvollziehen, müssen wir erst verstehen, wie Telegram als Organisation wirklich funktioniert. Wie sich zeigen lässt, ist dies nicht besonders leicht zu verstehen.
Das Team
Telegram wurde 2013 von Pavel Durov und seinem Bruder Nikolai, einem preisgekrönten Mathematiker und Informatiker, gegründet. Schon im Jahr 2006 war Durov Mitbegründer von VKontakte, einer Facebook-ähnlichen Plattform, die sich hauptsächlich an den russischsprachigen Markt richtet. Als er die Kontrolle über das Unternehmen verlor, behauptete er, von Verbündeten des Kremls gezwungen worden zu sein. Seitdem stellte sich Durov als Gegner autoritärer Regierungen sowie als Verfechter der digitalen Privatsphäre und Sicherheit dar. Er bezeichnet sich selbst als Libertären, der leidenschaftlich an die freie Meinungsäußerung und die Umgehung von Zensur glaubt. Der Gründungsmythos von Telegram dreht sich um die Idee, einen Messaging-Dienst zu schaffen, der sowohl freie Meinungsäußerung als auch Sicherheit vor staatlicher Überwachung und Unterdrückung gewährleistet. Durovs Haltung den Behörden gegenüber erscheint jedoch bei näherer Betrachtung eher ambivalent. Dies scheint sich in der Realität von Fall zu Fall zu unterscheiden.
Durov, 38 Jahre alt, wurde in St. Petersburg, der zweitgrößten Stadt Russlands, geboren. Kurz nach der Gründung von Telegram gab sich Durov als Exilrusse aus, der auf Druck des Kremls gezwungen wurde, sein Heimatland zu verlassen. Aus Quellen ist jedoch zu erfahren, dass er bis mindestens 2017 in den ehemaligen Telegram-Büros in St. Petersburg verkehrte und dass ihn nichts an der freien Aus- und Einreise über die russische Grenze hinderte, zum Beispiel um Verwandte zu besuchen. Durov und Telegram sind nun offiziell in Dubai ansässig und Durov scheint gute Beziehungen zu den autokratischen Machthabern der Vereinigten Arabischen Emirate zu pflegen.
Seit mehreren Jahren ist Durov nicht mehr in der Öffentlichkeit aufgetreten und sein letztes Interview mit den westlichen Medien gab er im Jahr 2017. Durov kommuniziert lieber über seinen öffentlichen Kanal auf Telegram. Auch deshalb handelt es sich beim Betrieb von Telegram im Großen und Ganzen um eine Blackbox. Die Mitarbeiter sprechen nie mit Journalisten, es gibt höchstens gelegentliche Kommentare des Vizepräsidenten und des Unternehmenssprechers. Über das Kernteam der Entwickler ist wenig bekannt, es ist aber davon auszugehen, dass alle russischsprachig sind. Laut Telegram hat das Unternehmen derzeit etwa 60 Mitarbeiter. Es ist unklar, wie viele Mitarbeiter mit der Moderation von Inhalten betraut sind.
Lückenhafte Bilanz
Die Bilanz von Telegram bei der Bekämpfung illegaler Inhalte ist lückenhaft. Während der Konkurrent Meta von westlichen Medien und Gesetzgebern wegen Moderationsmängeln stärker in den Fokus der Öffentlichkeit rückte, wurde Telegram auch von Behörden in mehreren Ländern unter Druck gesetzt. Die prominentesten Beispiele aus der letzten Zeit sind die Drohung der deutschen Regierung, Telegram wegen extremer Inhalte und terroristischer Planung über die App zu verbieten, und die Sperrung der App durch den Obersten Gerichtshof in Brasilien, weil Telegram auf behördliche Aufforderungen nicht eingegangen ist. Beide Fälle werden unten umfangreicher diskutiert.
In den Nutzungsbedingungen von Telegram verpflichtet sich das Unternehmen, rechtswidrige Pornografie und Aufrufe zur Gewalt zu entfernen. Telegram gibt auch vor, urheberrechtlich geschützte Inhalte und das sogenannte „Doxxing“ zu verbieten. Doch wenn es darum geht, auf behördliche Aufforderungen wegen gefährlicher Inhalte in der App zu reagieren, ist das Verhalten von Telegram höchst unterschiedlich. Was das Eingehen des Unternehmens auf Meldungen von Nutzern über illegale Inhalte betrifft – die durch einen Klick auf einen beleidigenden Beitrag betätigt werden können –, so reagiert Telegram laut Forschern und zivilgesellschaftlichen Gruppen, die extremistische Aktivitäten auf der Plattform verfolgen, meist langsam.
Im Jahr 2015 geriet Telegram wegen der Nutzung der App durch ISIS unter internationalen Druck, insbesondere nach den Terroranschlägen in Paris. Bis dahin hatte Telegram nur begrenzt Maßnahmen ergriffen, um die mit dem islamistischen Terrorismus verbundenen Aktivitäten auf der Plattform einzuschränken. Nach den Anschlägen hat Telegram jedoch 78 Kanäle des Islamischen Staates gesperrt und richtete ein „ISIS Watch“-Botkonto ein, um die laufenden Löschungen zu erfassen. Die Ernsthaftigkeit, die das Unternehmen nach den Anschlägen zu vermitteln versuchte, wurde jedoch von Durov selbst untergraben, als er über sein VK-Profil ein überarbeitetes Bild von seinem Gesicht auf dem Foto eines bewaffneten islamistischen Terroristen postete; dieses Bild ist immer noch im Hintergrund auf Durovs Youtube-Kanal.
Im Jahr 2017 drohte die indonesische Regierung, den Zugang zu Telegram zu sperren, weil die Plattform angeblich von islamistischen Terroristen genutzt wird. Daraufhin hat Telegram später versprochen, Moderationsprotokolle zu erstellen, um dies zu verhindern. Dennoch wurde die App in Indonesien verboten – die Versprechen von Telegram waren nicht ausreichend und kamen zu spät. Im August desselben Jahres flog Durov nach Indonesien und traf sich mit Regierungsministern, um die Aufhebung des Verbots zu erzielen. In einer öffentlichen Pressekonferenz mit dem Minister für Kommunikation und IT entschuldigte er sich für das Versäumnis von Telegram, auf Anfragen der Regierung zu reagieren, und versprach, illegale Inhalte zu unterbinden. Ein seltenes Beispiel mit einem persönlichen Auftritt Durovs, um eine Zusammenarbeit mit den Behörden zu demonstrieren; dies ist seitdem nicht mehr vorgekommen.
Im Jahr 2018 wurde Telegram immer noch als Zufluchtsort für ISIS-Terroristen kritisiert. Die britische Premierministerin Theresa May widmete in diesem Jahr einen Teil ihrer Rede in Davos der Kritik an Telegram in diesem Zusammenhang und warf der Plattform auch vor, „Kriminellen“ und „Pädophilen“ Unterschlupf zu gewähren. Telegram begann tatsächlich, größere Schritte zur Zusammenarbeit mit Behörden und internationalen Strafverfolgungsbehörden in Bezug auf die Nutzung der Plattform durch ISIS zu unternehmen, und fing auch an, mit Europol zusammenzuarbeiten.
Im selben Jahr verbot die russische Internet- und Telekommunikationsaufsichtsbehörde Roskomnadzor die Nutzung von Telegram im Land, weil das Unternehmen in angeblichen Fällen von Terrorismus und Extremismus nicht kooperierte. Trotz des Verbots sorgte das Team von Telegram dafür, dass die App für Millionen von Russen in Betrieb blieb. Der Versuch, die App zu verbieten, ist weitgehend gescheitert. Allerdings scheint es, dass das Unternehmen in anderen Ländern, in denen Telegram verboten wurde, wie z. B. im Iran, aus unbekannten Gründen nicht die gleichen Anstrengungen unternommen hat. Im Jahr 2020 wurde das Verbot von Telegram in Russland aufgehoben, wobei Roskomnadzor „die vom Gründer von Telegram zum Ausdruck gebrachte Bereitschaft zur Bekämpfung von Terrorismus und Extremismus“ lobte. Es ist unklar, ob und wozu sich Telegram verpflichtet hat, um die Aufhebung des Verbots zu erreichen.
Durov lobt die Nutzung von Telegram durch prodemokratische Aktivisten und unterstreicht die genannte Verpflichtung seines Unternehmens, mit keinen autoritären Regierungen zusammenzuarbeiten. Es ist nicht bekannt, dass Telegram bei den Protesten 2019/20 in Hongkong auf irgendwelche Anfragen der Regierung einging; das Unternehmen erlaubte seinen Nutzern sogar, ihre Telefonnummern zu verschleiern, um sie vor Überwachung durch die Behörden zu schützen. Bei den Demonstrationen 2020/21 gegen die von Russland unterstützte Regierung in Weißrussland wurde Telegram auch von prodemokratischen Aktivisten genutzt und es ist nicht bekannt, dass Telegram mit den Behörden zusammengearbeitet hat.
Während der Coronapandemie hat Telegram mit Regierungen auf der ganzen Welt zusammengearbeitet, um die Verbreitung offizieller Gesundheitsinformationen zu unterstützen. Aber die Plattform wurde auch zu einer Brutstätte von Coronaleugnern, Impfgegnern und Verschwörungsideologen. Das Unternehmen ist nicht der Ansicht, dass es für Menschen verantwortlich sein sollte, die andere Ansichten über Corona äußern. Während andere Plattformen Coronadesinformation weitestgehend entfernten wurden, scheinen bei Telegram kaum Maßnahmen ergriffen worden zu sein, um deren Verbreitung einzudämmen. Auch das könnte ein Grund dafür sein, dass coronaskeptische Bewegungen die Plattform in mehreren Ländern bevorzugten und sie für ihre Organisation nutzten.
Genau das ist in Deutschland während der Pandemie geschehen, wie an anderer Stelle in diesem Bericht beschrieben. Angesichts der zunehmenden (rechts-)extremistischen Aktivitäten auf Telegram im Jahr 2021 drohten die deutschen Behörden dem Unternehmen mit Geldstrafen und sogar einem möglichen Verbot, weil es illegale Inhalte nicht entfernte. Telegram begann schließlich 2022, mit den Behörden zusammenzuarbeiten – angeblich sprach Durov sogar per Videoanruf mit der Bundespolizei. Wie Der Spiegel berichtete, hat Telegram daraufhin der Bundespolizei in Deutschland persönliche Daten von Nutzern zur Verfügung gestellt, die unter Verdacht von Terrorismus sowie Kindesmissbrauch stehen.
Indien ist ein weiteres Land, aus dem Telegram regelmäßig Anfragen von den Behörden erhält – es ist auch die Heimat der größten Nutzerbasis von Telegram, mit 100 Millionen Nutzern. Im November 2022 übermittelte das Unternehmen einem hohen Gericht in Indien die Namen, Telefonnummern und IP-Adressen von Nutzern, die beschuldigt wurden, über Telegram illegal urheberrechtlich geschütztes Unterrichtsmaterial eines Lehrers weitergegeben zu haben.
In Brasilien wurde Telegram im Vorfeld der Präsidentschaftswahlen 2022 von rechtsextremen Gruppen genutzt, die den amtierenden Präsidenten Jair Bolsonaro unterstützten, der in Anlehnung an den US-Präsidenten Trump keinen friedlichen Machtwechsel versprechen wollte, falls er die Wahl verlieren würde. Im März 2022 ordnete der Oberste Gerichtshof Brasiliens die Aussetzung der App an, nachdem Telegram auf seine Anfragen nicht reagiert hatte. In Anlehnung an den indonesischen Fall reagierte Telegram dann schließlich doch, indem Durov das Problem auf eine Mail-Panne im Unternehmen schob. Über seinen öffentlichen Telegram-Kanal fügte er hinzu: „Ich bin sicher, dass wir, sobald ein zuverlässiger Kommunikationskanal eingerichtet ist, in der Lage sein werden, Anfragen zur Löschung für öffentlicher Kanäle, aber in Brasilien illegaler, Kanäle effizient zu bearbeiten.“ Nachdem diese Kommunikation hergestellt war, hob der Oberste Gerichtshof in Brasilien das Verbot auf. Im Januar 2023, nach der Wahlniederlage Bolsonaros, stürmte ein Mob gewalttätiger Anhänger den Präsidentenpalast. Viele der Aufrührer organisierten sich Berichten zufolge über Telegram und das Unternehmen wurde anschließend von den Behörden mit einer Geldstrafe belegt.
Es zeigt sich, dass Telegram auf die Anfragen der Behörden von Land zu Land unterschiedlich reagiert. Es besteht ein grundsätzliches Spannungsverhältnis zwischen dem vom Unternehmen erklärten Schutz der Privatsphäre und der Sicherheit der Nutzer einerseits und andererseits der Notwendigkeit, auf Anfrage der Behörden illegale Inhalte von der Plattform zu entfernen, um weiterhin in verschiedenen Rechtsordnungen tätig sein zu können. Digitalforscher und Bürgerinitiativen, die sich mit Telegram befassen, sind der Meinung, dass das Unternehmen nur reagiert, wenn es wirklich notwendig ist – die Fälle in Brasilien und Deutschland sind deutliche Beispiele dafür.
Analyse von Telegrams Vorgehensweise
Um es noch einmal zu betonen: Hinsichtlich der Art und Weise, wie Telegram mit Anfragen der Behörden in Bezug auf extremistische Inhalte auf der Plattform umgeht, gibt es zwei Punkte zu beachten. Erstens behauptet das Unternehmen, sich der Meinungsfreiheit und dem Schutz der Privatsphäre der Nutzer verpflichtet zu fühlen. In Wirklichkeit scheint seine Position eher auf Realpolitik zu beruhen – es tendiert dazu, auf Einzelfallbasis vorzugehen, anstatt auf eine allgemeine Vorgehensweise zurückzugreifen. Zum Beispiel: Telegram beteuert, dass es mit den russischen Behörden nicht zusammenarbeitet und seine Nutzerdaten dort nie weitergegeben hat – obwohl Bürgerinitiativen und Oppositionsaktivisten ihre Besorgnis über mangelnde Transparenz bezüglich der Reaktion auf russische Behördenanfragen geäußert haben. In Deutschland hingegen hat Telegram Berichten zufolge Nutzerdaten in Fällen von Terrorismusverdacht weitergegeben. Es scheint keine übergeordnete Richtlinie darüber zu geben, wie man auf solche Anfragen reagiert. Zweitens neigt das Unternehmen dazu, nur unter großem rechtlichen und öffentlichen Druck der Behörden zu reagieren, und dann insbesondere in Ländern mit einer großen Anzahl von Telegram-Nutzern.
Warum reagiert Telegram so unterschiedlich auf Behördenanfragen, extremistische Aktivitäten und Meldungen von illegalen Inhalten auf der Plattform? Ein Grund dafür könnte sein, dass die App wegen ihrer Rolle in verschiedenen Ländern ein empfindliches Gleichgewicht finden muss. Eine lockere Zusammenarbeit mit den Behörden in einem Land könnte dazu führen, dass Telegram beschuldigt wird, mit den Behörden in einem anderen Land zusammenzuarbeiten – einschließlich Russland, wo Telegram eine unangenehme, wenn auch zweideutige Position gegenüber der Regierung hat. Russische Aktivisten könnten zum Beispiel die enthusiastische Zusammenarbeit mit den Behörden in Deutschland als Zeichen dafür werten, dass es überall mit Behörden kooperieren wird.
Eine eher praktische Erklärung ist eventuell der Mangel an Ressourcen. Telegram gibt an, etwa 60 Mitarbeiter zu haben – eine verschwindend kleine Zahl im Vergleich zu Meta. Selbst Twitter, dessen Team nach der Übernahme durch Elon Musk kürzlich verkleinert wurde, hat schätzungsweise 1.300 aktive Mitarbeiter. (Allerdings handelt es sich hier um verschiedene Arten von Messaging- und Social-Networking-Plattformen, auch wenn jede von ihnen Ähnlichkeiten mit Telegram aufweist.) Telegram hat zwar ein Moderationsteam, aber Digitalforscher sagen, dass auf die Meldung illegaler Inhalte nur selten eine schnelle Reaktion erfolgt, wenn überhaupt. Russische Oppositionsaktivisten haben zu Massenberichten gegriffen, um Telegram dazu zu bringen, illegale oder gefährliche Inhalte zu entfernen.
Warum beschäftigt Telegram nicht einfach mehr Moderationspersonal? Ein Grund dafür könnte sein, dass der mit viel Personal ausgestattete Moderationsapparat der Meta-Plattformen teuer ist und Telegram hingegen keine verlässliche Finanzierungsquelle hat: Telegram ist ein privates Unternehmen, das nur geringe Werbeeinnahmen erzielt und trotz der kürzlichen Einführung eines Premium-Dienstes noch kostenlos ist. Es ist gut möglich, dass Telegram schlicht nicht die Ressourcen hat, um systematischer gegen illegale Inhalte vorzugehen.
Die Hauptentwickler von Telegram gehören jedoch nach Ansicht von ehemaligen Telegram-Mitarbeitern zu den qualifiziertesten in der Branche. Es ist plausibel, dass sie technische Lösungen finden könnten, um automatisch mehr illegale Inhalte auszusortieren, als es derzeit der Fall ist. Obwohl die Machbarkeit dieser Lösung nicht von unabhängiger Seite überprüft werden kann, haben leitende Telegram-Mitarbeiter einen weiteren Grund angedeutet, warum es eine solche Lösung nicht einführen könnte: Das Unternehmen ist nicht der Ansicht, dass es seine Aufgabe ist zu kontrollieren, was die Nutzer sagen oder wie sie die Plattform nutzen.
Die zögerliche Reaktion von Telegram auf die Anfragen der Behörden muss im Zusammenhang mit Durovs Eintreten für die freie Meinungsäußerung und der erklärten Verteidigung der Privatsphäre der Nutzer gesehen werden. Durov macht keinen Hehl daraus, dass er schon seit Jahren überzeugter Libertärer ist. Obwohl Telegram in mehreren Ländern unter Druck mit den Behörden zusammengearbeitet hat, geht aus dem Ethos des Unternehmens und von Durov hervor, dass die Meinungen von Menschen nicht zensiert werden sollten, so extrem sie auch erscheinen mögen, es sei denn, sie verstoßen eindeutig gegen das Gesetz.
Es könnte aber auch geschäftliche Gründe dafür geben, nicht energischer gegen extreme und illegale Inhalte vorzugehen. Der internationale Ruf von Telegram als Plattform, auf der fast alles möglich ist, trägt dazu bei, die Nutzerbasis in allen Gesellschaftsschichten zu vergrößern. Letztendlich könnte Durov zu dem Schluss kommen, dass es für das Geschäft am besten ist, sich bei diesen Themen auf einem schmalen Grat zu bewegen.
Gastbeitrag
Darren Loucaides
Telegram:
Zwischen Ideologie und Pragmatismus als Kernelement der Unternehmensstrategie
Telegram war bisher keine rentable Plattform für den Gründer Pawel Durow. Versuche, über den Messengerdienst Geld zu verdienen, beispielsweise über Werbung, sind bisher größtenteils gescheitert.
In den vergangenen Monaten wurden jedoch Bezahlfunktionen auf der Plattform deutlich ausgebaut und neue Möglichkeiten sowohl zur Unterstützung Telegrams als auch von Kanalbetreibern entwickelt.
Die Einführung von Payment 2.0 und die Erweiterung der von Telegram zur Verfügung gestellten Bots @wallet und @donate lassen vermuten, dass die Plattform zukünftig noch verstärkter Bezahl- und Spendenfunktionen in die App integrieren wird. Darauf deuten auch die letzten Erweiterungen mit der Funktion über Telegram Nutzer:innennamen zu er- und versteigern hin. Laut Pavel Durov war dies sehr erfolgreich: Innerhalb weniger Wochen sei über die Telegram-Versteigerungsplattfrom Fragment mehr als 50 Millionen US-Dollar umgesetzt worden. Im Gegensatz zu vorherigen Monetarisierungsversuchen (beispielsweise durch Werbung auf der Plattform oder Premiumfeatures) waren hier erstmals Erfolge bezüglich der Monetarisierung des bisher wenig rentablen Telegram zu sehen.
Telegram’s next step is to build a set of decentralized tools, including non-custodial wallets and decentralized exchanges for millions of people to securely trade and store cryptocurrencies.
Mit dem Ausbau der Bezahlmöglichkeiten auf der Plattform ist zu befürchten, dass sich zukünftig noch mehr Akteur:innen professionalisieren können. Telegram wird langfristig das verschwörungsideologische und rechtsextreme Milieu stabilisieren, international vernetzen und es ihnen noch stärker ermöglichen, über die Plattform Gelder einzuwerben.
Telegram hat sich in nur wenigen Jahren zur wichtigsten Plattform für Verschwörungsideolog:innen und Rechtsextreme entwickelt. Nicht nur in Deutschland, sondern weltweit werden über Telegram Desinformation und Verschwörungserzählungen geteilt – und auch Finanzierungsmöglichkeiten über die Plattform wahrgenommen. Auch rechtsterroristische Gruppierungen nutzen die Plattform, um sich international zu vernetzen. Da Telegram derzeit daran arbeitet, die direkten Bezahlungsoptionen auf der Plattform weiter auszubauen, ist zu befürchten, dass sich zukünftig noch mehr Akteur:innen über die Plattform professionalisieren.
Um dieser Entwicklung gegenzusteuern und die Plattform-Betreibenden zu Handlungen zu bewegen, gibt es einige Erfolg versprechende Ansätze:
Öffentlicher Druck führt dazu, dass Telegram sich bewegt.
Telegram fürchtet um seine Reputation und vor allem die Konsequenz, aus den App Stores von Google und Apple entfernt zu werden. Öffentliche Berichterstattung über die Verfehlungen der Plattform sowie politischer Druck führten in der Vergangenheit oft dazu, dass Telegram handelte – wenn auch bislang unsystematisch.
Auch ohne Kooperation der Plattform sind Ermittlungen und Strafverfolgung oft möglich.
Die Festnahmen und Razzien der vergangenen Monate sowie zahlreiche investigative Recherchen zeigten, dass auch bei fehlender Kooperation der Plattformen die Ermittlung von Täter:innen möglich ist. Hierzu braucht es auch ein größeres Bewusstsein bei den (Ermittlungs-)Behörden für das Bedrohungspotenzial digitalen Hasses und digitaler Gewalt.
Demonetarisierung kann ein wichtiges Mittel zur Begrenzung von Desinformation und Verschwörungsideologie darstellen.
Die zunehmende Professionalisierung der Szene und die Möglichkeit der Finanzierung über Plattformen wie Telegram stellen uns vor große Herausforderungen. Mit mehr Mitteln ist auch mehr möglich. Da Telegram bisher kaum und nur willkürlich Sperren und Löschungen (sogenanntes Deplatforming) genutzt hat, ist es auch nötig, Maßnahmen in Betracht zu ziehen, die die monetäre Bereicherung mittels und die Finanzierung von Desinformation und Verschwörungsideologie verhindern, beispielsweise durch Informationen an Werbetreibende sowie Zahlungsdienstleister auf den Plattformen.
Content-Moderation muss transparent sein.
Telegram arbeitet sehr willkürlich bei Sperren und Einschränkungen. Meldungen von Kanälen und Inhalten auf der Plattform haben keine erkennbaren Auswirkungen. Transparenzberichte und externe Kontrolle, auch über gesetzliche Regelungen wie den Digital Services Act, müssen durchgesetzt werden.
CeMAS
Center für Monitoring, Analyse und Strategie gGmbH
CeMAS bündelt interdisziplinäre Expertise zu den Themen Verschwörungsideologien, Desinformation, Antisemitismus und Rechtsextremismus.
Der Report wurde gefördert durch die Alfred Landecker Foundation. Die Alfred Landecker Foundation fördert und beschleunigt die Entwicklung einer offenen, demokratischen und diskriminierungsfreien Gesellschaft. Die Stiftung ist ein Inkubator für Demokratie im digitalen Zeitalter. Sie setzt sich ein für eine zeitgemäße Erinnerungskultur und bekämpft Antisemitismus und Rassismus. Die Stiftung schafft Netzwerke, Räume und Wissen, indem sie interdisziplinäre Projekte unterstützt, fördert, vernetzt und professionalisiert. Durch den Aufbau eines Netzwerks global aktiver Partner:innen macht sie Wissen und Erfahrungen breit verfügbar und bringt unterschiedlichste Perspektiven aus Wissenschaft und Praxis an einen Tisch.