KI-'Schwärme' könnten Online-Fehlinformationen und Manipulationen verschärfen, warnen Forscher

Kurzfassung

• Forscher warnen, dass KI-Schwärme „Beeinflussungskampagnen“ mit begrenzter menschlicher Aufsicht koordinieren könnten.
• Im Gegensatz zu traditionellen Botnets können Schwärme ihre Botschaften anpassen und ihr Verhalten variieren.
• Das Papier stellt fest, dass bestehende Plattform-Sicherheitsvorkehrungen Schwierigkeiten haben könnten, diese Schwärme zu erkennen und einzudämmen.

Das Zeitalter der leicht erkennbaren Botnets neigt sich laut einem neuen Bericht, der am Donnerstag in Science veröffentlicht wurde, dem Ende zu. In der Studie warnten Forscher, dass Desinformationskampagnen sich in Richtung autonomer KI-Schwärme bewegen, die menschliches Verhalten imitieren, sich in Echtzeit anpassen und nur wenig menschliche Aufsicht benötigen, was die Bemühungen erschwert, sie zu erkennen und zu stoppen. Verfasst von einem Forscherkonsortium, darunter Wissenschaftler aus Oxford, Cambridge, UC Berkeley, NYU und dem Max-Planck-Institut, beschreibt das Papier eine digitale Umgebung, in der Manipulation schwerer zu erkennen wird. Anstatt kurzer Ausbrüche im Zusammenhang mit Wahlen oder Politik können diese KI-Kampagnen eine Erzählung über längere Zeiträume aufrechterhalten. „In den Händen einer Regierung könnten solche Werkzeuge Dissens unterdrücken oder Amtsinhaber verstärken“, schrieben die Forscher. „Daher kann der Einsatz von defensiver KI nur in Betracht gezogen werden, wenn er durch strenge, transparente und demokratisch verantwortliche Rahmenbedingungen geregelt ist.“ 

Ein Schwarm ist eine Gruppe autonomer KI-Agenten, die zusammenarbeiten, um Probleme zu lösen oder Ziele effizienter zu erreichen als ein einzelnes System. Die Forscher sagten, KI-Schwärme bauen auf bestehenden Schwächen sozialer Medienplattformen auf, bei denen Nutzer oft vor gegensätzlichen Standpunkten abgeschirmt sind. „Falsche Nachrichten haben sich schneller und breiter verbreitet als wahre Nachrichten, was fragmentierte Realitäten vertieft und gemeinsame Faktenbasis untergräbt“, schrieben sie. „Jüngste Beweise verbinden engagement-optimierte Kurationsmechanismen mit Polarisierung, wobei Plattform-Algorithmen spaltende Inhalte verstärken, selbst auf Kosten der Nutzerzufriedenheit, was die öffentliche Sphäre weiter schwächt.“ Dieser Wandel ist bereits auf großen Plattformen sichtbar, sagte Sean Ren, Professor für Informatik an der University of Southern California und CEO von Sahara AI, der erklärte, dass KI-gesteuerte Konten zunehmend schwer von normalen Nutzern zu unterscheiden sind. „Ich denke, strengere KYC- oder Konten-Identitätsüberprüfungen würden hier sehr helfen“, sagte Ren gegenüber Decrypt. „Wenn es schwieriger ist, neue Konten zu erstellen, und es einfacher wird, Spammer zu überwachen, wird es für Agenten viel schwieriger, große Mengen an Konten für koordinierte Manipulationen zu verwenden.“

Frühere Einflusskampagnen basierten weitgehend auf Masse statt auf Subtilität, mit Tausenden von Konten, die gleichzeitig identische Nachrichten posteten, was die Erkennung vergleichsweise einfach machte. Im Gegensatz dazu zeigte die Studie, dass KI-Schwärme „beispiellose Autonomie, Koordination und Skalierung“ aufweisen. Ren sagte, dass Content-Moderation allein wahrscheinlich nicht ausreicht, um diese Systeme zu stoppen. Das Problem sei, wie Plattformen Identität in großem Maßstab verwalten. Strengere Identitätsprüfungen und Begrenzungen bei der Kontenerstellung könnten es erleichtern, koordinierte Verhaltensweisen zu erkennen, selbst wenn einzelne Beiträge menschlich erscheinen. „Wenn der Agent nur eine kleine Anzahl von Konten verwenden kann, um Inhalte zu posten, ist es viel einfacher, verdächtige Nutzung zu erkennen und diese Konten zu sperren“, sagte er. Keine einfache Lösung Die Forscher kamen zu dem Schluss, dass es keine einzelne Lösung für das Problem gibt, wobei potenzielle Optionen eine verbesserte Erkennung statistisch anomaler Koordination und mehr Transparenz bei automatisierten Aktivitäten umfassen, aber technische Maßnahmen allein wahrscheinlich nicht ausreichen. Laut Ren bleiben finanzielle Anreize ein anhaltender Treiber für koordinierte Manipulationsangriffe, selbst wenn Plattformen neue technische Schutzmaßnahmen einführen. „Diese Agentenschwärme werden meist von Teams oder Anbietern kontrolliert, die von externen Parteien oder Unternehmen finanzielle Anreize für die koordinierte Manipulation erhalten“, sagte er. „Plattformen sollten strengere KYC- und Spam-Erkennungsmechanismen durchsetzen, um agentenmanipulierte Konten zu identifizieren und herauszufiltern.“