Ein fehlerhafter, mithilfe künstlicher Intelligenz erstellter Geheimdienstbericht hätte im Frühjahr dieses Jahres, mitten im Krieg gegen den Iran, beinahe eine militärische Konfrontation zwischen den USA und China ausgelöst. Wie CNN unter Berufung auf vier mit dem Vorfall vertraute Quellen berichtete, kursierte innerhalb des amerikanischen Militärs ein Bericht, wonach ein chinesisches Schiff im Nahen Osten Komponenten für ein Atomwaffenprogramm transportiere. Das Militär bereitete daraufhin eine Operation zum Abfangen des Schiffs vor, laut zwei der Quellen standen bewaffnete Soldaten bereit, es zu entern, Kampfflugzeuge waren bereits in der Luft.

Erst kurz vor Beginn der geplanten Operation prüften Verantwortliche den zugrunde liegenden Bericht genauer und stellten fest, dass er von einem Analysten des Sonderoperationskommandos mithilfe künstlicher Intelligenz erstellt worden war, ein dabei verwendeter Chatbot hatte die tatsächliche Ladung des Schiffs falsch identifiziert. Welches Material tatsächlich an Bord war, konnte CNN nicht klären. Der Bericht sei „vollständig falsch“ gewesen, so eine der Quellen, habe aber „beinahe einen Krieg“ ausgelöst, da jede amerikanische Aktion gegen ein chinesisches Schiff das Risiko einer direkten militärischen Eskalation zwischen beiden Ländern in sich getragen hätte.

Wie es zu dem Fehler kam

Der Analyst hatte einen Chatbot zu Angaben über die Schiffsladung befragt, die ursprünglich vom in Hawaii ansässigen Sonderoperationskommando für den Pazifik stammten. Ob es sich bei dem verwendeten System um ein kommerzielles Produkt oder ein staatliches Werkzeug handelte, ließ sich nicht klären. „Die internen Werkzeuge sind meist einfach kommerzielle Systeme mit ein bisschen Lippenstift“, sagte ein ehemaliger hochrangiger US-Beamter, der mit den von Militär und Geheimdiensten genutzten KI-Systemen vertraut ist, gegenüber CNN. Der Chatbot habe offene Quellen mit geheimen, in Regierungsdatenbanken gespeicherten Fernmeldeaufklärungsdaten kombiniert und daraus eine falsche Schlussfolgerung zur Ladung gezogen. Anschließend nutzte der Analyst erneut künstliche Intelligenz, um die Ergebnisse in einen standardisierten, üblicherweise als verlässlich geltenden Geheimdienstbericht zu verpacken und zu verteilen. Weder das Sonderoperationskommando Pazifik noch das Pentagon reagierten auf Anfragen von CNN.

Ein System ohne einheitliche Kontrolle

Der Vorfall fällt in eine Zeit, in der das amerikanische Militär und die Geheimdienste versuchen, künstliche Intelligenz in nahezu jeden Bereich ihrer Arbeit zu integrieren, von der Auswertung riesiger Mengen an Rohdaten und der Auswahl von Angriffszielen bis zu Budget-, Logistik- und Lieferkettenfragen. Verteidigungsminister Pete Hegseth hatte im Januar die „Strategie zur Beschleunigung künstlicher Intelligenz“ des Ministeriums vorgestellt und dabei erklärt, man werde „Experimente entfesseln, bürokratische Hürden beseitigen und die nötigen Investitionen bündeln, um die Führungsrolle bei militärischer KI zu sichern“. Die Strategie sieht vor, KI-Modelle unmittelbar in die Hände der rund drei Millionen zivilen und militärischen Mitarbeiter des Ministeriums auf allen Geheimhaltungsstufen zu legen. Mehrere mit der Thematik vertraute US-Beamte beschrieben die tatsächliche Umsetzung jedoch als dezentral: Verschiedene Behördenteile nutzten unterschiedliche Systeme unter unterschiedlichen Vorgaben und Sicherheitsstandards, ein einheitlicher Maßstab dafür, wie die von diesen Systemen erzeugten Informationen überprüft werden, existiere nicht.

Besonders heikel sei der zunehmende Einsatz von KI bei der Zielauswahl, sagte eine weitere mit der aktuellen Militärpolitik vertraute Quelle: „KI wird bei der Zielauswahl definitiv immer wichtiger, und es gibt keine wirkliche Richtlinie dafür, wie ein Mensch in der Entscheidungskette tatsächlich zivile Opfer oder Beschuss der eigenen Truppen verhindern soll.“ Der beschriebene Fall von „Halluzination“ sei innerhalb der Geheimdienstgemeinschaft seit der zunehmenden Verbreitung solcher Systeme kein Einzelfall gewesen, so eine der Quellen. Mehrere Insider berichteten zudem, gerade jüngere Analysten, die mit solchen Werkzeugen aufgewachsen seien, neigten dazu, deren Ergebnisse ohne ausreichende Prüfung zu vertrauen. „KI ermöglicht es einem, schneller zu einer schlechten Idee zu gelangen“, brachte es eine Quelle auf den Punkt.