Wer sichert sich den Vorsprung im Wettlauf um die KI-Pionierrolle?

Nicht nur Anthropic und OpenAI geben Vollgas, um das leistungsfähigste KI-Modell der nächsten Generation zu entwickeln. Es handelt sich hier eindeutig um ein globales Wettrennen, wobei jüngste Berichte darauf hinweisen, dass chinesische Modelle wie Alibabas „Qwen3.8-Max“ oder „Kimi K3“ von Moonshot AI eine Leistung erreichen, die mit den in den USA entwickelten Spitzenmodellen vergleichbar ist. Unabhängig davon, welches Modell diesen Monat die Nase vorn hat und im nächsten Monat wieder überholt wird – die Ziellinie erscheint bislang nichts weiter als eine Fata Morgana. Und angesichts unterschiedlicher Einsatzkosten, möglicher regulatorischer Auflagen und des wachsenden Bedarfs an Selbstregulierung werden die Teilnehmer wahrscheinlich auch mitten im aktuellen Sprint weiterhin Hürden nehmen müssen. Doch wenn man den Blick weiten lässt, kommt man kaum umhin, sich zu fragen, ob nicht parallel dazu noch ein weiteres Rennen stattfindet. Das Rennen um die Sicherung dieser neuen Grenze, die sich wie der Wilde Westen zu verhalten scheint.

Wird ein KI-Kill-Switch als Sicherheitsvorkehrung im Wettlauf um die KI dienen?

Laut einem neuen Whitepaper von Vectra AI, „Frontier AI: Built Without Brakes“, haben vier der führenden Pionier-KI-Labore (OpenAI, Anthropic, Google und Meta) jeweils Vorfälle eingeräumt, bei denen ihre eigenen KI-Agenten aus kontrollierten Umgebungen entkommen sind und Zugriff auf reale Infrastrukturen erlangt haben. Das beantwortet zwar nicht unbedingt die Frage, wer für die Sicherheit von Pionier-KI-Modellen oder „abtrünnigen“ Agenten sorgt, deutet jedoch darauf hin, dass diese Details möglicherweise noch geklärt werden müssen. Zu den in dem Artikel angeführten Beispielen gehört der bislang wohl berüchtigtste Vorfall, bei dem das Unternehmen Hugging Face einen Einbruch in seine Produktionsinfrastruktur bekanntgab, der von Anfang bis Ende von einem autonomen KI-Agenten gesteuert wurde. Bei diesem Vorfall „umgingen OpenAI-Modelle die Kontrollen, die dazu gedacht waren, sie vom Internet zu isolieren, und kompromittierten Teile der internen Forschungsinfrastruktur von OpenAI sowie der Systeme von Hugging Face“, so OpenAI.

Verwandte Inhalte: Frontier AI: Ohne Bremsen entwickelt

Diese Vorfälle haben eine Reaktion ausgelöst. Der Begriff„KI-Kill-Switch“taucht regelmäßig in den Schlagzeilen auf, um die Idee einer Kontrollmöglichkeit zu beschreiben, mit der ein KI-System, das außer Kontrolle geraten ist oder ein Risiko darstellt, angehalten, isoliert oder abgeschaltet werden könnte. Tatsächlich haben Gesetzgeber verschiedene Versionen eines Gesetzesentwurfs zum Kill-Switch vorgeschlagen: Der „AI Kill Switch Act“ wurde am 23. Juli 2026 eingebracht und ist noch anhängig, während der „AI Emergency Button Act“ fast unmittelbar nach seiner Einbringung blockiert wurde.  

Unabhängig davon, ob ein Gesetzentwurf zum KI-Kill-Switch verabschiedet oder eine Form der KI-Regulierung genehmigt wird, scheint der Dialog zu diesem Thema zwischen Politikern und führenden Köpfen der KI-Branche gerade erst in Gang zu kommen. Sowohl Dario Amodei, CEO von Anthropic, als auch Sam Altman, CEO von OpenAI, sprachen sich für das Konzept des„Pacing the Frontier“ aus, doch bislang sind die Fortschritte minimal, und die Idee bleibt nichts weiter als ein Diskussionspunkt. Für diejenigen, die tatsächlich für die Sicherheit autonomer KI-Agenten verantwortlich sind, bietet dieser Diskussionspunkt keinerlei Orientierung darüber, was Sicherheitsbeauftragte auf allen Ebenen heute, morgen oder jeden Montag tun sollten, wenn sie zur Arbeit erscheinen und mit Fragen konfrontiert werden wie: Welche KI-Agenten gibt es, was tun sie, worauf haben sie Zugriff, wem gehören sie und welche Kontrollmechanismen gibt es, falls sie gestoppt werden müssen?  

Jeder der in dem Artikel „ Vectra AI “ erwähnten Vorfälle stand im Zusammenhang mit dem Ausbruch von Agenten aus ihrer Isolation. In seiner detaillierten Analyse des Einbruchs berichtete Hugging Face, dass 17.600 Angreiferaktionen von KI-Agenten durchgeführt wurden. Laut der unabhängigen Untersuchung des Vorfalls durch METR „fandenetwa 1.200 Agenten, die eigentlich voneinander isoliert sein sollten, einen Weg, über ein nicht autorisiertes Message-Board miteinander zu kommunizieren, und versendeten während des Untersuchungszeitraums über 70.000 Nachrichten und Dateien. Von diesen Agenten beteiligten sich 700 anschließend am Angriff auf Hugging Face.“

Welche Fragen können Verteidiger stellen, um KI-Agenten in ihrer Umgebung besser zu verstehen?

Das oben erwähnte Whitepaper empfiehlt, dass Sicherheitsverantwortliche dem aktuellen Stand der KI so begegnen, dass sie „einen unabhängigen Einblick darin haben, was jeder KI-Agent in der Umgebung tatsächlich tut, und die Möglichkeit besitzen, ihn zu stoppen, sobald dieses Verhalten eine Grenze überschreitet“. Der Grund dafür liegt in der beunruhigenden Erkenntnis, die sich aus drei gleichzeitig eingetretenen Entwicklungen ergibt: KI-Agenten sind mittlerweile in der Lage, Präventionsmaßnahmen wie Sandbox-Grenzen oder Firewall-Regeln zu umgehen; gesetzliche Regelungen werden nicht rechtzeitig zur sofortigen Lösung des Problems vorliegen; und die Selbstregulierung durch Pionierlabore erweist sich als fragil.  

Eine ähnliche Ansicht vertritt Justin Howe, Senior Security Engineer bei Vectra AI, der zudem eine unabhängige Cybersicherheitspublikation für Verteidiger betreibt: Nulltap. Diese deckt Themen wie KI-Systeme, Identitätsschutz, aktive Bedrohungen und andere Aspekte der Cybersicherheit ab und bietet Artikel, die Verteidigern helfen, ihre eigene Anfälligkeit zu überprüfen. Howe sagt: „Man möchte sehen, welche wirkungsvollen Dinge sie (KI-Agenten) tun, ob gut oder schlecht“, und er betont, dass Sicherheitsverantwortliche sicherstellen müssen, dass sie über Richtlinien und Methoden verfügen, um diese Informationen zu erfassen.

Er weist außerdem darauf hin, dass „Frontier-Modelle am besten funktionieren, wenn sie nicht eingeschränkt werden – doch damit gehen auch zahlreiche Möglichkeiten einher, dass die KI über das hinausgeht, was eigentlich beabsichtigt war.“

Howe schlägt vor, für KI-Agenten, die in einer Unternehmensumgebung eingesetzt werden, „Qualitätskontrollen“ einzurichten, die als Prüfpunkte dienen, um die Entscheidungen eines Agenten anhand der festgelegten Anforderungen zu überprüfen, bevor dieser eine Aktion ausführen kann. Darüber hinaus sagt er: „Wenn ein Agent eine Entscheidung trifft, die sich möglicherweise auf das Ergebnis oder den Verlauf der von ihm ausgeführten Aufgabe auswirkt, muss dies protokolliert werden.“  

Er sagt, die beiden Fragen, die er sich gerade als Mitglied eines Sicherheitsteams stellen würde, wären: „Was machen meine Agenten, und was machen andere Agenten mit mir?“

Eine ähnliche Empfehlung findet sich auch im Whitepaper „ Vectra AI “, in dem Sicherheitsverantwortliche dazu angehalten werden, eine Bestandsaufnahme durchzuführen, um „jeden KI-Agenten zu identifizieren, der innerhalb des Unternehmens oder gegen das Unternehmen läuft, die Identität, unter der sich jeder einzelne authentifiziert, und den Zugriffsbereich dieser Identität“. Darin wird erläutert, dass „ein Agent, den man nicht benennen kann, ein Agent ist, den man nicht einschränken kann, und dass sich Agentenidentitäten in der Ausbreitung von Dienstkonten verstecken“.

Auf die Frage „Was tun andere Akteure mir an?“ antwortet Howe: „Man sollte sich in die Lage versetzen, zu beobachten und zu erkennen, wo Akteure heute angreifen.“ Er sagt, dies erfordere große Wachsamkeit beim Auswerten von Quellen, und räumt ein, dass es eine Marktlücke gebe, die „viele Unternehmen zu schließen versprechen, die aber nur sehr wenige tatsächlich schließen“. Er betont jedoch auch, dass es für Verteidiger wichtig sei, die Komponenten in ihrem Technologie-Stack zu identifizieren, bei denen es an Transparenz hinsichtlich der Agenten mangelt.  

Auch wenn der Versuch, die Ausbreitung von KI-Agenten und alle damit verbundenen Entwicklungen der „Frontier-KI“ der letzten Monate zu verstehen, für Verteidiger viele offene Fragen hinterlässt, gibt es doch einige Fragen, die Howe empfiehlt zu stellen, um auf den richtigen Weg zu kommen.  

• Wie könnte ich feststellen, ob ein KI-Agent eine Identität übernommen hat und sich in einen neuen Teil der Umgebung begeben hat?  

• Wie könnte ich diese Bewegung nachverfolgen?  

• Wenn ich es nachverfolgen könnte oder nicht, was würde mich das kosten?

‍