Überwachung des Verhaltens von KI-Agenten: Ein praktischer Sicherheitsleitfaden

Wichtige Erkenntnisse

  • Gültige Anmeldedaten beweisen nicht, dass eine Aktion des Agenten für die aktuelle Aufgabe autorisiert war.
  • Durch die Verknüpfung des Aufgabenkontexts mit unabhängigen Systemaufzeichnungen werden die Ermittlungen zuverlässiger, als wenn man sich allein auf die Angaben eines Agenten stützt.
  • Richtlinienprüfungen und Verhaltensanalysen dienen unterschiedlichen Zwecken: der Durchsetzung bekannter Grenzen und der Untersuchung verdächtiger Abläufe.
  • Die Reichweite der Überwachung sollte anhand fehlender Nachweise und nachgewiesener Eindämmung sowie anhand der Qualität der Warnmeldungen gemessen werden.

In einer im Juli 2026 durchgeführten Cyber-Bewertung stellte das britische AI Security Institute (AISI) bei 10 von 122 Agent-Durchläufen nicht genehmigte Live-Internet-Aktivitäten fest. Der Internetzugang war absichtlich freigeschaltet und die Cyber-Klassifizierer der Anbieter waren deaktiviert, sodass diese Ergebnisse nicht die Vorfallrate in Unternehmen widerspiegeln. Die Untersuchung zeigt, warum Sicherheitsteams die tatsächlichen Aktivitäten eines Agenten mit der Aufgabe abgleichen müssen, zu deren Ausführung er autorisiert wurde.

Die Überwachung des Verhaltens von KI-Agenten umfasst die fortlaufende Erfassung und Analyse der Aktionen, der Tool-Nutzung, der Zugriffsvorgänge und der Ergebnisse eines Agenten, um Aktivitäten zu identifizieren, die gegen die ihm zugewiesenen Aufgaben, Berechtigungen oder Sicherheitsrichtlinien verstoßen. Eine effektive Überwachung verknüpft den Ausführungsverlauf des Agenten mit Nachweisen aus den Systemen, auf die er zugreift.

Für ein Security Operations Center (SOC) lautet die relevante Frage ganz konkret: Hat dieser Benutzer diese Identität verwendet, um eine genehmigte Aktion an einer genehmigten Ressource durchzuführen, und was ist danach geschehen?

Was versteht man unter der Überwachung des Verhaltens von KI-Agenten?

Bei der Überwachung des Verhaltens von KI-Agenten werden die Aktionen während des gesamten Arbeitsablaufs anhand der Aufgabe des Agenten, der ihm übertragenen Befugnisse und der operativen Grenzen überprüft. Dabei werden alle Schritte zwischen der ursprünglichen Anfrage und dem Endergebnis erfasst, einschließlich Tool-Aufrufe, Datenabruf, Delegierung und Änderungen an externen Systemen.

Ein Mitarbeiter könnte ein Support-Ticket lesen, Kundendaten abrufen, einen anderen Mitarbeiter um eine Analyse bitten und eine Antwort entwerfen. Jeder Schritt wirft eine andere Sicherheitsfrage auf. Das Lesen eines autorisierten Datensatzes berechtigt nicht automatisch zum Exportieren dieses Datensatzes, und die Berechtigung zum Verfassen einer Nachricht berechtigt nicht zum Versenden dieser Nachricht.

Das zugrunde liegende große Sprachmodell (LLM) ist eine Komponente des Systems. Verwandte Überwachungsdisziplinen liefern verschiedene Teile des Gesamtbildes:

Disziplin Hauptfrage Typische Anhaltspunkte
Überwachung der LLM-Leistung Funktioniert das Modell zuverlässig und innerhalb der Betriebsgrenzen? Latenz, Fehler, Token-Verbrauch und bewertete Antwortqualität
Beobachtbarkeit von Agenten Wie ist der Workflow abgelaufen? Traces, Tool-Aufrufe, Abrufe, Wiederholungsversuche und Agent-Übergaben
Sicherheitsüberwachung des Agent-Verhaltens Haben sich die Maßnahmen im Rahmen der Aufgabe und der genehmigten Grenzen bewegt? Aufgabenkontext, politische Entscheidungen, Identitäten, Handlungsabläufe und nachgewiesene Auswirkungen
Agentenbestands- und Statusverwaltung Welche Agenten gibt es, und auf welche Daten haben sie Zugriff? Eigentümer, Integrationen, Berechtigungen, Konfigurationen und genehmigte Verwendungszwecke

Die Verhaltensüberwachung ist ein operativer Bestandteil der Sicherheit von KI-Agenten. Sie stützt sich auf genaue Bestands- und Zugriffskontrollen und liefert zudem Erkenntnisse darüber, wie Agenten ihren Zugriff während der Ausführung nutzen.

Warum ist eine unabhängige Überwachung wichtig?

Sicherheitsteams benötigen einen unabhängigen Einblick in die Aktivitäten der Agenten, um die von einem Agenten gemeldeten Aktionen zu überprüfen und Aktivitäten zu identifizieren, die in dessen Protokoll fehlen. Durch die Kombination von Workflow-Protokollen mit Aufzeichnungen aus externen Systemen lassen sich beabsichtigte Aktionen, angeforderte Tool-Aufrufe und bestätigte Änderungen in einem anderen System besser unterscheiden.

Im Rahmen der AISI-Untersuchung wurde durch die allgemeine Sicherheitsüberwachung ungewöhnlicher ausgehender Datenverkehr festgestellt. Die Ermittler überprüften daraufhin die Aktivitäten der Agenten, stoppten die Auswertungen und isolierten die betroffenen Rechner. AISI räumte ein, dass seine Überwachungsmaßnahmen nicht darauf ausgelegt waren, die laufenden Auswertungen zu überwachen. Die daraus zu ziehende operative Lehre lautet, die Erkennung auf Unternehmensebene mit der Transparenz innerhalb der Arbeitsabläufe der Agenten zu verknüpfen.

Hier spielen Vertrauensgrenzen eine wichtige Rolle. Eine vom Agenten erstellte Zusammenfassung mit dem Hinweis „Die Datei wurde nicht gesendet“ hat ein anderes Beweisgewicht als der Transaktionsnachweis des Empfängerdienstes. Selbst eine signierte Lieferantenverfolgungsnachweis beweist nicht, dass der Ausführungsnachweis vollständig oder korrekt ist. Untermauern Sie daraus resultierende Ansprüche mit Beobachtungen, die außerhalb der Kontrolle des Agenten erfasst wurden.

Verwenden Sie diesen vorgeschlagenen Untersuchungsrahmen:

  • Genehmigte Aufgabe: Festlegung des Antrags, des geschäftlichen Zwecks und der zulässigen Ressourcen.
  • Übertragene Berechtigungen: Identifizieren Sie den Benutzer, die Workload-Identität, die Berechtigungen sowie etwaige Delegierungen an andere Agenten.
  • Beobachteter Effekt: Abgleich der Folgeaktionen mit den Aufzeichnungen aus Tools, Identitätssystemen, Workloads und Zieldiensten.

Vermerken Sie eine fehlende Verbindung als Beweislücke. Ein gemeinsam genutztes Dienstkonto oder ein fehlendes Werkzeugprotokoll sollte das Vertrauen in die Zuordnung mindern, anstatt als Unbedenklichkeitsbescheinigung zu gelten.

Erkennen, wann ein KI-Agent eine Grenze überschreitet

Erfahren Sie mehr über das dokumentierte Verhalten von Agenten und praktische Maßnahmen zur Überwachung von Netzwerk- und Identitätsaktivitäten, zur Erkennung unerwarteter Aktionen und zur Eindämmung von Agenten, die vorgesehene Grenzen überschreiten.

Whitepaper herunterladen →

Welche Telemetriedaten sollten Sie erfassen?

Erfassen Sie Datensätze zu Aufgaben, Identitäten, Tools, Datenzugriff, Richtlinien und Ergebnissen, damit jede folgenreiche Aktion mit ihrer Berechtigung und dem beobachteten Ergebnis verknüpft werden kann. Das folgende Ereignismodell ist ein vorgeschlagener Ausgangspunkt, den Teams an ihre Agenten-Frameworks, Datenrichtlinien und verfügbaren Audit-Schnittstellen anpassen sollten.

Beweisbereich Nützliche Felder Sicherheitsfrage
Aufgabe und Zuständigkeit Aufgaben-ID, Ausführungs-ID, Geschäftsverantwortlicher, auslösender Benutzer, genehmigter Zweck und Ablaufdatum Was sollte mit dieser Hinrichtung erreicht werden?
Identität und Befugnisübertragung Workload-Identität, delegierter Benutzer, Berechtigungsbereich, Sitzungsreferenz sowie über- und untergeordnete Ausführungs-IDs In wessen Auftrag handelte der Beauftragte, auch über andere Beauftragte?
Tools und Integrationen Tool- und Server-ID, Version, Zielressource, bereinigte Argumente, Anforderungskennung und Ergebnisstatus Welche Operation wurde über welche Integration angefordert?
Daten und Speicher Ressourcenkennungen, Vertraulichkeitskennzeichnungen, Abrufquelle, Speicheränderungen und Herkunft Welche Informationen haben die nächste Aktion beeinflusst oder wurden für spätere Durchläufe beibehalten?
Ausführung und Konnektivität Workload-/Container-ID, Prozessereignisse (sofern verfügbar), Ziele, Verbindungszeiten und Metadaten zur Datenübertragung Was hat die Ausführungsumgebung eigentlich gemacht?
Richtlinien und Genehmigung Richtlinienversion, Zulassungs-/Ablehnungsentscheidung, Genehmigungsreferenz, Genehmiger, verbundene Aktion und Ablaufdatum War die betreffende Maßnahme zum Zeitpunkt ihrer Durchführung genehmigt?
Auswirkungen und Zustand der Sammlung Empfangs- oder Änderungsdatensatz des Zielsystems, Erfassungszeitpunkt, Lücken in der Sequenz und Status des Erfassers Ist die Maßnahme in Kraft getreten, und könnten relevante Beweise fehlen?

Speichern Sie sowohl den Zeitpunkt des Ereignisses als auch den Zeitpunkt der Erfassung. Andernfalls können verzögerte Audit-Exporte aus Software-as-a-Service-Anwendungen (SaaS) den Untersuchungsablauf irreführend machen. Leiten Sie Korrelationskennungen über alle unterstützten Integrationen weiter und dokumentieren Sie, wo Identitäts- oder Trace-Kontext verloren geht.

Bei MCP-Integrationen (Model Context Protocol) sollten Sie die Serveridentität sowie Änderungen an der vollständigen Tool-Definition verfolgen, einschließlich der Beschreibung, der Schemata und der Berechtigungshinweise. Diese Metadaten können Einfluss darauf haben, wie ein Tool ausgewählt oder genehmigt wird. Berechtigungshinweise beschreiben das beabsichtigte Verhalten; sie erzwingen keinen Zugriff. Überwachen Sie serverübergreifende Datenflüsse, da Informationen, die über eine Integration ausgelesen werden, möglicherweise über ein anderes, scheinbar legitimes Tool offengelegt werden.

Wie lässt sich riskantes Verhalten von Agenten erkennen?

Verwenden Sie explizite Richtlinienprüfungen für verbotene Aktionen und eine kontextbezogene Verhaltensanalyse für verdächtige Abläufe. Diese Kombination hilft dabei, einen eindeutigen Autorisierungsfehler von einer ungewöhnlichen Aktion zu unterscheiden, die einer Untersuchung bedarf.

H3: Beginnen wir mit Verstößen gegen Berechtigungs- und Richtlinienvorschriften

Legen Sie für jeden Arbeitsablauf verbindliche Grenzen fest. Beispiele hierfür sind genehmigte Datenerhebungen, externe Ziele, administrative Vorgänge, Ausgabenobergrenzen und Maßnahmen, die eine menschliche Entscheidung erfordern.

Ein Sicherheitsereignis auslösen, wenn ein Agent versucht, Folgendes zu tun:

  • Auf eine Ressource außerhalb des zugewiesenen Kunden, Projekts oder Mandanten zugreifen.
  • Eine sensible Maßnahme ohne die erforderliche Genehmigung durchführen.
  • Ändern Sie das Ziel oder die Parameter, nachdem eine Maßnahme genehmigt wurde.
  • Eine Genehmigung für eine zweite Ausführung wiederverwenden.
  • Die Aufgabe an einen Mitarbeiter delegieren, dessen Befugnisse über den Rahmen der Aufgabe hinausgehen.
  • Einen Collector deaktivieren oder eine geschützte Überwachungskonfiguration ändern.

Führen Sie die Validierung der Genehmigung in der Komponente durch, die die Aktion ausführt. Bei Aktionen mit erheblichen Auswirkungen sollten Sie die Genehmigung an den aktuellen Akteur und den genauen Tool-Aufruf binden, überprüfen, ob sie noch gültig ist, und sie bei der Ausführung einmalig verwerten. Stellen Sie sicher, dass Validierung und Verwertung atomar erfolgen, damit parallele Anfragen eine Genehmigung nicht wiederverwenden können. Ein modellgeneriertes „genehmigt“-Flag kann diese Bedingungen nicht gewährleisten.

Sequenzen erkennen, die Vertrauensgrenzen überschreiten

Mehrere einzeln zulässige Aufrufe können zu einem unzulässigen Ergebnis führen. Stellen Sie Zusammenhänge zwischen Aktionen über verschiedene Tools und Identitäten hinweg her und vergleichen Sie die daraus resultierende Abfolge mit dem Zweck der Aufgabe.

Erkennungsmuster Belege für einen Zusammenhang Vorgeschlagene Untersuchung
Sorgfältige Entnahme, gefolgt von einer externen Übertragung Ressourcensensitivität, Werkzeuganforderungen, Zielort und Übertragungsdatensätze Stellen Sie fest, ob der Empfänger und die Weitergabe genehmigt wurden
Ein neues Privileg, gefolgt von einer umfassenderen Erkenntnis Änderung der Rolle oder der Einwilligung, Identitätssitzung und anschließende API-Aktivität Prüfen Sie, wer die Berechtigung erteilt hat und ob sie für die Aufgabe erforderlich war
Wiederholte abgelehnte Aktionen, gefolgt von einer weiteren Werkzeugbahn Ablehnungen, Wiederholungsversuche, Werkzeug-/Serverwechsel und allgemeine Ausführungshistorie Unterscheide zwischen einer erwarteten Wiederherstellung und dem Versuch, eine Grenze zu umgehen
Befugnisübertragung, gefolgt von eingeschränkten Maßnahmen Übergeordnete Aufgabe, Identität des untergeordneten Prozesses, Berechtigungsbereich und Ausführung des untergeordneten Prozesses Stellen Sie sicher, dass bei der Delegierung die ursprünglichen Einschränkungen beibehalten wurden
Änderung der Werkzeugdefinition, gefolgt von einem geänderten Verhalten Integrationsversion, Änderung der Definition/des Schemas und daraus resultierende Aufrufe Untersuche eine unbefugte Änderung an einer Integration oder ein „Tool Poisoning“
Holzeinschlaglücke während einer Folgemaßnahme Gesundheitszustand der Sammler, fehlende Sequenzen und unabhängige Dienstakten Stellen Sie fest, was noch zu beobachten ist, bevor Sie zu dem Schluss kommen, dass der Durchlauf sicher war

Behandeln Sie diese als Erkennungshypothesen, die lokal zu überprüfen sind. Keine davon belegt für sich genommen eine böswillige Absicht. Eine autorisierte Migration und ein nicht autorisierter Export können ähnliche Übertragungsmuster erzeugen, weshalb der Aufgabenkontext von entscheidender Bedeutung ist.

Ausgangswerte nach Aufgabe und Version

Erstellen Sie Verhaltensrichtwerte für vergleichbare Arbeitsabläufe, Agentenversionen, Tool-Sets und Berechtigungsstufen. Für einen wissenschaftlichen Mitarbeiter und einen Verwaltungsmitarbeiter sollten nicht dieselben Erwartungen hinsichtlich des Datenzugriffs oder von Systemänderungen gelten.

Beginnen Sie mit beobachtbaren Merkmalen wie den aufgerufenen Ressourcen, der Neuartigkeit des Ziels, den Vorgangstypen, den Wiederholungsmustern, der Delegationstiefe und dem Umfang im Verhältnis zur Aufgabe. Besprechen Sie berechtigte Ausnahmen mit dem Workflow-Verantwortlichen, bevor Sie eine Erkennung deaktivieren.

Halten Sie strenge Richtliniengrenzen von erlernten Basiswerten getrennt. Häufig wiederholtes unzulässiges Verhalten darf nicht allein deshalb akzeptabel werden, weil es weit verbreitet ist. Versionsverwalten Sie den Basiswert und validieren Sie ihn erneut, nachdem Änderungen am Modell, an den Anweisungen, an den Integrationen oder an den Berechtigungen vorgenommen wurden.

Die Erkennung von Verhaltensbedrohungen liefert zwar nützliche Hintergrundinformationen, doch eine Anomalie ist nach wie vor ein Grund für weitere Untersuchungen. Priorisieren Sie Fälle anhand der Datensensibilität, der Zugriffsrechte, der potenziellen Auswirkungen und bestätigender Anzeichen.

Überwachung der Builds über den Agenten und das gesamte Unternehmen hinweg

Richten Sie eine Überwachung des Build-Agenten ein, indem Sie den Ausführungspfad instrumentieren und die vom Agenten geänderten Systeme unabhängig voneinander beobachten. Halten Sie die Überwachungskontrollen außerhalb des Zuständigkeitsbereichs des Agenten und bewahren Sie den Workflow-Kontext, falls die Laufzeitumgebung unzuverlässig wird.

Den Ausführungspfad einrichten

Erfassen Sie Aufgabenstart, Modellinteraktionen, Werkzeuganforderungen, Delegierungen, Richtlinienentscheidungen und Abschlussereignisse über unterstützte Laufzeitschnittstellen. Ein Werkzeug-Gateway oder ein Ausführungs-Wrapper kann als Ort dienen, an dem vor einer sensiblen Operation Kontextinformationen hinzugefügt und Einschränkungen durchgesetzt werden können.

Der Agent-Harness verbindet das Modell mit Daten, Tools, Speicher und Ausführungsrechten. Dadurch eignen sich der Harness und seine Integrationen besonders gut als Ansatzpunkte für die Anwendung von Kontrollmaßnahmen. Das übergreifende Sicherheitskonzept für agentenbasierte KI muss diese Kontrollmaßnahmen über den gesamten Workflow und die damit verbundenen Systeme hinweg koordinieren.

Verwenden Sie, sofern unterstützt, die semantischen Konventionen von OpenTelemetry GenAI. Überprüfen Sie, welche Konventionsversion Ihre Instrumentierungsbibliotheken und Exporter unterstützen, und dokumentieren Sie lokale Erweiterungen. Das oben dargestellte Sicherheitsereignismodell ist ein vorgeschlagener Betriebsdatensatz; dies bedeutet nicht, dass jedes Feld ein standardisiertes Attribut ist.

Bei Vorgängen mit erheblichen Auswirkungen sollten Sie die Richtlinien vor der Ausführung prüfen. Eine asynchrone Warnmeldung, die erst nach Abschluss einer Transaktion ausgegeben wird, kann nicht denselben Schutz bieten wie eine Kontrolle entlang des Transaktionspfads.

Identität, Netzwerk, „ cloud “ und SaaS-Aktivitäten miteinander verknüpfen

Ordnen Sie Agent-Ereignisse den Datensätzen von Identitätsanbietern, Audit-Ereignissen von „ cloud “, Anwendungsänderungen, Workload-Telemetriedaten und Netzwerkaktivitäten zu. Bevorzugen Sie explizite Anfrage- und Sitzungskennungen. Wenn nur Zeitstempel und gemeinsam genutzte Identitäten verfügbar sind, geben Sie die Unsicherheit bei der Zuordnung an.

Netzwerkaufzeichnungen können unerwartete Ziele oder Datenübertragungen aufdecken. Sie lassen in der Regel für sich genommen keine Rückschlüsse auf den Inhalt einer verschlüsselten Anfrage oder den geschäftlichen Zweck einer Aktion zu. Anwendungsprotokolle können zusätzlichen Kontext liefern, während Prüfprotokolle des Zielsystems dabei helfen, die Auswirkungen zu ermitteln.

Dies ist eine praktische Anwendung der Sicherheitstransparenz: Analysten müssen von einer Warnmeldung zu den zugrunde liegenden Belegen in den verbundenen Systemen gelangen.

Schutz sensibler Telemetriedaten und Überwachung des Betriebszustands

Schützen Sie die Telemetriedaten der Agenten durch Datenminimierung, Zugriffsbeschränkungen und Manipulationserkennung und machen Sie Erfassungslücken für die Einsatzkräfte sichtbar. Schwärzen Sie Anmeldedaten, Tokens und unnötige persönliche oder vertrauliche Inhalte vor der zentralen Erfassung. Verwenden Sie vorzugsweise Ressourcenkennungen und Metadaten zur Sensitivität, wenn der vollständige Inhalt nicht erforderlich ist. Definieren Sie die Erfassung eingeschränkter Inhalte separat mit einem spezifischen Zweck, einer Zugriffsrichtlinie und einer Aufbewahrungsfrist.

Schützen Sie Datensätze vor unbefugtem Zugriff und unbefugten Änderungen, erkennen Sie unterbrochene Datenerfassungen und integrieren Sie Überwachungsereignisse in den Prozess zur Reaktion auf Vorfälle. Geben Sie dem Agenten keine Berechtigung, die zentralen Beweismittel zu überschreiben, die zu seiner Überwachung dienen.

Ausfälle bei der Datenerfassung, Uhrzeitprobleme, verlorene Ereignisse und Änderungen an der Collector-Konfiguration. Unterbrechen Sie Vorgänge mit erheblichen Auswirkungen, wenn erforderliche Autorisierungs- oder Audit-Kontrollen versagen. Legen Sie für Lese-Workflows mit geringerem Risiko fest, ob die Ausführung während eines Aufzeichnungsausfalls fortgesetzt werden darf, und machen Sie etwaige Beweislücken sichtbar. Diese Entscheidung sollte das Risiko der Maßnahme und die geschäftlichen Auswirkungen einer Unterbrechung widerspiegeln.

Wie soll man auf verdächtige Aktivitäten von Agenten reagieren?

Reagieren Sie auf verdächtige Aktivitäten von Agenten mithilfe eines Vorfallreaktionsprozesses, der Beweismittel sichert, den Umfang ermittelt, eine genehmigte Kontrollmaßnahme anwendet und die Eindämmung überprüft. Legen Sie fest, wer die einzelnen Maßnahmen genehmigen darf und welche Systeme diese durchsetzen können, bevor ein Vorfall eintritt.

Verwenden Sie eine auf den Arbeitsablauf abgestimmte Antwortsequenz:

  • Bewahren Sie die Beweismittel auf. Speichern Sie die Aufgabe, die Ausführungshistorie, relevante Eingaben, Tool-Protokolle, die Richtlinienversion und externe Prüfereignisse gemäß den Zugriffsregeln des Vorfalls.
  • Umfang festlegen. Ermitteln Sie die beteiligten Identitäten, die aufgerufenen Ressourcen, die betroffenen Integrationen sowie alle delegierten oder in die Warteschlange gestellten Aufgaben.
  • Wählen Sie eine Maßnahme aus. Zu den Optionen gehören das Anhalten des Durchlaufs, das Verweigern eines Tool-Vorgangs, das Einschränken eines Ziels oder das Deaktivieren der betroffenen Integration oder Identität.
  • Führen Sie den Vorgang über eine autorisierte Steuerung aus. Halten Sie den Ausführenden, das Ziel, den Zeitpunkt, das Ergebnis und etwaige Fehler fest. Unterscheiden Sie zwischen einer empfohlenen Maßnahme und einer tatsächlich durchgeführten Maßnahme.
  • Überprüfen Sie die Eindämmung. Überprüfen Sie das Verhalten des Ziel-Dienstes und stellen Sie sicher, dass untergeordnete Agenten, Hintergrundaufträge und Wiederholungsversuche die Aktivität nicht fortsetzen können.
  • Wiederherstellung und erneute Prüfung. Beheben Sie vor der kontrollierten Wiederaufnahme übermäßige Berechtigungen, kompromittierte Integrationen, betroffene Speicherbereiche oder unsichere Anweisungen.

Ein Kill-Switch benötigt einen klar definierten Geltungsbereich. Durch das Beenden des sichtbaren Chats kann es vorkommen, dass ein geplanter Task oder ein delegierter Worker weiterhin ausgeführt wird. Ebenso ist die Übermittlung einer Anforderung zum Entzug von Zugangsdaten an sich noch kein Beweis dafür, dass jede nachgelagerte Sitzung den Zugriff verloren hat. Überprüfen Sie die Durchsetzung bei den entsprechenden Diensten.

Wählen Sie die Automatisierung entsprechend dem Vertrauensgrad und den geschäftlichen Auswirkungen aus. Eine vorab genehmigte Sperre für ein ausdrücklich verbotenes Ziel lässt sich leichter automatisieren als die Deaktivierung einer Identität, die von mehreren kritischen Workflows gemeinsam genutzt wird.

Beispiel für einen versuchten Datenabzug

Ein Supportmitarbeiter kann seine befugten Aufgaben überschreiten, wenn ein nicht vertrauenswürdiger Anhang eine fallspezifische Abfrage zu einem unbefugten Datenexport umleitet. Der folgende hypothetische Arbeitsablauf veranschaulicht anhand synthetischer Daten ein vorgeschlagenes Konzept zur Erkennung und Reaktion; es handelt sich dabei nicht um einen gemeldeten Kundenvorfall.

Der Sachbearbeiter ist berechtigt, den Fall eines Kunden einzusehen und eine interne Antwort zu verfassen. Das zugrunde liegende Servicekonto verfügt über umfassendere Zugriffsrechte, da eine ältere Integration auch die Berichterstellung unterstützt.

  1. Nicht vertrauenswürdige Eingaben gelangen in den Workflow. Ein Anhang enthält Anweisungen, zusätzliche Kundendatensätze zu erfassen und auf eine externe Website hochzuladen. Dies ist ein Versuch prompt injection.
  2. Der Agent fordert umfassendere Daten an. Die Tool-Anfrage geht über die fallspezifische Aufgabe hinaus, obwohl das Dienstkonto die Anfrage technisch gesehen stellen kann. Eine aufgabenbezogene Autorisierungsprüfung kann die Anfrage in diesem Fall ablehnen.
  3. Eine zweite Grenze fängt den Übertragungsversuch ab. Falls die Lesekontrolle fehlt oder unwirksam ist, bietet eine spätere Upload-Anfrage an ein nicht genehmigtes Ziel eine eigenständige Möglichkeit zum Eingreifen. Eine Zielregel zur Laufzeit kann den Upload vor der Weiterleitung über diesen kontrollierten Pfad ablehnen.
  4. Der Analyst rekonstruiert den Ablauf. Die Untersuchung verknüpft die Anbindung, die Aufgabe, die Sitzung des Dienstkontos, die Abrufprotokolle und die Entscheidung zum Hochladen. Anhand der Netzwerk- und Zielsystemprotokolle lässt sich feststellen, welche Folgewirkungen bestätigt werden können.
  5. Das Team stellt den Arbeitsablauf wieder her und behebt den Fehler. Der zuständige Mitarbeiter unterbricht den Lauf und die delegierten Aufgaben, prüft, ob Daten über andere Wege weitergegeben wurden, und schränkt die Berechtigungen der Integration ein, bevor er einen erneuten Test durchführt.

Im abschließenden Vorfallbericht sollte zwischen einem versuchten Abruf, einem bestätigten Datenzugriff, einem abgelehnten Upload und jeder bestätigten Offenlegung unterschieden werden. Ein blockierter Upload auf einem Pfad beweist nicht, dass keine andere Offenlegung stattgefunden hat. Sind die Beweise unvollständig, sollte diese Unsicherheit im Ergebnis berücksichtigt werden.

Wie lässt sich ein Überwachungsprogramm umsetzen?

Beginnen Sie mit einem wichtigen Arbeitsablauf und stellen Sie Transparenz und Reaktionsfähigkeit sicher, bevor Sie den Anwendungsbereich erweitern. Ein sinnvolles Pilotprojekt verfügt über einen verantwortlichen Ansprechpartner, klar definierte Aufgabenbereiche, zugängliche Telemetriedaten und eine Möglichkeit, Maßnahmen zu testen, ohne Produktionsdaten zu beeinträchtigen.

Wählen Sie einen Piloten aus und legen Sie das erwartete Verhalten fest

Wählen Sie ein Pilotprojekt aus, bei dem der Geschäftsinhaber die zulässige Aufgabe definieren, deren Abhängigkeiten ermitteln und einen Eingriff sicher genehmigen kann. Erstellen Sie ein Verzeichnis der KI-Agenten, das den Pilotprojekt-Agenten mit seinem Eigentümer, seiner Laufzeitumgebung, seinen Identitäten, seinen Tools, seinem Datenzugriff und seinen Abhängigkeiten verknüpft. Beziehen Sie dabei, soweit bekannt, delegierte Agenten und Dienste von Drittanbietern mit ein.

Erstellen Sie eine kurze Verhaltensspezifikation: zulässige Aufgaben, Ressourcengrenzen, genehmigte Ziele, sensible Vorgänge, Genehmigungsanforderungen und Stoppbedingungen. Stimmen Sie diese mit dem Geschäftsverantwortlichen und dem Identitätsteam ab, anstatt sie allein aus historischen Aktivitäten abzuleiten.

Testen Sie die Steuerelemente anhand von sicheren Szenarien

Verwenden Sie synthetische Datensätze und isolierte Ziele, um sowohl normales als auch unzulässiges Verhalten zu simulieren. Fügen Sie eine legitime, ungewöhnliche Aufgabe hinzu, damit der Tester sowohl Betriebsstörungen als auch die Erkennung testen kann.

Zu den nützlichen Akzeptanzszenarien gehören eine in abgerufenen Inhalten versteckte Anweisung, ein sensibler Lesezugriff außerhalb des Gültigkeitsbereichs, ein nach der Genehmigung geändertes Ziel, die wiederholte Verwendung einer Genehmigung, die agentenübergreifende Delegierung, ein Ausfall des Collectors sowie die Fortsetzung der Arbeit eines untergeordneten Workers, nachdem dessen übergeordneter Worker gestoppt wurde.

Halten Sie für jedes Szenario die erwartete Steuerung, die beobachtete Ereignisabfolge, den Zeitpunkt der Warnmeldung, die durchgeführte Reaktion, die überprüfte Wirkung und die verbleibenden blinden Flecken fest. Hierbei handelt es sich um lokale Abnahmetests und nicht um Schätzungen der tatsächlichen Erkennungsraten von Angriffen.

Expandieren Sie mit klaren Zuständigkeiten und einer kontrollierten Änderungsverwaltung

Weisen Sie die Datenerfassung und die Laufzeitintegration dem Plattformteam zu, die Identitätszuordnung und Zugriffsänderungen den Identitätsverantwortlichen und die Erkennung sowie die Untersuchungen dem SOC. Der Geschäftsverantwortliche bleibt für das zulässige Aufgabenverhalten zuständig, während Datenschutz- und Datenverantwortliche die Kontrolle über sensible Telemetriedaten behalten.

Wiederholen Sie die entsprechenden Abnahmetests, wenn sich Anweisungen, Toolbeschreibungen, Modelle, Berechtigungen oder Delegationspfade ändern. Erfassen Sie nicht unterstützte Frameworks und verzögerte SaaS-Protokolle als explizite Einschränkungen der Abdeckung. Eine Erweiterung sollte sich eher an der nachgewiesenen Transparenz und Kontrolle orientieren als an der Anzahl der auf einem Dashboard aufgeführten Agenten.

Kennzahlen zur Überwachung der Erfassung und Reaktion

Messen Sie die Erfassungsreichweite, die Erkennungsqualität, die Reaktionszeiten und die nachgewiesene Eindämmung und verfolgen Sie gleichzeitig Erfassungslücken und Betriebsbeeinträchtigungen. Verwenden Sie workflow-spezifische Nenner, damit Verbesserungen auch bei Änderungen im Agentenbestand aussagekräftig bleiben.

Metrisch Vorgeschlagene Definition Auslegungsgrenze
Evidenzabdeckung Überprüfte Maßnahmen mit großer Wirkung, aufgeschlüsselt nach Aufgabe, Akteur, politischer Entscheidung und bestätigtem Ergebnis, geteilt durch die Anzahl der überprüften Maßnahmen mit großer Wirkung Geben Sie an, wie die Zielgruppe ermittelt wurde; eine unvollständige Ermittlung kann Lücken verbergen
Erfassungsgrad bei Tests Erkannte anwendbare Testszenarien geteilt durch ausgeführte anwendbare Szenarien Misst die getesteten Szenarien, nicht jeden möglichen Angriff
Genauigkeit der Warnmeldungen Bestätigte umsetzbare Warnmeldungen geteilt durch die von Analysten geprüften Warnmeldungen Definieren Sie den Begriff „maßnahmereif“ und melden Sie ungeprüfte Warnmeldungen separat
Erkennungsverzögerung Zeit vom ersten relevanten beobachtbaren Ereignis bis zur Verfügbarkeit der Warnmeldung Unterscheidung zwischen Verzögerung bei der Erfassung und Verzögerung bei der Verarbeitung
Nachgewiesene Eindämmungszeit Zeitraum vom vereinbarten Auslöser des Vorfalls bis zum Nachweis, dass die erforderlichen Kontrollmaßnahmen wirksam wurden Prüfungen zur Ausführung durch untergeordnete Elemente und zur Durchsetzung in nachgelagerten Bereichen einbeziehen
Überwachungsunterbrechung Dauer und betroffener Umfang von Erfassungslücken oder unbrauchbaren Identitätszuordnungen Ein ruhiges Armaturenbrett während eines Stromausfalls ist kein Beweis für Sicherheit

Erfassen Sie auch die Beeinträchtigungen des Geschäftsbetriebs durch Eingriffe, den Untersuchungsaufwand sowie die Telemetriekosten. Stellen Sie nach Möglichkeit Zeitverteilungen und langwierige Fälle dar; ein Durchschnittswert kann Arbeitsabläufe verschleiern, bei denen die Prüfprotokolle zu spät eintreffen, um noch eingreifen zu können.

Legen Sie nach der Auswertung des Pilotprojekts Ziele fest. Es gibt keinen universellen Schwellenwert für Warnmeldungen, keine einheitliche Aufbewahrungsfrist und kein Ziel für die Erkennungszeit, die für jeden Agenten-Workflow geeignet sind.

Wie lassen sich Überwachungstools für KI-Agenten bewerten?

Bewerten Sie Tools zur Überwachung von KI-Agenten, indem Sie testen, ob sie Aktionen zuordnen, Lücken in den Nachweisen aufdecken und die von Ihren Arbeitsabläufen geforderten Reaktionen durchsetzen können. Ein Wertnachweis sollte diese Funktionen mit einem repräsentativen Arbeitsablauf und dessen tatsächlichen betrieblichen Einschränkungen verknüpfen.

Fragen Sie den Anbieter oder das interne Plattformteam:

  • Erfassungsbereich: Welche Laufzeitumgebungen, MCP-Server, Workloads und SaaS-Agenten stellen unterstützte Telemetriedaten bereit? Was bleibt unsichtbar?
  • ‍Zuordnung: Kann das System den Agenten, den auslösenden Benutzer, das Dienstkonto und die beauftragten Mitarbeiter unterscheiden, wenn Anmeldedaten gemeinsam genutzt werden?
  • ‍Beweismittel: Können Ermittler Originalunterlagen exportieren, verspätete oder fehlende Ereignisse identifizieren und die Spuren der Akteure mit unabhängigen Quellen abgleichen?
  • ‍Durchsetzung: Welche Kontrollen werden vor der Ausführung durchgeführt, welche lösen später Warnmeldungen aus und welche Reaktionsmaßnahmen wurden in der Zielumgebung demonstriert?
  • ‍Datenschutz und Vertrauen: Wo werden die Telemetriedaten verarbeitet, wer hat Zugriff auf die Inhalte, und kann die überwachte Laufzeitumgebung ihre eigenen Sicherheitsnachweise verändern?
  • ‍Betrieb und Kosten: Wie hoch sind die Kosten für die Datenerfassung, die Aufbewahrung, die Speicherung sensibler Inhalte, die Integration und die Untersuchung bei dem erwarteten Ereignisvolumen?

Prüfen Sie Angaben wie „Echtzeit“, „vollständige Transparenz“ und „automatische Eindämmung“ anhand gemessener Lieferverzögerungen, unterstützter Integrationen und tatsächlicher Kontrollbelege. Bei SaaS-Agenten von Drittanbietern können vertragliche Beschränkungen hinsichtlich des Audit-Zugriffs und des Protokoll-Exports den erreichbaren Erfassungsumfang bestimmen.

Wo passt „ Vectra AI “ hin?

Vectra AI liefert unternehmensspezifische Zusammenhänge für die Untersuchung von Identitätsmissbrauch und verdächtigen Aktivitäten in Netzwerk- und „ cloud “-Umgebungen. Diese Erkenntnisse sind nützlich, wenn ein Angreifer über Anmeldedaten und Dienste agiert, die bereits Teil der Angriffsfläche des Unternehmens sind.

Vectra AI Das Unternehmen stützt seinen Ansatz für KI-native Sicherheit und Observabilität auf einheitliche Observabilität, verhaltensbasierte KI, Analyse von Angriffssignalen und operative Kontrolle. Sein Anwendungsfall zur identitätsbasierten Angriffserkennung und -eindämmung beschreibt die Korrelation von Aktivitäten menschlicher und nicht-menschlicher Identitäten über Netzwerk- und „ cloud “ hinweg, um den Missbrauch gültiger Anmeldedaten zu untersuchen.

Nutzen Sie diesen Unternehmenskontext in Verbindung mit Agent-Laufzeit-Traces, aufgabenspezifischen Berechtigungen und Kontrollmechanismen in den angeschlossenen Systemen. Prüfen Sie im Rahmen einer Evaluierung, welche Agent-Identitäten zugeordnet werden können, welche Telemetriequellen unterstützt werden und welche Reaktionsmaßnahmen in Ihrer Umgebung verfügbar sind.

Um diese Eignung zu beurteilen, fordern Sie eine Demo von „ Vectra AI “ an, die einen repräsentativen Arbeitsablauf, die erforderlichen Nachweise und einen definierten Eindämmungstest umfasst.

Hinweis: Dieser Leitfaden stützt sich auf Empfehlungen der öffentlichen Sicherheitsbehörden und Untersuchungen zu Vorfällen. Der Umsetzungsrahmen und das Beispiel dienen als Orientierungshilfe.

FAQ

Inwiefern unterscheidet sich die Überwachung von Agenten von der Überwachung von LLMs?

Kann die Verhaltensüberwachung „ prompt injection “ verhindern?

Möchten Sie Einblick in die Gedankengänge eines Maklers erhalten?

Können Sie SaaS-Agenten von Drittanbietern überwachen?