Überwachung des Verhaltens von KI-Agenten: Ein praktischer Sicherheitsleitfaden

Wichtige Erkenntnisse

  • Gültige Anmeldedaten beweisen nicht, dass eine Aktion des Agenten für die aktuelle Aufgabe autorisiert war.
  • Durch die Verknüpfung des Aufgabenkontexts mit unabhängigen Systemaufzeichnungen werden die Ermittlungen zuverlässiger, als wenn man sich allein auf die Angaben eines Agenten stützt.
  • Richtlinienprüfungen und Verhaltensanalysen dienen unterschiedlichen Zwecken: der Durchsetzung bekannter Grenzen und der Untersuchung verdächtiger Abläufe.
  • Die Reichweite der Überwachung sollte anhand fehlender Nachweise und nachgewiesener Eindämmung sowie anhand der Qualität der Warnmeldungen gemessen werden.

‍

KI-Sicherheitsvorkehrungen sind Kontrollmechanismen, die die Eingaben, Daten, Ausgaben und vorgeschlagenen Maßnahmen eines KI-Systems anhand festgelegter Richtlinien überprüfen. Die im November 2026 überarbeitete Version des BELLS-O-Benchmarks bewertet 33 Überwachungssysteme von 17 Entwicklern und kommt zu dem Ergebnis, dass Erkennung, Fehlalarme, Latenz und Kosten je nach Aufgabe variieren. Für Unternehmensteams lautet die praktische Erkenntnis, dass sie Kontrollmechanismen für den jeweiligen Arbeitsablauf, den sie schützen müssen, auswählen und testen sollten.

Ein Kundenberater, der Fragen beantwortet, benötigt andere Schutzmaßnahmen als ein Mitarbeiter, der auf vertrauliche Dokumente zugreifen, einen Kundendatensatz aktualisieren oder eine Zahlung veranlassen kann. Wirksame Sicherheitsvorkehrungen verknüpfen eine Richtlinienentscheidung mit einem durchgesetzten Ergebnis und sichern genügend Nachweise, um zu überprüfen, was geschehen ist.

Was sind KI-Sicherheitsvorkehrungen?

KI-Sicherheitsvorkehrungen prüfen, ob Inhalte oder vorgeschlagene Verhaltensweisen einer definierten Anforderung entsprechen, und lösen eine Reaktion aus, wenn dies nicht der Fall ist. Zu den Reaktionen können Klarstellungen, Schwärzungen, Ablehnungen, eine eingeschränkte Ausführung oder die Eskalation an eine Person gehören. Die Anwendung muss diese Reaktion zuverlässig umsetzen.

Bei Anwendungen mit großen Sprachmodellen (LLM) werden Eingabeaufforderungen und generierte Antworten häufig durch Sicherheitsvorkehrungen überprüft. In Unternehmensumgebungen können zudem Kontrollen für abgerufene Dokumente, Tool-Aufrufe, gemeinsam genutzten Speicher und den Ressourcenverbrauch eingerichtet werden. Da der Begriff mehrere Funktionen umfasst, sollte bei einer Implementierung genau festgelegt werden, was jede einzelne Kontrolle überprüft und was sie verhindern kann.

In Singapurs „Responsible AI Playbook“ werden Anwendungsschutzmaßnahmen als vom LLM getrennte Komponenten beschrieben. Diese Trennung ermöglicht es den Teams, eine Kontrollmaßnahme unabhängig von dem Modell, das sie umgibt, zu bewerten und zu aktualisieren.

KI-Sicherheitsvorkehrungen im Vergleich zu Modellausrichtung und Governance

Die Modellanpassung prägt das Verhalten eines Modells durch Training und damit verbundene Techniken. Laufzeitschutzmechanismen bewerten bestimmte Interaktionen nach der Bereitstellung. Ein Modell, das darauf trainiert wurde, unsichere Anfragen abzulehnen, benötigt möglicherweise dennoch anwendungsspezifische Regeln hinsichtlich vertraulicher Informationen oder autorisierter Transaktionen.

Im Rahmen der KI-Governance wird festgelegt, wer einen Anwendungsfall genehmigt, was als akzeptables Risiko gilt und wer für die laufende Überprüfung zuständig ist. Durch „Guardrails“ werden ausgewählte Anforderungen innerhalb der Anwendung umgesetzt. Das KI-Risikomanagement-Framework des NIST bietet einen umfassenderen, freiwilligen Rahmen für das Management von KI-Risiken über den gesamten Lebenszyklus hinweg.

Beispielsweise kann die Governance die Weitergabe vertraulicher Dokumente an Dritte untersagen. Zugriffsberechtigungen, Ausgabekontrollen und Zielbeschränkungen tragen zur Umsetzung dieser Richtlinie bei. Ein Filter allein kann nicht sicherstellen, dass die gesamte Organisation diese Richtlinie einhält. Weitere Informationen zum Thema umfassende Überwachung finden Sie unter „KI-Governance-Tools “.

Warum brauchen Unternehmen Leitplanken für KI?

Unternehmen benötigen Sicherheitsvorkehrungen für KI, um das Risiko unsicherer Ergebnisse, der Offenlegung sensibler Daten und unbefugter Handlungen zu verringern. Da KI-Systeme zunehmend Zugriff auf Unternehmensdaten und -tools erhalten, hängen die erforderlichen Schutzmaßnahmen davon ab, welche Informationen eine jeweilige Anwendung offenlegen, welche Entscheidungen sie treffen oder welche Änderungen sie vornehmen kann.

Betrachten wir vier verschiedene Ausfallpfade:

  • Ein Support-Mitarbeiter erstellt beleidigende Inhalte oder erfindet eine Rückerstattungsrichtlinie.
  • Ein Dokumentenassistent ruft eine vertrauliche Datei für jemanden ab, der keine Berechtigung dazu hat.
  • Ein Agent befolgt Anweisungen, die in einem externen Dokument versteckt sind, und versucht, Daten an einen anderen Ort zu senden.
  • Ein Workflow ruft ein Modell oder ein Tool wiederholt auf und schöpft dabei ein vereinbartes Ausgaben- oder Ausführungsbudget aus.

Für jeden Fall ist eine andere Kontrollmaßnahme und eine andere Prüfung erforderlich. Ein Toxizitätsdetektor entscheidet nicht über den Zugriff auf Dokumente, und ein berechtigter Zugriff auf Dokumente berechtigt nicht zur Weitergabe an Dritte.

Prompt injection macht diese Trennung besonders wichtig. Das britische National Cyber Security Centre erklärt, dass ein LLM von Natur aus keine Sicherheitsgrenze zwischen Befehlen und nicht vertrauenswürdigen Daten durchsetzt. Seine Analyse von Prompt-Injektionen unterstützt die Entwicklung von Anwendungen, die dieser Einschränkung Rechnung tragen, einschließlich der Einschränkung der Befugnisse, die einem manipulierten Modell zur Verfügung stehen.

Wenn KI-Agenten die Sicherheitsgrenzen überschreiten

Entdecken Sie in „Frontier AI: Built Without Brakes“ dokumentierte Fälle von Fehlern bei der Eindämmung von Agenten sowie praktische Kontrollmaßnahmen zur Überwachung von Aktivitäten und zum Eingreifen, wenn Grenzen überschritten werden.

Whitepaper herunterladen →

Arten von KI-Sicherheitsvorkehrungen und wo sie zum Einsatz kommen

Eine praktische Möglichkeit, KI-Sicherheitsvorkehrungen zu strukturieren, besteht darin, sie nach den Grenzen zu ordnen, die sie schützen. Die unten aufgeführten Typen dienen eher als Hilfestellung bei der Umsetzung als als allgemeingültiger Standard. Auf dieselbe Interaktion können mehrere davon zutreffen, da sie unterschiedliche Fehlerpfade abdecken.

Leitplankenarten Geschützte Grenze Beispielsteuerelement Wichtige Einschränkung
Sicherheit bei der Eingabe und beim Inhalt Anfragen, die in die Anwendung eingehen Schädliche Anfragen und nicht unterstützte Themen herausfiltern Auch eine harmlos klingende Formulierung kann einer gefährlichen Handlung vorausgehen
Abruf und Datenzugriff Informationen, die in den Modellkontext einfließen Berechtigungen für Identitäten und Dokumente durchsetzen Eine Schwärzung der Ausgabe kann einen unbefugten Abruf nicht rückgängig machen
Vertrauliche Informationen An ein Modell, einen Benutzer oder ein Ziel gesendete Daten Geheimnisse und personenbezogene Daten aufspüren Die Erkennung hängt vom Datentyp, vom Kontext und von der Abdeckung ab
Verankerung und Antwortqualität An einen Leser zurückgesandte Anträge Prüfen Sie, ob die angeführten Belege eine Antwort stützen Eine Quelle kann unvollständig, veraltet oder falsch sein
Werkzeug- und Aktionssteuerung Über Tools ausgeführte Vorgänge Berechtigungen, Ziele, Argumente und Genehmigungen überprüfen Eine gültige Operation kann dennoch für die Aufgabe ungeeignet sein
Ausgabeverarbeitung Von Software verarbeitete, automatisch generierte Inhalte Strukturen validieren und Inhalte für den Bestimmungsort kodieren Eine korrekte Formatierung begründet weder Wahrheit noch Autorität.
Ressourcen- und Workflow-Beschränkungen Rechenleistung, Kosten und Ausführung Anfragen nach Obergrenzen, Wiederholungsversuche, Laufzeit und delegierte Aufgaben Bei Begrenzungen pro Anruf kann übermäßige Gesamtaktivität übersehen werden

Die Leitlinien von GovTech zur „Guardrail“-Architektur unterscheiden zwischen Prüfungen in den Phasen der Eingabe, des Abrufs, der Ausgabe, der Tool-Nutzung und nach der Interaktion. Die Platzierung bestimmt, welche Fehler eine Prüfung erkennen kann und ob sie rechtzeitig eingreifen kann.

Deterministische Prüfungen und modellbasierte Prüfungen

Die Schutzgrenze und der Erkennungsmechanismus sind voneinander unabhängige Entscheidungen. Eine deterministische Überprüfung kann eine Ausgabenobergrenze oder einen zulässigen Bestimmungsort durchsetzen. Ein trainierter Klassifikator kann eine definierte Inhaltskategorie erkennen. Ein LLM-Prüfer kann beurteilen, ob eine vorgeschlagene Aktion mit einer Aufgabe vereinbar erscheint.

Verwenden Sie exakte Regeln für Anforderungen, die exakte Antworten zulassen. Semantische Beurteilungen erfordern möglicherweise einen Klassifikator oder ein Modell mit ausgewerteten Fehlerquoten. Die Einschätzung eines Modells, dass eine Aktion vernünftig erscheint, sollte getrennt von dem Dienst bleiben, der prüft, ob sie autorisiert ist.

Eine mehrschichtige Herangehensweise ist sinnvoll, wenn die Kontrollmechanismen unterschiedliche Schwachstellen abdecken. Das Hinzufügen mehrerer ähnlicher Klassifikatoren kann die Latenz erhöhen, ohne einen ungeschützten Ausführungspfad zu schließen. Teams benötigen zudem einen unabhängigen Einblick in das Verhalten der Agenten, um Aktivitäten zu untersuchen, die diese Prüfungen passieren, und zu entscheiden, wann sie eingreifen müssen.

Wie funktionieren KI-Sicherheitsvorkehrungen in einer Anwendung?

Eine gesicherte Anwendung ordnet jeder Prüfung eine definierte Reaktion zu, bevor der geschützte Vorgang ausgeführt wird. Der folgende Ablauf dient als nützlicher Ausgangspunkt für die Konzeption, wobei die konkreten Prüfungen entsprechend den Risiken der Anwendung ausgewählt werden.

  1. Ermitteln Sie den authentifizierten Benutzer, die Anwendung und die geltende Richtlinie. Rufen Sie Identitätsdaten und Berechtigungen aus vertrauenswürdigen Systemen ab.
  2. Prüfen Sie den Antrag und die Anlagen auf relevante Aspekte in Bezug auf Sicherheit, Gefahrenabwehr und Datenverarbeitung.
  3. Rufen Sie nur Informationen ab, auf die der aktuelle Benutzer oder Agent Zugriff hat. Behandeln Sie die abgerufenen Inhalte als nicht vertrauenswürdige Daten.
  4. Das Modell soll eine Antwort entwerfen oder eine Operation vorschlagen, die im Rahmen seiner Möglichkeiten liegt.
  5. Überprüfen Sie die Antwort oder den Vorgang am Zielort. Führen Sie vor der Freigabe oder Ausführung Ausgabekontrollen, eine Tool-Autorisierung sowie alle erforderlichen Genehmigungen durch.
  6. Halten Sie die Entscheidung und das tatsächliche Ergebnis fest. Leiten Sie relevante Fehler und ungewöhnliche Aktivitäten an einen operativen Verantwortlichen weiter.

Auch bei der Ausgabe von Schutzmaßnahmen sind die üblichen Sicherheitsvorkehrungen erforderlich. Eine gültige JSON-Antwort kann eine nicht autorisierte Konto-ID enthalten. Generierte SQL-Anweisungen erfordern nach wie vor einen sicheren Umgang mit Datenbanken, und Browserinhalte müssen kontextgerecht kodiert werden. Die OWASP-Leitlinien zur unsachgemäßen Ausgabeverarbeitung erläutern, warum generierter Text validiert werden muss, bevor er von nachgelagerter Software verarbeitet wird.

Diese Kontrollmechanismen sind Teil des umfassenderen LLM-Sicherheitsstacks, zu dem auch die Infrastruktur, Abhängigkeiten, Anmeldedaten und die Bereitstellungskonfiguration gehören.

Blockierende Prüfungen und asynchrone Überwachung

Eine blockierende Überprüfung muss vor dem geschützten Ereignis abgeschlossen sein. Wenn die Richtlinie eine externe Dateiübertragung untersagt, muss die Übertragung auf eine gültige Entscheidung warten. Eine asynchrone Überprüfung, die die Übertragung nachträglich kennzeichnet, unterstützt zwar die Erkennung und Reaktion, kann die bereits erfolgte Offenlegung jedoch nicht verhindern.

Parallele Prüfungen können die Wartezeit verkürzen, wenn sie voneinander unabhängig sind. Der Ausführungsdienst muss dennoch auf jede erforderliche Entscheidung warten. Behandeln Sie eine noch nicht abgeschlossene Prüfung als expliziten Zustand, anstatt davon auszugehen, dass das Fehlen eines Ergebnisses einer Genehmigung gleichkommt.

Diese zeitliche Unterscheidung ist eine architektonische Anforderung: Ein Steuerelement kann ein Ereignis nur dann verhindern, solange es dieses Ereignis noch stoppen kann.

Streaming-Antworten und nicht verfügbare Steuerelemente

Streaming erfordert eine durchdachte Freigabestrategie. Wenn eine Anwendung generierten Text übermittelt, bevor er überprüft wurde, sind sensible Informationen möglicherweise bereits sichtbar, wenn die Schutzmaßnahme eingreift. Erwägen Sie, sensible Antworten zwischenzuspeichern, begrenzte Segmente zu validieren oder das Streaming für bestimmte Arbeitsabläufe einzuschränken. Testen Sie Inhalte, die sich über Segmentgrenzen hinweg erstrecken.

Legen Sie für jeden geschützten Vorgang das Zeitlimit und das Verhalten bei Fehlern fest. Ein sensibler Export sollte gesperrt bleiben, wenn die erforderliche Autorisierungsprüfung nicht verfügbar ist. Ein Assistent mit geringem Risiko könnte eine eingeschränkte Ausweichlösung anbieten, beispielsweise die Anzeige einer genehmigten statischen Hilfeseite.

Vermeiden Sie es, nach Ablauf einer Zeitüberschreitung stillschweigend auf eine uneingeschränkte Route umzuschalten. Die Leitlinien von GovTech zur Integration in die Produktionsumgebung empfehlen explizite Antworten, ein klar definiertes Fehlerverhalten und die Bewertung des gesamten geschützten Ablaufs.

KI-Sicherheitsvorkehrungen für RAG und KI-Agenten

Beim Abruf stellt sich die Frage, welche Informationen in den Kontext gelangen dürfen. Bei Tools stellt sich die Frage, welche Vorgänge ausgeführt werden dürfen. Diese Entscheidungen erfordern Kontrollmechanismen in den Diensten, die Informationen abrufen und Aktionen ausführen.

Schützen Sie abgerufene Daten und den gemeinsam genutzten Speicher

Die „Retrieval-Augmented Generation“ (RAG) stellt einem Modell externe Informationen zur Verfügung, um es bei der Beantwortung einer Frage zu unterstützen. Dokumentberechtigungen müssen die Aufteilung in Chunks und die Indizierung überstehen und beim Abruf der Inhalte überprüft werden. Änderungen an den Berechtigungen müssen zudem in die abgeleiteten Indizes und die entsprechenden Caches übernommen werden.

Die RAG-Sicherheitsrichtlinien der OWASP empfehlen Metadaten zum Zugriff auf abgerufene Chunks sowie eine Isolierung zwischen Mandanten. Wenden Sie entsprechende Abgrenzungen auf den gespeicherten Konversationsstatus und den gemeinsamen Speicher an, sofern diese Funktionen vorhanden sind.

Beispielsweise sollte ein Mitarbeiter, der den Zugriff auf ein Projekt verliert, nicht über eine alte, im Cache gespeicherte Antwort wieder an die entsprechenden Informationen gelangen. Testen Sie das Quelldokument, die abgerufenen Teile und die im Cache gespeicherte Antwort als miteinander verbundene Pfade.

Die Fundiertheit ist ein separates Thema. Die Überprüfung, ob auf ein abgerufenes Dokument eine Antwort folgt, bedeutet nicht, dass das Dokument wahr ist. Die Überprüfung der Quellen und eine angemessene manuelle Überprüfung bleiben wichtig, wie in den OWASP-Leitlinien zu Falschinformationen beschrieben.

Tool-Berechtigungen außerhalb des Modells durchsetzen

Ein KI-Agent kann einen Vorgang vorschlagen, doch der Ausführungsdienst sollte die Identität, die angeforderte Aktion, das Ziel und die Berechtigungen eigenständig überprüfen. Beschränken Sie die verfügbaren Tools und Anmeldedaten auf die jeweilige Aufgabe. Beziehen Sie neben Schreib- und Löschvorgängen auch den Zugriff auf sensible Daten und die Weitergabe an Dritte in die Risikobewertung ein.

In den Leitlinien des Australian Signals Directorate vom September 2026 zu „Agentic AI“-Harnesses wird der Harness als die Software definiert, die ein Modell mit den Daten, Tools und Systemen einer Organisation verbindet. Genau an dieser Schnittstelle können viele organisatorische Kontrollmaßnahmen greifen.

Berücksichtigen Sie auch kumulative Effekte. Eine Abfolge von einzeln genehmigten Lesevorgängen kann zu einem ungewöhnlich großen Datensatz führen, und wiederholte kleine Vorgänge können das vorgesehene Aufgabenbudget überschreiten. Bewerten Sie sowohl den Arbeitsablauf als auch jeden einzelnen Aufruf.

Die Zustimmung einer Person an eine bestimmte Handlung knüpfen

Eine Genehmigungsabfrage ist nur dann hilfreich, wenn die Ausführung auf eine gültige Genehmigung wartet. Zeigen Sie dem Prüfer den Vorgang, das Ziel, die betroffene Ressource und die relevanten Parameter an. Sollten sich diese ändern, fordern Sie eine neue Entscheidung an.

Das „AI Agent Security Cheat Sheet“ der OWASP empfiehlt, die Autorisierung außerhalb des Agent-Kontexts durchzusetzen und die Genehmigung an den aktuellen Akteur sowie den genauen Tool-Aufruf zu binden, einschließlich Ablaufzeit und Schutz vor Wiederholung. Ein modellgeneriertes Bestätigungsflag reicht nicht aus.

Auch die Zustimmung muss klar begrenzt sein: Die Bestätigung einer Person sollte keine Berechtigungen außer Kraft setzen, über die diese Person nicht verfügt. Informieren Sie sich über die umfassenderen Kontrollmechanismen im Bereich der agentenbasierten KI-Sicherheit.

Ein Beispiel für KI-Sicherheitsvorkehrungen in einem Unternehmens-Workflow

Ein hypothetischer Beschaffungsassistent veranschaulicht, wie sich erzwungene Ergebnisse bewerten lassen. Seine vorgegebene Aufgabe besteht darin, den Vertrag eines zugelassenen Lieferanten zusammenzufassen und einen internen Verlängerungsvorschlag zu entwerfen. Im Folgenden wird ein Testvorschlag vorgestellt, der auf fiktiven Dokumenten basiert und nicht auf einem gemeldeten Vorfall oder einem abgeschlossenen Experiment.

Angenommen, ein Lieferantenbeleg enthält Anweisungen, wonach der Assistent nicht zum Beleg gehörende Verträge abrufen und an einen externen Empfänger senden soll. Der Test sollte alle relevanten Grenzfälle prüfen, einschließlich des Falls, in dem ein Eingabedetektor diese Anweisungen übersieht.

Grenze Erwartete Durchsetzung Zu prüfende Beweismittel
Lieferantendokument Eingebettete Anweisungen als nicht vertrauenswürdigen Inhalt behandeln Abgerufene Quellenkennung und Screening-Entscheidung
Vertragsabruf Nicht relevante Datensätze außerhalb des zulässigen Umfangs der Aufgabe ablehnen Identifikatoren für Abrufberechtigungsdatensätze und zurückgegebene Datensätze
Externer Transfer Den vorgeschlagenen Zielort und den vorgeschlagenen Vorgang ablehnen Ausführungsentscheidung und entsprechende Dienstleistungsprüfungsunterlagen
Hinweis zur Verlängerung Sperrmaterial und unbegründete Behauptungen ausschließen Entwurf und Quellenangaben geprüft
Ausfall der Steuerung Die verbotene Überweisung weiterhin sperren Timeout-Entscheidung, für den Benutzer sichtbarer Fallback und Ausführungsprotokollierung

Das erwartete Ergebnis ist eindeutig: Die unzulässige Übertragung wird niemals ausgeführt. Eine abschließende Meldung, dass der Assistent die Anfrage abgelehnt hat, reicht hierfür nicht aus. Überprüfen Sie den nachgelagerten Dienst sowie die entsprechenden Netzwerk- oder Anwendungsprotokolle auf versuchte und abgeschlossene Vorgänge.

Führen Sie auch eine zulässige Variante durch. Der Assistent sollte weiterhin den Vertrag des autorisierten Lieferanten abrufen und den internen Entwurf erstellen. Ein System, das jede Anfrage blockiert, verhindert das schädliche Ergebnis dieses Tests, indem es den genehmigten Arbeitsablauf unbrauchbar macht.

In diesem Beispiel werden drei Aspekte unterschieden: ob die Überprüfung die Einfügung erkannt hat, ob die Autorisierung den daraus resultierenden Vorschlag eingeschränkt hat und ob die legitime Aufgabe weiterhin sinnvoll war.

Wie lassen sich KI-Sicherheitsvorkehrungen umsetzen?

Beginnen Sie mit einem klar definierten Arbeitsablauf, schriftlich festgelegten Richtlinien und messbaren Ergebnissen. Erweitern Sie die Bereitstellung erst dann, wenn das Team nachweisen kann, welche Vorgänge durch die Kontrollmechanismen zugelassen und welche verhindert werden und wie mit Fehlern umgegangen wird.

H3 Definieren Sie überprüfbare Richtlinien und benennen Sie Verantwortliche

Setzen Sie allgemeine Ziele in konkret messbare Anforderungen um. Ersetzen Sie „Schutz vertraulicher Informationen“ durch eine Anforderung wie „Der Lieferantenassistent darf nur Datensätze abrufen, für die der aktuelle Benutzer berechtigt ist, und darf keine Vertragsinhalte an externe Empfänger senden.“

Weisen Sie die strategische Entscheidung einem Geschäfts- oder Risikoverantwortlichen zu, die Zugriffsregeln den Datenverantwortlichen, die Umsetzung den Anwendungs- oder Plattformteams und die Untersuchung von Missbrauchsfällen der Sicherheitsabteilung. Benennen Sie einen Serviceverantwortlichen, der den gesamten Arbeitsablauf koordiniert.

Dokumentieren Sie, wie das System vorgehen soll, wenn es die Anforderung nicht erfüllen kann. Klarstellung, Verzicht, eingeschränkter Betrieb und manuelle Überprüfung sind unterschiedliche Reaktionsmöglichkeiten, die jeweils unterschiedliche Auswirkungen auf den Benutzer haben.

Verbinden Sie jede Richtlinie mit einem Durchsetzungspunkt

Füllen Sie für jede wichtige Regel einen kurzen Kontrollbogen aus:

  • Der geschützte Vorgang und die dafür geltende Richtlinie.
  • Die für die Entscheidung erforderliche vertrauenswürdige Identität und der Kontext.
  • Die Prüfung und die Komponente, die deren Ergebnis durchsetzt.
  • Die Reaktion auf Ablehnung, Ungewissheit, Zeitüberschreitung oder nicht verfügbare Abhängigkeiten.
  • Die Nachweise, aus denen das tatsächliche Ergebnis hervorgeht, sowie das Team, das für deren Überprüfung zuständig ist.

Verwenden Sie den Datensatz, um nicht abgedeckte Pfade zu finden. Wenn eine Richtlinie vorschreibt, dass externe Übertragungen verboten sind, ihre einzige Kontrollmaßnahme jedoch ein Filter für ausgehende Nachrichten ist, muss der Aktionspfad dennoch durchgesetzt werden.

Beziehen Sie alternative Modelle, Wiederholungsversuche, Hintergrundaufträge, zwischengespeicherte Ergebnisse und delegierte Agenten mit ein, sofern die Anwendung diese unterstützt. Das Steuerungsdesign muss den Wegen folgen, die die Software tatsächlich einschlagen kann.

Änderungen testen und einen sicheren Ausweichplan beibehalten

Führen Sie einen kontrollierten Pilotversuch durch, um Fehlalarme und unnötige Sperrungen zu überprüfen. Auswertungen im Beobachtungsmodus können dabei helfen, einen neuen Detektor zu optimieren, während etablierte Schutzmaßnahmen weiterhin aktiv bleiben. Berechtigungen mit erheblichen Auswirkungen sollten bereits vor Beginn des Pilotversuchs eingeschränkt werden.

Versionsvergabe für Modell, Prompt, Schutzmaßnahmen, Richtlinien und Werkzeugkonfiguration. Bewahren Sie die Auswertungsergebnisse zu jeder Version auf. Eine Änderung des Abrufumfangs oder der verfügbaren Werkzeuge kann das Risiko verändern, selbst wenn das Schutzmaßnahmenmodell unverändert bleibt.

Richten Sie einen eingeschränkten Fallback ein und sorgen Sie dafür, dass der betroffene Vorgang deaktiviert werden kann. Das Zurücksetzen eines fehlerhaften Detektors sollte nicht automatisch dazu führen, dass die allgemeinen Tool-Berechtigungen wiederhergestellt werden. Überprüfen Sie den gesamten Ablauf nach einer wesentlichen Änderung erneut.

Wie lassen sich KI-Sicherheitsvorkehrungen testen und ihre Wirksamkeit messen?

Bewerten Sie sowohl den einzelnen Detektor als auch die gesamte Anwendung. Die Bewertung eines Detektors gibt Aufschluss über die von ihm geprüften Fälle; End-to-End-Tests zeigen, ob der geschützte Arbeitsablauf akzeptable Ergebnisse liefert.

Erstellen Sie einen repräsentativen Bewertungsdatensatz

Beziehen Sie normale Anfragen, mehrdeutige Fälle, unzulässige Vorgänge und realistische böswillige Inhalte ein. Verwenden Sie die Sprachen, Dokumentformate, Rollen und Datengrenzen, mit denen der Dienst konfrontiert sein wird. Trennen Sie die Beispiele zur Feinabstimmung von den für die Bewertung zurückbehaltenen Fällen.

Für das Beschaffungsbeispiel gehören zu den nützlichen Tests eine legitime Zusammenfassung, eine unbefugte Datenauf Anfrage, in den abgerufenen Daten eingebettete Anweisungen, ein geändertes Übertragungsziel, eine wiederholte Genehmigung, eine veraltete, im Cache gespeicherte Antwort sowie ein nicht verfügbarer Richtlinien-Dienst. Fügen Sie, sofern unterstützt, Varianten mit mehreren Interaktionsrunden und verschiedenen Modalitäten hinzu.

Legen Sie vor der Durchführung jedes Tests das erwartete Ergebnis fest. Halten Sie die Versionen der Richtlinie und der Konfiguration, die Entscheidung sowie das tatsächliche Ergebnis im weiteren Verlauf fest. Bei wiederholten Versuchen geben Sie an, wie viele durchgeführt wurden und wie die Ergebnisse variierten. Das Bestehen eines kleinen Testsatzes belegt lediglich, was innerhalb dieses Satzes beobachtet wurde.

Messung des verbleibenden Schadens und der erfolgreichen Erledigung von Aufgaben

Eine nützliche Scorecard sorgt dafür, dass Sicherheit und Benutzerfreundlichkeit im Blick bleiben. Bei den unten aufgeführten Maßnahmen handelt es sich um vorgeschlagene Bewertungskriterien, deren Schwellenwerte von den für die Anwendung verantwortlichen Risikoträgern festgelegt werden und nicht aus einem unabhängigen Benchmark übernommen werden.

Maßnahme Was ist zu berechnen oder zu prüfen? Warum es wichtig ist
Rate der unerwünschten Ereignisse Anzahl der abgeschlossenen unzulässigen Ergebnisse geteilt durch die Anzahl der relevanten Testläufe Misst verbleibende Fehler im gesamten Arbeitsablauf
Detektor-Rückruf Erkannte verbotene Fälle geteilt durch gekennzeichnete verbotene Fälle Zeigt an, welche bewerteten Fälle beim Screening übersehen wurden
Falsch-positiv-Rate Als legitim markierte Fälle geteilt durch als legitim gekennzeichnete Fälle Zeigt einen unnötigen Eingriff
Ordnungsgemäße Erledigung der Aufgabe Erfolgreich abgeschlossene genehmigte Aufgaben geteilt durch die Anzahl der zulässigen Versuche Zeigt an, ob die Benutzer ihre Arbeit weiterhin erledigen können
Geltungsbereich der Durchsetzung Erforderliche geschützte Vorgänge mit validierten Prüfungen und Prüfnachweisen Zeigt Routen außerhalb des Erfassungsbereichs des Detektors an
Zusätzliche Latenz und Kosten Veränderung der End-to-End-Verzögerung und des Gesamtressourcenverbrauchs Umfasst Wiederholungsversuche, Tool-Aufrufe und den Aufwand für die manuelle Überprüfung

Definieren Sie die Nennwerte sorgfältig. Die Anzahl erfolgreicher Angriffe pro Eingabeaufforderung unterscheidet sich von der Anzahl erfolgreicher Angriffe pro Sitzung, insbesondere wenn wiederholte Versuche zulässig sind. Unterscheiden Sie zwischen einem Detektor-Flag, einer erzwungenen Sperrung, einem versuchten Vorgang und einer abgeschlossenen schädlichen Aktion.

Bei Live-Systemen sind schädliche Auswirkungen nicht immer direkt erkennbar. Kombinieren Sie stichprobenartige Überprüfungen, kontrollierte Tests, Hinweise auf Vorfälle und betriebliche Telemetriedaten. Eine geringe Anzahl erkannter Vorfälle lässt nicht auf eine niedrige Übersehquote schließen.

Benchmark-Ergebnisse innerhalb der Testgrenzen betrachten

Die im November veröffentlichte Überarbeitung von BELLS-O zeigt, dass Überwachungsaufgaben unterschiedliche operative Kompromisse mit sich bringen. Die vollständige Forschungsarbeit unterscheidet zwischen der Erkennung von Moderation, Jailbreak und Prompt-Injection, anstatt diese als austauschbar zu betrachten.

Die Studie befasst sich nicht mit Multi-Turn-Angriffen, dem Einsatz von Agenten oder echtem Produktionsdatenverkehr. Einige Systeme wurden nur anhand eines Teils der Aufgabenstellung bewertet, und die gemessene Latenz hängt von der jeweiligen Serverkonfiguration ab. Nutzen Sie die Ergebnisse, um eine Vorauswahl zu treffen und einen Bewertungsplan zu erstellen, und testen Sie anschließend den vorgesehenen Arbeitsablauf. Ein Laborergebnis kann nicht belegen, dass eine unternehmensinterne Maßnahme sicher autorisiert ist.

Wie wählt man KI-Tools für die Sicherheitsleiste aus?

Wählen Sie Tools aus, die auf denselben Arbeitsablauf, dieselben Richtlinienanforderungen und denselben Bewertungssatz ausgerichtet sind. Je nach Bedarf kann eine Implementierung Anwendungsregeln, einen gehosteten Screening-Dienst, lokal betriebene Klassifikatoren sowie eine Orchestrierung kombinieren, die Prüfungen und Reaktionen koordiniert.

Bewerten Sie die Optionen anhand von Fragen, die Einschränkungen bei der Bereitstellung aufdecken:

  • Überprüft die Kontrolle die erforderliche Abgrenzung, einschließlich der abgerufenen Inhalte und gegebenenfalls der Werkzeugvorgänge?
  • Kann das Team Richtlinien, Reaktionen und Schwellenwerte für seine eigenen Sprachen und seinen eigenen Geschäftskontext konfigurieren?
  • Was geschieht mit sensiblen Daten während der Verarbeitung, Protokollierung, Speicherung und des Supports?
  • Können die erforderlichen Prüfungen innerhalb der Latenz- und Verfügbarkeitsgrenzen des Workflows abgeschlossen werden?
  • Stehen Versionen, Entscheidungen, Fehler und daraus resultierende Folgen zur Auswertung und Untersuchung zur Verfügung?
  • Kann das Team einen fehlgeschlagenen Vorgang sicher einschränken und wiederherstellen, ohne die Autorisierung zu umgehen?

Ein gehosteter Dienst kann den Betriebsaufwand verringern. Der Betrieb eines lokalen Modells bietet möglicherweise mehr Kontrolle über die Bereitstellung, während die Verantwortung für Hosting, Auswertung und Aktualisierung auf das Team übertragen wird. Benutzerdefinierte Regeln lassen sich genau an geschäftliche Vorgaben anpassen, doch die semantische Erkennung erfordert unter Umständen zusätzliche Methoden.

Der Leitfaden von GovTech zur Auswahl empfiehlt, verfügbare und maßgeschneiderte Optionen anhand repräsentativer Anforderungen zu bewerten. Berücksichtigen Sie beim Vergleich der Gesamtkosten Aspekte wie Integration, Wartung, Prüfungsaufwand und Störungsbearbeitung.

Einschränkungen und häufige Fehler bei KI-Sicherheitsvorkehrungen

Sicherheitsmaßnahmen lassen aufgrund von Erkennungslücken, Integrationslücken und Änderungen im umgebenden System ein Restrisiko bestehen. Überprüfen Sie diese Fehlermodi, wenn eine Bereitstellung zwar geschützt erscheint, das erwartete Ergebnis jedoch nicht erzielt wird.

  • Es wird nur die ursprüngliche Eingabe geprüft. Abgerufene Dokumente, Antworten des Tools und spätere Gesprächsbeiträge können neue Inhalte einbringen. Führen Sie Prüfungen an den Stellen durch, an denen diese Eingaben in den Arbeitsablauf einfließen.
  • ‍Verwechslung von gültiger Struktur und gültiger Bedeutung. Eine Antwort kann zwar einem Schema entsprechen, dabei aber den falschen Kunden nennen oder eine nicht autorisierte Aktion vorschlagen. Überprüfen Sie die relevanten geschäftlichen Fakten und Berechtigungen separat.
  • ‍Einem Richter blind vertrauen, ohne dies zu hinterfragen. Ein für die Überwachung verwendetes Modell kann Klassifizierungsfehler verursachen. Überprüfen Sie strittige und unklare Fälle und behalten Sie durchsetzbare Regeln für harte Einschränkungen bei.
  • ‍Fundierte Aussagen als gesicherte Wahrheit betrachten. Ein Zitat kann auf veraltetes Material verweisen oder die Behauptung nicht stützen. Überprüfen Sie die Belege und legen Sie fest, wann eine Antwort zurückgehalten werden sollte.
  • ‍Alternative Wege um eine Kontrollstelle herum zulassen. Ein Fallback-Modell, ein Hintergrundprozess oder ein geändertes Tool können die gesicherte Route umgehen. Diese Wege sollten bei der Freigabeprüfung berücksichtigt werden.
  • ‍Weniger Warnmeldungen als besseren Schutz zu interpretieren. Ein Rückgang kann auf geringeres Datenverkehrsaufkommen, eine weniger umfangreiche Protokollierung, einen geänderten Schwellenwert oder eine tatsächliche Verbesserung hindeuten. Prüfen Sie die Ergebnisse und Änderungen in der Produktion, bevor Sie eine Schlussfolgerung ziehen.

Die entscheidende Frage lautet, ob die Anwendung unter den aktuellen Bedingungen weiterhin die beabsichtigte Richtlinie durchsetzt. Eine erneute Überprüfung lediglich der ursprünglichen Bewertung eines Klassifikators liefert darauf keine Antwort.

Einbindung von KI-Sicherheitsvorkehrungen in den Sicherheitsbetrieb

Entscheidungen zu Schutzmaßnahmen erläutern, was eine Anwendung überprüft hat. Telemetriedaten zur Unternehmenssicherheit helfen dabei festzustellen, welche Identitäten, Tools und Systeme tatsächlich welche Aktionen ausgeführt haben. Bei der Untersuchung sind beide Perspektiven erforderlich, wenn eine verdächtige Interaktion Anwendungsgrenzen überschreitet.

Erfassen Sie als vorgeschlagenen Ereignisdatensatz die Anforderungs- oder Aufgaben-ID, die Identitäten der betroffenen Benutzer und Bearbeiter, die Richtlinienversion, das Prüfergebnis, die Durchsetzungsentscheidung, die Zielressource, die Genehmigungsreferenz und das Ausführungsergebnis. Setzen Sie diese Daten in Zusammenhang mit den verfügbaren Service-Audit- und Netzwerkprotokollen. Halten Sie fehlende Nachweise ausdrücklich fest.

Schützen Sie die Beweismittel selbst. Die OWASP-Leitlinien zur Protokollierung empfehlen, den Zugriff einzuschränken und unbefugte Änderungen zu erkennen, wobei vertrauliche Informationen und unnötige sensible Daten ausgenommen werden sollten. Vermeiden Sie es, standardmäßig vollständige Eingabeaufforderungen oder private Modellüberlegungen aufzuzeichnen; erfassen Sie nur die für die jeweilige Aufgabe erforderlichen Beweismittel gemäß den Datenverarbeitungsrichtlinien Ihrer Organisation.

Bestimmen Sie einen Verantwortlichen für den Vorfall, der den betroffenen Vorgang einschränken, relevante Unterlagen sichern und die Eindämmung überprüfen kann. Berücksichtigen Sie bestätigte Ausfälle und berechtigte Fälle, die blockiert wurden, bei nachfolgenden Auswertungen. Der Leitfaden von GovTech zur Überwachung beschreibt diesen Prozess der operativen Rückmeldung.

Vectra AIDer Ansatz des Unternehmens im Bereich KI-gestützter Sicherheit und Observabilität ist dort relevant, wo ein Workflow Unternehmensidentitäten und vernetzte Infrastruktur nutzt. Der Anwendungsfall zur identitätsbasierten Erkennung und Eindämmung von Angriffen beschreibt die Korrelation von Aktivitäten menschlicher und nicht-menschlicher Identitäten über das Netzwerk und die „ cloud “ hinweg, um den Missbrauch von Anmeldedaten zu untersuchen. Dies ergänzt die Anwendungsschutzmaßnahmen, bei denen die relevanten Aktivitäten beobachtbar sind.

Bringen Sie für eine Bewertung einen konkreten Arbeitsablauf mit und fragen Sie, welche Identitäten, Integrationen, Aktionen und Ergebnisse beobachtet und darauf reagiert werden können. Teams, die bereit sind, diesen Umfang zu bewerten, können eine Demo anfordern.

Hinweis: Dieser Leitfaden fasst Ergebnisse aus Primärforschung und Leitlinien zur öffentlichen Sicherheit zusammen. Der Umsetzungsrahmen und das Unternehmensszenario stellen Vorschläge dar.

FAQ

Was ist ein Beispiel für eine KI-Sicherheitsbarriere?

Können KI-Sicherheitsvorkehrungen „ prompt injection “ verhindern?

Verhindern KI-Sicherheitsvorkehrungen Halluzinationen?

Ersetzen KI-Sicherheitsvorkehrungen Zugriffskontrollen?

Wer ist für die Sicherheitsvorkehrungen im Bereich der KI verantwortlich?