KI-Systeme (insbesondere solche, die auf Large Language Models basieren) helfen nicht mehr nur den Mitarbeitern, produktiver zu sein. Sie schaffen auch neue Risiken, für deren Erkennung herkömmliche Sicherheitstools nicht ausgelegt sind.
Diese Bedrohungen treten nicht in Form von malware oder phishing auf. Sie entstehen durch KI-Logik, Identitätsmissbrauch und schwer erkennbare Verhaltensweisen, die sich innerhalb von cloud und vertrauenswürdigen Workflows entfalten.
Aus diesem Grund wenden sich Sicherheitsteams an Frameworks wie MITRE ATLAS, das AI Risk Repository und die OWASP Top 10 for LLM Applications. Diese Ressourcen helfen Unternehmen zu verstehen, wie Angreifer KI ins Visier nehmen und wo es noch blinde Flecken in der Sicherheit gibt.
Die Angriffsfläche für künstliche Intelligenz explodiert, und die meisten SOCs können dies nicht erkennen
KI ist heute Teil des täglichen Geschäftsbetriebs. Tools wie Copiloten, intelligente Assistenten und KI-gestützte Suchsysteme werden eingesetzt, um den Kundensupport zu verbessern, Analysen zu automatisieren und die Entwicklung zu optimieren.
Aber dieser Wandel hat die Angriffsfläche vergrößert.
In unserem jüngsten Blog über die Absicherung von Cloud haben wir beschrieben, wie Angreifer bereits Plattformen wie AWS Bedrock und Azure AI missbrauchen. Techniken wie das Hijacking von Rechenressourcen, das Einschleusen bösartiger Eingabeaufforderungen und der Missbrauch von cloud sind keine Theorie - sie sind bereits Realität. Viele dieser Bedrohungen sind dokumentiert im MITRE ATLASdokumentiert, das das Verhalten von Angreifern gegen KI-Systeme in der Praxis verfolgt.
KI ist nicht mehr nur ein Werkzeug, das missbraucht wird. Sie ist jetzt selbst das Ziel.
Zwei weitere Rahmenwerke fügen einen entscheidenden Kontext hinzu:
- Das AI Risk Repositoryunter der Leitung des MIT katalogisiert mehr als 770 Risiken im Zusammenhang mit der Entwicklung, dem Einsatz und der Nutzung von KI. Über 65 % dieser Bedrohungen treten nach der Bereitstellung auf, wo Transparenz und Kontrolle oft am schwächsten sind.
- Die OWASP Top 10 für LLM-Anwendungen umreißt die wichtigsten Schwachstellen, die speziell für Sprachmodelle gelten, einschließlich Datenlecks, Manipulation von Eingabeaufforderungen und Überschreitung der Systemgrenzen.
Diese Frameworks haben eine gemeinsame Botschaft: Die heutigen Bedrohungen entfalten sich innerhalb vertrauenswürdiger Systeme und Arbeitsabläufe, nicht außerhalb des Perimeters.
Herkömmliche Werkzeuge übersehen sie, weil sie nicht darauf ausgelegt sind, an den richtigen Stellen zu suchen.
Drei Rahmenwerke, eine Warnung: KI schafft eine neue Art von Risiko
Um zu verstehen, wie KI Ihr Bedrohungsmodell verändert, müssen Sie aus drei unterschiedlichen, aber sich ergänzenden Perspektiven lernen:
- MITRE ATLAS bildet die von Angreifern verwendeten Techniken ab, einschließlich des Missbrauchs von KI-Inferenz-APIs und der Umgehung von Modellbeschränkungen.
- Das KI-Risikorepository zeigt auf, wo im gesamten KI-Lebenszyklus - von der Entwicklung bis zur Bereitstellung - etwas schiefgehen kann.
- Die OWASP Top 10 für LLM-Anwendungen konzentriert sich darauf, wie LLMs auf eine Art und Weise ausgenutzt oder manipuliert werden können, die nie Teil traditioneller IT-Systeme war.
Dies sind nicht einfach nur akademische Werkzeuge, sondern sie erklären, was Ihrem SOC vielleicht schon fehlt. KI-Systeme verhalten sich anders. Sie treffen Entscheidungen, reagieren dynamisch und interagieren mit Daten und Benutzern auf eine Art und Weise, die herkömmliche Sicherheitslogiken in Frage stellt.
Was all diese Rahmenwerke miteinander verbindet, ist die Notwendigkeit einer verhaltensbasierten Echtzeit-Erkennung. Statische Regeln, Signaturen oder Listen bekannter bösartiger Akteure reichen nicht mehr aus.
Wo herkömmliche Sicherheitswerkzeuge versagen
Viele Unternehmen verlassen sich auf Tools, die entwickelt wurden, um malware zu finden, ungewöhnlichen Datenverkehr zu erkennen oder unbefugten Zugriff zu blockieren. Diese Tools sind wichtig, aber sie wurden nicht für KI-spezifische Risiken entwickelt.
Die meisten herkömmlichen Erkennungsprogramme erkennen dies nicht:
- Ein gültiger Benutzer , der nicht autorisierte Aufträge auf einem GenAI-Service wie AWS Bedrock ausführt und dabei Rechenressourcen verbraucht und versteckte Kosten verursacht.
- Ein Chatbot, der durch eine Reihe sorgfältig ausgearbeiteter Eingabeaufforderungen dazu gebracht wird, sensible Informationen preiszugeben.
- Eine subtile Änderung der Trainingsdaten, die dazu führt, dass ein KI-Modell in der Folge verzerrte oder schädliche Ergebnisse liefert.
Für Tools, die sich auf Dateien oder Endpunkte konzentrieren, sehen diese Arten von Vorfällen nicht verdächtig aus. Sie erscheinen als normale API-Aufrufe, gewöhnliche Benutzersitzungen oder vertrauenswürdiges Anwendungsverhalten, bis es zu spät ist.
Umsetzung von KI-Bedrohungskonzepten in die Praxis
Das Verstehen der Risiken ist nur der Anfang. Die eigentliche Herausforderung für Sicherheitsverantwortliche besteht darin, diese Erkenntnisse zu operationalisieren und sie in die tägliche Erkennung und Reaktion einfließen zu lassen.
Heute können die meisten SOCs diese Frage nicht mit Sicherheit beantworten:
- Wer greift in der gesamten Organisation auf GenAI-Dienste zu?
- Gibt es Konten, die sich ungewöhnlich verhalten, wie z. B. die Ausführung großer Inferenzaufträge spät in der Nacht?
- Werden KI-Systeme auf eine Art und Weise manipuliert, die zur Offenlegung von Daten oder zur Verletzung von Richtlinien führen könnte?
- Können wir erkennen, ob die Leitplanken eines KI-Modells umgangen werden?
Die Vectra AI Platform löst diese Herausforderungen, indem sie ihre Logik zur Verhaltenserkennung direkt auf MITRE ATLAS abbildet. Dieser Abgleich hilft SOC-Teams, risikoreiche Aktivitäten zu erkennen, die von herkömmlichen Tools oft übersehen werden, wie z. B.:
- Verdächtiger Zugriff auf GenAI-Plattformen durch Benutzer oder Identitäten, die normalerweise nicht mit solchen Diensten in Verbindung gebracht werden
- Versuche, die Protokollierung oder Überwachung während der GenAI-Modell-Interaktion zu umgehen
- Ungewöhnliche Nutzungsmuster, die auf eine Gefährdung des Kontos oder einen Modellmissbrauch hindeuten
Die KI-gesteuerte Priorisierungs-Engine von Vectra steigert die Produktivität von Analysten weiter, indem sie das Risikoprofil von Identitäten, die in GenAI-Aktivitäten involviert sind, automatisch anhebt und Teams dabei unterstützt, sich auf das Wesentliche zu konzentrieren.
Da die Plattform einen agentenlosen, identitätsbasierten Einblick in hybride cloud und SaaS-Umgebungen bietet, ist sie einzigartig positioniert, um KI-bezogene Bedrohungen zu erkennen, ohne dass Änderungen an den Modellen oder der Infrastruktur erforderlich sind. Dies macht sie besonders effektiv in Produktionsumgebungen, in denen GenAI tief in die Arbeitsabläufe integriert ist.
KI ist nicht mehr nur ein Werkzeug, sondern ein Ziel
Mit dem zunehmenden Einsatz von KI in Unternehmen passen sich auch die Angreifer schnell an. Die im MITRE ATLAS beschriebenen Techniken sind keine Nische mehr, sondern werden zu gängigen Taktiken für die Ausnutzung moderner KI-Systeme.
Wenn Sie Ihr Sicherheitsprogramm an diesen Frameworks ausrichten und Lösungen wie die Vectra AI Platform einsetzen, kann Ihr Team von passiver Sichtbarkeit zu proaktiver Erkennung übergehen. Sie erhalten den Kontext, der erforderlich ist, um KI-Bedrohungen in Echtzeit zu erkennen, cloud LLMs zu schützen und das Risiko zu verringern, dass Ihre GenAI-Investitionen zu Einstiegspunkten für Angreifer werden.
🎧 Möchten Sie mehr über GenAI-Risiken in Microsoft 365 erfahren?
Hören Sie sich unsere Hunt Club Podcast-Episoden an, um zu erfahren, wie Vectra AI AI Sichtbarkeitslücken in Copilot-Bereitstellungen schließt:
- Bedrohungs-Briefing: Wie Angreifer die SharePoint-Sicherheit mit Copilot umgehen
- Threat Briefing: Copilot für M365 Angriffsfläche
- Produktbriefing: Erkennung des Missbrauchs von Microsoft Copilot für M365 durch Angreifer
Erkunden Sie unsere selbstgeführte Demo oder setzen Sie sich mit unserem Team in Verbindung, um zu erfahren, wie Vectra AI AI Sie dabei unterstützen kann, die Zukunft Ihres Unternehmens zu sichern.