Datenvergiftung: Wie Angreifer Trainings- und Abrufdaten von KI manipulieren

Unter „Data Poisoning“ versteht man die absichtliche Verfälschung von Daten, aus denen ein KI- oder Machine-Learning-Modell lernt oder die es abruft, damit sich das Modell so verhält, wie es ein Angreifer wünscht. Dabei zielen die Angriffe auf Korpora für das Vortraining, Daten für das Fine-Tuning und die Präferenzdaten, Abrufindizes sowie den Kontext von Agenten-Tools ab; es handelt sich dabei eher um einen Angriff auf die Datenintegrität als um Datendiebstahl.

Die Bedrohung ist nicht mehr nur theoretischer Natur. Im Mai 2026 entdeckten Forscher „ malware “ in einem der beliebtesten Hugging-Face-Modell-Repositorien, und eine Studie aus dem Jahr 2025 in „Nature Medicine“ zeigte, dass das Ersetzen von 0,001 % der Trainingstoken durch medizinische Falschinformationen zu Modellen führte, die mit höherer Wahrscheinlichkeit medizinische Fehler verbreiteten. Diese Seite definiert den Angriff, unterteilt ihn in vier Lebenszyklusphasen, ordnet jede nach „Poison“ benannte MITRE-ATLAS-Technik den entsprechenden Abwehrmaßnahmen zu und erklärt klar und deutlich, welche Hälfte des Problems ein Sicherheitsteam erkennen kann.

Was ist Datenvergiftung?

Zwei konkrete Beispiele aus der Vergangenheit zeigen die Grenzen auf. Im Mai 2026 dokumentierten Forscher von HiddenLayer ein Hugging-Face-Repository, das auf Platz eins der Trends kletterte, während es einen Loader verbreitete, der einen Infostealer ausführte. Das ist „Artifact Poisoning“: Das manipulierte Objekt ist ein veröffentlichtes Modellpaket und kein Trainingsdatensatz. Was die Trainingsdaten betrifft, so simulierte eine Studie aus dem Jahr 2025 in „Nature Medicine“ – deren Experimente im Jahr 2024 durchgeführt wurden – einen Angriff auf „The Pile“, ein offenes Vortrainingskorpus, und berichtete, dass „bereits das Ersetzen von nur 0,001 % der Trainingstoken durch medizinische Falschinformationen zu schädlichen Modellen führt, die mit höherer Wahrscheinlichkeit medizinische Fehler verbreiten.“

Ist Datenvergiftung ein adversarischer Angriff? Ja. NIST AI 100-2e2025, der Bericht der Behörde über adversäres maschinelles Lernen, stuft Datenvergiftung neben Umgehungsangriffen zur Inferenzzeit und Datenschutzangriffen als eigene Angriffskategorie ein. Datenvergiftung ist das Integritätselement dieser Familie: Sie verändert, was ein Modell lernt oder abruft, anstatt das zu stehlen, was es weiß. Die Modellinversion, die manchmal fälschlicherweise als eine Art von Data Poisoning eingestuft wird, ist ein Angriff auf die Privatsphäre. Der aktuelle Eintrag LLM05:2026 der OWASP definiert diese Klasse allgemein wie folgt: „Data und Model Poisoning beschreiben eine Klasse von Angriffen und Fehlern, bei denen ein Angreifer (oder ein unsicherer Prozess) Daten oder Modellartefakte manipuliert.“

Datenvergiftung versus Datenmissbrauch

Datenmissbrauch ist die unbefugte Nutzung von Daten, über die eine Organisation bereits verfügt: Wenn ein Mitarbeiter aus persönlichen Gründen Kundendaten abfragt, handelt es sich um Datenmissbrauch. Datenvergiftung ist die absichtliche Verfälschung von Daten, aus denen ein Modell lernt oder die es abruft: Wenn ein Angreifer falsch beschriftete Beispiele in einen Trainingsdatensatz einfügt, handelt es sich um Datenvergiftung. Die eigentliche Überschneidung liegt in der Voraussetzung, da beides in der Regel damit beginnt, dass jemand über Lese- oder Schreibzugriff verfügt, den er eigentlich nicht haben dürfte.

Datenvergiftung versus prompt injection

Prompt injection manipuliert die Eingaben eines Modells zur Laufzeit, wobei es sich um ein bereits trainiertes Modell handelt, und die Auswirkungen enden in der Regel mit dem Ende der Sitzung. Durch Datenvergiftung wird verändert, was das Modell gelernt hat oder was es ausgibt, sodass die Verfälschung für alle Benutzer und Sitzungen bestehen bleibt, bis die Daten bereinigt oder das Modell neu trainiert wird.

Datenvergiftung versus Modellvergiftung

Im Rahmen des federierten Lernens bezeichnet der Begriff „Model Poisoning“ den Vorgang, bei dem ein Angreifer böswillige Modellaktualisierungen – und nicht böswillige Daten – übermittelt; die Verwechslung dieser beiden Begriffe ist daher eher ein sachlicher Fehler als eine Frage der Terminologie. OWASP’s Machine Learning Die Top 10 der Sicherheitsmaßnahmen (Entwurf v0.3, Ausgabe 2023) unterscheidet sie genau aus diesem Grund und listet auf: ML02:2023 Angriff durch Datenvergiftung und ML10:2023 Modellvergiftung als separate Risiken.

Datenvergiftung versus SEO-Vergiftung

SEO-Poisoning manipuliert Suchrankings, um malware anzuzeigen, während Data-Poisoning die Trainings- oder Grunddaten von KI verfälscht: ein gemeinsamer Begriff, aber eine andere Art von Angriff, eine andere Angriffsfläche und eine andere Abwehrstrategie.

Wenn Vergiftung ein Verteidigungsmechanismus ist

Als Schutzmaßnahme greift derselbe Mechanismus in umgekehrter Richtung. „Nightshade“, das auf Daten aus dem Jahr 2023 basiert, zeigte, dass bereits weniger als 100 vergiftete Beispiele ausreichen, um einen Stable Diffusion SDXL-Prompt zu kontrollieren, sodass Künstler ihre eigenen Werke vor dem Scraping schützen können (arXiv:2310.13828). Ein 2024 veröffentlichter und 2025 aktualisierter Preprint kam zu dem Ergebnis, dass gängige Tools zur schützenden Verzerrung „nur ein falsches Sicherheitsgefühl vermitteln“ und dass handelsübliche Bildhochskalierung deren Wirksamkeit beeinträchtigt (arXiv:2406.12027). Dieses Ergebnis bezieht sich auf Schutzperturbationen gegen Stilnachahmung, einen anderen Mechanismus als das offensive Vergiften durch Nightshade, und widerlegt die Nightshade-Erkenntnis nicht.

Arten von Datenvergiftungsangriffen

Die verschiedenen Arten von „Poisoning“ unterscheiden sich darin, was der Angreifer verändert, kennzeichnet, abtastet oder auslöst, sowie darin, ob das Ziel eine allgemeine Beeinträchtigung oder ein verstecktes Verhalten ist.

• Label-Flipping. Der Angreifer ändert die Labels an ansonsten legitimen Beispielen und bringt dem Modell so bei, dass bösartige Beispiele harmlos sind oder umgekehrt.
• Dateneinfügung. Der Angreifer fügt neue, von ihm selbst erstellte Beispiele in einen Korpus ein, anhand dessen das Modell trainiert wird.
• „Clean-Label“-Vergiftung. Verfälscht Proben, ohne deren Kennzeichnungen zu ändern, wodurch Überprüfungen der Kennzeichnungskonsistenz umgangen werden. Dies ist eine benannte Unterkategorie in NIST AI 100-2e2025.
• Backdoor- oder Trigger-Angriffe. Ein verstecktes Verhalten einbauen, das sich nur bei einem bestimmten Eingabemuster aktiviert, während sich das Modell ansonsten normal verhält.
• Verfügbarkeits- oder Verschlechterungsangriffe. Das Ziel besteht darin, das Modell insgesamt schlechter zu machen, anstatt es nur punktuell in die Irre zu führen.
• Gezielte versus nicht gezielte Angriffe. Eine übergreifende Unterscheidung: Gezielte Angriffe verändern bestimmte Ergebnisse, während nicht gezielte Angriffe die Gesamtleistung beeinträchtigen.
• „Split-View-Poisoning“. Der Kauf einer abgelaufenen Domain, auf die ein Datensatzindex weiterhin verweist, sodass bei einem späteren Crawling Inhalte des Angreifers abgerufen werden. Benannt in den gemeinsamen Leitlinien der verbündeten Behörden zur KI-Datensicherheit vom 22. Mai 225.
• „Frontrunning“-Manipulation. Das Einschleusen bösartiger Inhalte unmittelbar vor der Erstellung von Snapshots aus Crowdsourcing-Quellen zum Zwecke der Datenerfassung, das ebenfalls in den Leitlinien von 2025 erwähnt wird.
• Angriffe auf Teilpopulationen. Verschlechtern die Leistung für einen Teil der Datenverteilung, während globale Metriken unbeeinträchtigt bleiben.
• „Slow-Drip“- oder „Boiling-Frog“-Vergiftung. Kleine Verfälschungen breiten sich im Laufe der Zeit aus, sodass keine einzelne Änderung eine Überprüfung auslöst.
• Artefaktvergiftung. Veröffentlichung manipulierter Datensätze, Modelle oder Agenten-Tools in öffentlichen Repositorien, die in MITRE ATLAS erfasst sind als AML.0115 und von der Cloud Sicherheitsallianz als Angriffsfläche des Repositorys. Diese Variante überschneidet sich Angriffe auf die Software-Lieferkette, und abgesehen von dem KI-spezifischen Fall gehört er zu dieser Seite.

Wo es zu Verfälschungen kommt: Der vierstufige Lebenszyklus von KI-Daten

„Poisoning“ wird üblicherweise als ein Problem während der Trainingsphase dargestellt, doch diese Sichtweise lässt zwei Phasen außer Acht. Die Daten, auf die sich ein KI-System stützt, durchlaufen vier verschiedene Phasen, und jede davon kann vergiftet werden: das Vortrainingskorpus, die Feinabstimmungs- und Präferenzdaten, der Abrufindex, den ein eingesetztes System zum Zeitpunkt der Abfrage ausliest, sowie die Tool-Definitionen, Ausgaben und der Speicher, die KI-Agenten versorgen. Die ersten beiden sind Oberflächen in der Erstellungsphase. Die letzten beiden sind Oberflächen in der Laufzeit, und genau diese kann ein Sicherheitsteam tatsächlich überwachen.

PhaseWas der Angreifer verändertWer hat die KontrolleKontrollartVortrainingDer BasiskorpusDatenaufbereitung und ModellanbieterErstellungsphase: Herkunftsnachweis, Bereinigung, Signierung des DatensatzesFeinabstimmung und PräferenzdatenAufgabenkorpora und PräferenzpaareML-Engineering und MLOpsErstellungsphase: Datensatz-Herkunft, Überprüfung, Zugriffskontrolle RAG und Abruf Der Live-Abrufindex oder Dokumentenspeicher Anwendungs- und Plattformteams, einschließlich Sicherheit Laufzeit: Überwachung des Schreibzugriffs, Erkennung von Korpusänderungen, Schutzmaßnahmen Agent-Tools und Kontext Tool-Definitionen, Tool-Ausgabe, Agent-Speicher Plattform und Sicherheit Laufzeit: Speicherhärtung, Zulassungslisten für Tools, Schutzmaßnahmen

Tabelle: Die vier Phasen des KI-Datenlebenszyklus, was ein Angreifer in jeder Phase verändert und wer die Kontrolle darüber hat.

‍

Bei der „Retrieval-Augmented Generation“ (RAG) stützen sich die Antworten eines Modells auf einen Dokumentenspeicher, der sich täglich ändert, wodurch das „Poisoning“ zu einem Laufzeitangriff mit einer eigenen MITRE-ATLAS-Technik wird, AML.0070 RAG-Vergiftung. Als Referenz dient das Ergebnis „PoisonedRAG“, das auf der USENIX Security 2025 auf der Grundlage von Experimenten aus den Jahren 2024 bis 2025 veröffentlicht wurde. Darin wurde berichtet, dass „die Erfolgsquote der Angriffe bei 90 % lag, wenn fünf bösartige Texte pro Zielfrage“ in eine Wissensdatenbank mit Millionen von Texten eingeschleust wurden, und die untersuchten Abwehrmaßnahmen als unzureichend bewertet (arXiv:2402.07867).

Das Fine-Tuning weist eine neue Herausforderung auf: Präferenzdaten. Alignment-Verfahren wie die Direct Preference Optimization (DPO) lernen aus Antwortpaaren, die als besser oder schlechter eingestuft werden. Daher verfälschen fehlerhafte Präferenzpaare das Präferenzsignal selbst und beeinflussen damit, was ein trainiertes Modell als gute Antwort ansieht. Die Stufe verfügt über dieselben Steuerungsmöglichkeiten bei der Erstellung wie jeder andere Fine-Tuning-Korpus: Herkunftsnachweis, Überprüfung und Zugriffskontrolle.

Die neueste Oberfläche ist der Agentenkontext. Sicherheit von KI-Agenten ist eine eigenständige Disziplin, doch der für das „Poisoning“ spezifische Aspekt besteht darin, dass alles, was ein Agent liest, Inhalte des Angreifers enthalten kann. Eine Technik, die bei DEF CON 34 Im August 2026 fügt der Angreifer Text in Protokollfelder ein, den ein KI-Triage-Agent später auswertet und auf dessen Grundlage er Maßnahmen ergreift (SecurityWeek, 10. August 2026); die von den Forschern selbst angegebene Erfolgsquote bei der Bekämpfung eines bestimmten Erregers lag bei 90 % (Tenet Security). In keiner der beiden Veröffentlichungen wird ein Framework namentlich genannt, doch lässt sich die Technik eindeutig auf AML.0080 Kontextvergiftung bei KI-Agenten. Über Sicherheit generativer KI, lässt sich jede Phase auf dieselben beiden Fragen reduzieren: Wer kann auf die Daten schreiben, und wer überwacht die Schreibvorgänge?

Wie ein Angreifer Schreibzugriff erhält

Jede Variante des Poisoning hat eine gemeinsame Voraussetzung: Bevor jemand einen internen Trainingsdatensatz, einen Fine-Tuning-Korpus, einen Abrufindex oder ein Modellregister manipulieren kann, muss er zunächst Schreibzugriff darauf erlangt haben. Das bedeutet: kompromittierte Zugangsdaten, Dienstkonten mit zu weitreichenden Berechtigungen, missbrauchte „ cloud “-Berechtigungen oder ein Insider. In der Terminologie von MITRE ATLAS erfolgt der Poisoning-Vorgang nach AML.0004 Erster Zugriff, AML.0013 Zugriff auf Anmeldedaten, AML.0008 Entdeckung, AML.0015 Seitliche Bewegung und AML.0009 Erfassung. Es werden zwar keine Daten zum Gift selbst übertragen, aber alle Informationen über den Angriff, durch den es eingeschleust wird, werden über Telemetrie erfasst, die ein SOC bereits sammelt: Erkennung von Identitätsbedrohungen für die Authentifizierungsphase, cloud Erkennung und Reaktion für die Anspruchsphase.

‍

MITRE ATLAS dokumentiert, in welchem Umfang Schreibzugriff bereits offenliegt. Fallstudie AML.CS0028, das als Übung und nicht als Vorfall in der Praxis dokumentiert wurde und auf den 26. September 2023 datiert ist, berichtet von „über 8.000 falsch konfigurierten privaten Container-Registerstellen, die im Internet zugänglich sind“, wobei etwa 70 % Schreibzugriff gewähren und über 1.000 einzigartige KI-Modelle darin erreichbar sind (MITRE ATLAS-Datenbank). Eine beschreibbare Registrierungsdatenbank ist eine Angriffsfläche: Wer auch immer Daten dort eintragen kann, kann ein Modell ersetzen.

Der Sicherheitsvorfall bei Hugging Face im Juli 2026 zeigt die eingehende Variante desselben Problems. In der Bekanntmachung des Unternehmens heißt es, dass „ein bösartiger Datensatz zwei Codeausführungspfade in unserer Datensatzverarbeitung missbraucht hat“, um Code auf einem Verarbeitungs-Worker auszuführen (Bekanntmachung von Hugging Face, 16. Juli 2026; technischer Zeitplan). Dabei handelt es sich um eine durch Datensatz-Artefakte verursachte Codeausführung und nicht um eine Verfälschung der Trainingsdaten – und dies ist das eindeutigste Argument dafür, dass die Datensatzaufnahme eine Ausführungsgrenze darstellt: Die Plattform hat als Reaktion darauf beide Codepfade geschlossen. Ein am 17. August 2026 veröffentlichter Preprint zum Thema koordiniertes „Retrieval Poisoning“ (arXiv:2608.16044) geht von derselben Prämisse aus: Jeder, der Dokumente zu einem gemeinsam genutzten Speicher hinzufügen kann, kann versuchen, dessen Antworten zu manipulieren.

Betrachten Sie den Schreibzugriffspfad als Erkennungsfläche. Die unerlaubte Nutzung von KI erweitert diese Fläche, indem sie Datenspeicher schafft, die niemand registriert hat, und dieselben Zugriffsfehler, die zu einer Datenpanne führen, führen in einer KI-Pipeline zu einem manipulierten Artefakt.

Datenvergiftung in MITRE ATLAS: Techniken und Gegenmaßnahmen

MITRE ATLAS ist das Pendant zu ATT&CK im Bereich der adversarialen KI, und hier wird aus einem Poisoning-Befund ein Bedrohungsmodell. Diese Zuordnung bezieht sich auf ATLAS v2026.07 (Datendatei vom 31. Juli 2026; GitHub-Release veröffentlicht am 7. August: zwei Datumsangaben für ein Release, kein Widerspruch). Die Version umfasst eine Matrix, 16 Taktiken, 101 Techniken, 77 Untertechniken, 37 Abwehrmaßnahmen und 68 Fallstudien (Versionsdatensatz). ATLAS erscheint etwa monatlich, wobei v2026.05 am 27. Mai, v2026.06 am 30. Juni und v2026.07 mit einem Datumsangabe vom 31. Juli veröffentlicht wurden; überprüfen Sie daher die aktuelle Version, bevor Sie Zahlenangaben machen.

Acht Techniken mit Giftnamen erstrecken sich über die Matrix, und v2026.07 weist jeder einzelnen einen Reifegrad zu – „Realisiert“, „Demonstriert“ oder „Machbar“ –, was als integrierte Hilfe bei der Priorisierung dient.

Tabelle: Die 11 „Poison“-bezogenen Objekte in MITRE ATLAS v2026.07, acht verschiedene Techniken mit dem Namen „Poison“ sowie die drei Untertechniken von AML.0115.

Die Technik-IDs wurden kürzlich geändert, sodass in vor August 2026 veröffentlichten Referenzen möglicherweise nicht mehr gültige Kennungen enthalten sind. Am 31. Juli 2026 hat ATLAS drei nicht mehr gültige Techniken zusammengefasst, AML.0019 Vergiftete Datensätze veröffentlichen, AML.0058 Veröffentliche „Poisoned Models“ und AML.0104 Veröffentliche das Tool „Poisoned AI Agent“ unter AML.0115 Veröffentlichung vergifteter KI-Artefakte, mit Untertechniken für Datensätze, Modelle und KI-Agenten-Tools. Die derzeitige übergeordnete Technik für die klassische Verfälschung von Trainingsdatensätzen ist AML.0020 Verfälschung von Trainingsdaten, unter AML.0006 Beharrlichkeit.

Was in den meisten Erklärungen nicht berücksichtigt wird, sind die Techniken zur Abwehr. ATLAS nennt 37 Abwehrmaßnahmen, und sechs der acht als „Poison“ bezeichneten Techniken verfügen über mindestens eine zugeordnete Kontrollmaßnahme (MITRE ATLAS-Datenbank):

Tabelle: Zuordnung von Techniken zu Abhilfemaßnahmen für Poisoning in ATLAS v2026.07, wobei für die beiden Techniken mit Agent-Tools keine Abhilfemaßnahmen zugeordnet sind.

Zwei Zeilen sind leer, und das ist eher eine Feststellung als eine Kritik: Stand Version 2026.07 ordnet ATLAS keine Abhilfemaßnahmen zu AML.0110 Manipulation von KI-Agenten-Tools oder AML.0011.002 „Poisoned AI Agent Tool“. Die Kontrollabdeckung des Frameworks hat noch nicht mit den neuesten Techniken im Bereich der Agenten-Tools Schritt gehalten. Die obige Darstellung auf Technikebene ist zudem spezifischer als die Veröffentlichungen der Normungsgremien, da der OWASP-eigene Anhang zur Framework-Zuordnung aus dem Jahr 2026 dieses Risiko auf taktischer Ebene ausschließlich mit ATLAS verknüpft, ohne Angabe von Technik-IDs (Anhang A).

Verwenden Sie die beiden Tabellen als Ablagesystem: Ein Festgestellter Vergiftungsfall wird unter einer der acht Technik-IDs abgelegt, eine vorgeschlagene Kontrollmaßnahme wird der Spalte „Abhilfemaßnahmen“ zugeordnet, und die Frage eines Prüfers zur Abdeckung wird zu einer zeilenweisen Lückenanalyse. Diese Seite beschränkt sich bewusst auf die Vergiftungs-Zuordnungstabelle; das ATLAS-Framework selbst, einschließlich seiner vollständigen Taktikstruktur, wird auf einer eigenen Seite behandelt.

Was die Forschungsergebnisse und die Vorfälle tatsächlich zeigen

Die Messergebnisse lassen sich unter einem gemeinsamen Thema zusammenfassen: Die Effektstärken machen nur winzige Bruchteile eines Korpus aus, und jede Zahl ist mit einer Einschränkung hinsichtlich des Umfangs verbunden, die ihre Aussagekraft verändert. In der folgenden Zeitleiste werden das Erscheinungsjahr und der Datenzeitraum getrennt aufgeführt, da zwischen beiden oft mehrere Jahre liegen.

Tabelle: Nachgewiesene Forschungsergebnisse und Vorfälle im Zusammenhang mit Vergiftungen, sortiert vom ältesten zum neuesten, wobei für jede Zeile das Veröffentlichungsjahr und der Erfassungszeitraum separat angegeben sind.

Aus der 2025 veröffentlichten „Nature Medicine“-Studie, die sich auf Experimente aus dem Jahr 2024 stützt, sind drei Zahlen bekannt, die jedoch drei verschiedene Experimente widerspiegeln und keinen Widerspruch darstellen. Bei einer Vergiftungsrate von 0,01 % erzeugten Modelle mit 1,3 Milliarden Parametern 11,2 % mehr schädliche Vervollständigungen als der Referenzwert (P = 0,00047), und bei 0,001 % betrug der Anstieg 7,2 % (P = 0,01463). Die dritte Zahl stammt von größeren Modellen: Im Vergleich zu Modellen mit 4 Milliarden Parametern führte der Angriff mit falscher Impfstoffinformation, der auf einem einzigen Konzept basierte, bei derselben Rate von 0,001 % zu einem Anstieg um 4,8 % (P = 0,03836) (Volltext). Bei allen drei Werten handelt es sich um einen Anstieg der schädlichen Vervollständigungen gegenüber dem Ausgangswert, nicht um absolute Fehlerraten, und die Beschreibung als „Rate falscher Antworten“ stellt die Metrik falsch dar. Dieselbe Studie bildet die Grundlage für den nachfolgenden Abschnitt zur Erkennung, da ihre manipulierten Modelle bei Standard-Benchmarks mit den „sauberen“ Modellen übereinstimmten.

Die im Preprint aus dem Jahr 2025 dargelegte Erkenntnis, dass „250 vergiftete Dokumente Modelle unabhängig von deren Größe und der Größe des Datensatzes in ähnlicher Weise kompromittieren“, ist ein Ergebnis mit konstanter Anzahl, das sich über Vortrainingsläufe mit 600 Millionen bis 13 Milliarden Parametern erstreckt (arXiv:2510.07192). Die Einschränkung der Autoren muss im Zusammenhang mit dieser Zahl gesehen werden: „Unsere Studie konzentriert sich auf eine eng gefasste Hintertür (die unverständlichen Text erzeugt), die in modernsten Modellen wahrscheinlich keine nennenswerten Risiken darstellt“ (Anthropic). Stand 20. August 2026 war der Preprint weiterhin unüberarbeitet, ohne Veröffentlichung in einer Peer-Review-Zeitschrift und ohne nachweisbare Replikation.

Der Vorfall „Flagship 2026“ ist eher ein Fall von „Artifact Poisoning“ als von „Training-Data Poisoning“ und wurde als gewöhnliches „ malware “ ausgelöst. HiddenLayer berichtete, dass ein Repository „in weniger als 18 Stunden mit rund 244.000 Downloads und 667 Likes Platz 1 der Trendliste auf Hugging Face erreichte“, und an anderer Stelle im selben Bericht hieß es: „über 200.000 Downloads bis zu seiner Entfernung“; sein Loader lud PowerShell herunter und führte einen 1,07 MB großen, auf Rust basierenden Infostealer aus, der auf Browser-Anmeldedaten, Wallets und Discord unter Windows abzielte (HiddenLayer, 7. Mai 2026). Auch Messungen auf Repository-Ebene weisen in dieselbe Richtung: In einem Bericht vom 20. Mai 2026, der Daten aus dem Jahr 2025 umfasst, zählte JFrog 969 bösartige KI-Agenten-Skills mit hochwirksamen Payloads sowie 495 bösartige KI-Modelle auf Hugging Face und 56 bösartige Erweiterungen auf OpenVSX (JFrog-Mitteilung).

Was niemand misst, ist die Häufigkeit. Eine Recherche für diese Seite ergab keine Zahlen zur Häufigkeit von Datenvergiftungen im „WEF and Accenture Global Cybersecurity Outlook 2026“ – in dem das Wort „poison“ im gesamten 64-seitigen Bericht nicht vorkommt –, in der SANS-KI-Umfrage 2026, im KI-Index 2026 von Stanford HAI oder in veröffentlichten Umfragen von Gartner, Forrester und IDC. Diese Lücke ist der Grund dafür, dass stattdessen undatierte Zahlen von Anbietern im Umlauf sind. Was die Reaktionsmaßnahmen auf den Plattformangriff im Juli 2026 betrifft, siehe unsere Analyse des Kompromittierungsvorfalls beim Hugging-Face-Agenten.

Erkennung und Verhinderung von Datenvergiftung

Beginnen wir mit den beiden ehrlichen Antworten. Kann man eine Vergiftung nach dem Training erkennen? Nur unzuverlässig: Es gibt zwar Offline-Verfahren, doch die Gleichheit bei den Benchmark-Ergebnissen beweist nichts, da die vergifteten Modelle aus der „Nature Medicine“-Studie bei Standard-Benchmarks mit den sauberen Modellen übereinstimmten. Kann man das durch erneutes Training beseitigen? Nicht zuverlässig: Backdoor-Verhalten hat sich trotz überwachtem Fine-Tuning, verstärktem Lernen und adversarialem Training hartnäckig gehalten, und das adversariale Training hat den Modellen beigebracht, ihre Auslöser besser zu erkennen, wodurch das Verhalten effektiv verborgen wird (arXiv:2401.05566, 2024). Eine Einschätzung von Fachleuten aus dem Jahr 2021, wonach „praktische Lösungen für das „Unlearning“ von Maschinen noch Jahre entfernt sind“, bleibt die vorherrschende Position; die derzeitige Lösung ist nach wie vor das kostspielige Umtrainieren anhand verifizierter, sauberer Daten (CSO Online, 2021).

Was in dieser Studie funktionierte, war das Screening der Ausgabeschicht: „Mithilfe biomedizinischer Wissensgraphen zur Überprüfung der Ausgaben medizinischer LLMs schlagen wir eine Strategie zur Schadensminderung vor, die 91,9 % der schädlichen Inhalte erfasst“, mit einem F1-Score von 85,7 % (Veröffentlichung 2025, Daten von 2024) (Mount-Sinai-Eintrag).

Die dauerhafte Trennung erfolgt zwischen Offline- und Laufzeitmodus, wobei jeder Modus einen benannten Eigentümer hat.

Tabelle: Erkennung von Offline- und Laufzeit-Poisoning, aufgeschlüsselt nach Technik, zugeordneter ATLAS-Abwehrmaßnahme und zuständiger Gruppe.

Management der KI-Sicherheitslage ist für die Bestands- und Konfigurationsebene während der Erstellungsphase zuständig, Erkennung von Bedrohungen durch KI die Ebene des Laufzeitverhaltens und Red-Teaming von KI-Systemen operationalisiert AML.M0035 AI-Red-Team.

Bei Modelldateiformaten trifft Code-Injektion auf klassische Codeausführung. ATLAS-Abwehrmaßnahmen AML.M0016 In „Vulnerability Scanning“ heißt es ganz direkt: „Dateiformate wie Pickle-Dateien, die häufig zur Speicherung von KI-Modellen verwendet werden, können Sicherheitslücken enthalten, die die Ausführung von beliebigem Code ermöglichen“ (MITRE ATLAS-Datenbank). Eine Anmerkung zur Währung: Seit PyTorch 2.6.0 vom 29. Januar 2025, torch.load Standardmäßig ist weights_only=True, eine Änderung, die in den Versionshinweisen als „wichtige Maßnahme zur Verbesserung der Sicherheit“ bezeichnet wird (Versionshinweise zu PyTorch 2.6.0). Safetensors, von einer unabhängigen Stelle geprüft in 2023, ist nach wie vor die sicherere Wahl bei der Serialisierung, und Hugging Face dokumentiert, was Pickle-Scan was man fangen kann und was nicht.

Die Scan-Schicht selbst ist eine unvollkommene Software: Eine NVD-Stichwortsuche am 20. August 2026 liefert 59 CVEs für „picklescan“, den Open-Source-Scanner für bösartige Modelldateien, und Forscher haben veröffentlicht, Drei Sicherheitslücken im „ zero-day “ darin. Im Gegensatz dazu findet die Manipulation von Trainingskorpora fast keine Erwähnung in der CVE, da es sich nicht um eine Schwachstelle in einer ausgelieferten Softwareversion handelt; das NVD indexiert die ML-Lieferkette stattdessen als Deserialisierungs- und Speichersicherheitsproblem, und eine CPE-Abfrage für ein großes Framework liefert null Treffer, während eine Stichwortsuche 70 Treffer ergibt, sodass CPE-gesteuerte Scanner diese Ebene nur unzureichend erfassen. Das ausgenutzte Ende des Stacks wird von den Aufsichtsbehörden überwacht. Stand 25. August 2026, CISA’s Katalog bekannter ausgenutzter Sicherheitslücken (Katalogversion 24.08.2026, 1.675 Einträge) enthielt 10 ML-Stack-Einträge, darunter MLflow's CVE-2026-64849 (Serverseitige Manipulation von Anfragen, hinzugefügt am 19. August 2026, Nachbesserung fällig am 2. September) und Ray's CVE-2025-62593 (Code-Injection, hinzugefügt am 17. August, fällig am 20. August), wurde von der CNA nach CVSS v4.0 mit 9,4 („kritisch“) und vom NVD nach CVSS v3.1 mit 8,8 („hoch“) bewertet.

Bei Abfragesystemen kommen zwei unabhängige Studien übereinstimmend zu dem Schluss, dass eine Filterung nach Erfassungszeitpunkt nicht die Lösung ist. PoisonedRAG befand die von ihm evaluierten Abwehrmaßnahmen für unzureichend, und ein Preprint vom 17. August 2026 (arXiv:2608.16044) berichtete, dass sein stärkster trainierter Klassifikator koordinierte Vergiftungsangriffe nicht besser als der Zufall vom sauberen Datenverkehr unterscheiden konnte und bei einer Falsch-Positiv-Rate von 1 % nur 4,2 % der Angriffe erkannte, während ein Detektor, der die Abfragezeit beobachtete, bei derselben Falsch-Positiv-Rate 100 % der Angriffe erkannte. Die Abruf-Abwehr ist in der Laufzeitspalte angesiedelt.

Datenverfälschung in Normen und Vorschriften

Die aktuelle Kennung von OWASP lautet LLM05:2026 Daten- und Modellvergiftung, veröffentlicht am 4. August 2026 gemäß den Angaben des Projekts kanonisches Quell-Repository, und der Text aus dem Jahr 2026 erweitert den Rahmen: „In modernen GenAI-Umgebungen beschränkt sich das Poisoning nicht auf ‚Trainingsdaten‘ im herkömmlichen Sinne“ (LLM05:2026 Quelle). Die Ordnungszahl hat sich mit jeder Ausgabe geändert: Die Ausgabe 2023/24 LLM03: Verfälschung von Trainingsdaten wurde ausgemustert; die Liste für 2025 wurde umbenannt und neu nummeriert LLM04:2025 Daten- und Modellvergiftung, und 2026 wurde es verlegt nach 05:2026, wobei „Excessive Agency“ und „ Supply Chain “ 03:2026 und 04:2026 (Berichterstattung über die Veröffentlichung).

Das EU-KI-Gesetz erwähnt diesen Angriff in der primären Gesetzgebung, und zwar genau einmal: Der Begriff „Datenvergiftung“ taucht im konsolidierten Gesetz ein einziges Mal auf, und zwar in Artikel 15 Absatz 5. Diese Bestimmung schreibt für KI-Systeme mit hohem Risiko technische Maßnahmen vor, „um Angriffe, die darauf abzielen, den Trainingsdatensatz zu manipulieren (Data Poisoning), zu verhindern, zu erkennen, darauf zu reagieren, sie zu beheben und zu kontrollieren“, und dieselbe Klausel erstreckt sich auch auf das Model Poisoning vortrainierter Komponenten (konsolidierter Text auf EUR-Lex). Die Verpflichtung beschränkt sich nicht nur auf die Prävention, da auch die Erkennung und Reaktion als Pflichten genannt werden. Zum Zeitpunkt des Inkrafttretens: Nach der Änderung von Artikel 113 gelten die Anforderungen in Kapitel III, zu denen auch Artikel 15 gehört, ab dem 2. Dezember 2027 für risikoreiche Systeme gemäß Artikel 6 Absatz 2 und Anhang III sowie ab dem 2. August 2028 für solche gemäß Artikel 6 Absatz 1 und Anhang I. Artikel 15 Absatz 5 ist bereits geltendes Recht, gilt jedoch noch nicht für Systeme mit hohem Risiko, während andere Teile des Gesetzes, wie beispielsweise die Transparenzpflichten gemäß Artikel 50, planmäßig am 2. August 2026 in Kraft getreten sind.

Bei Allzweckmodellen sieht die Situation anders aus: Der GPAI-Verhaltenskodex (endgültige Fassung vom 10. Juli 2025), der als Instrument zur Einhaltung der in Artikel 55 des Gesetzes festgelegten Verpflichtungen hinsichtlich systemischer Risiken dient, nennt im Kapitel „Sicherheit und Schutz“, Maßnahme 3.1 (Verhaltenskodex), „Überprüfungen der Trainingsdaten (z. B. auf Anzeichen von Datenvergiftung oder Manipulation)“. NIST AI 100-2e2025, veröffentlicht am 24. März 2025, wobei eine durch ein Erratum korrigierte PDF-Datei am 1. April hochgeladen wurde, bleibt die maßgebliche Taxonomie und definiert „Clean-Label-Poisoning“ als Unterkategorie. ENISAs „Threat Landscape 2025“ (v1.2, veröffentlicht am 1. Oktober 2025, umfasst 4.875 Vorfälle vom 1. Juli 2024 bis zum 30. Juni 2025) stellte unter den Verbreitungsvektoren „Angriffe auf die KI-Lieferkette mit vergifteten, gehosteten Machine-Learning-Modellen (ML)“ fest (ENISA Threat Landscape 2025). Die am 22. Mai 2025 veröffentlichte gemeinsame Leitlinie zur KI-Datensicherheit der verbündeten Behörden enthält 10 Best Practices für den Lebenszyklus und ist das Dokument, in dem „Split-View“- und „Frontrunning“-Poisoning namentlich genannt werden.

Tabelle: In welchen aktuellen Normen und Vorschriften das Thema „Datenvergiftung“ vorkommt, mit der jeweiligen Kennung und den jeweiligen Daten.

Die Abgleichung dieser Verpflichtungen mit den im Bestand befindlichen Systemen ist Aufgabe der KI-Governance-Tools.

Moderne Ansätze zum Thema „Data Poisoning“

Die Branche bewegt sich in Richtung „Provenance“: Datensätze und Modelle werden als Artefakte behandelt, deren Herkunft, Verwahrung und Integrität nachverfolgt und überprüft werden, anstatt sie einfach als gegeben hinzunehmen. Die OWASP-Leitlinien für das Jahr 2026 zu diesem Risiko sehen vor, die Herkunft von Datensätzen und Modellen mithilfe von SBOM- und ML-BOM-Formaten wie CycloneDX nachzuverfolgen, die Signierung und Verifizierung durchzusetzen und die Datenintegrität über alle Lebenszyklusphasen hinweg kontinuierlich zu überprüfen.

Die genannten Mechanismen nehmen zu. Am 4. April 2025 wurde „OpenSSF Model Signing v1.0“ eingeführt, das einen Standard für die kryptografische Signierung von Modellartefakten festlegt. Die Coalition for Secure AI und OASIS veröffentlichten am 12. Juni 2025 das Dokument „Establish Risks and Controls for the AI Supply Chain, V 1.0“, dessen Abschnitt 3.1.1 den Titel „Data Poisoning: Threats and Mitigations in AI Supply Chains“ trägt. Die SBOM-Leitlinien der G7 für KI vom 12. Mai 2026 nennen die Herkunft von Datensätzen als Mindestanforderung. Und die Leitlinien der C2PA für KI und maschinelles Lernen – die eher ein informatives Anwendungsmuster als einen festgelegten ML-Herkunftsstandard darstellen – betiteln ihren Abschnitt 2 mit „Data Poisoning Attacks“.

Nun folgt der ehrliche Vorbehalt. Der Beitrag zur Einführung der Modellsignatur durch die OpenSSF erwähnt das Thema „Poisoning“ überhaupt nicht: Die Modellsignatur belegt, dass ein Artefakt nach dem Training nicht manipuliert wurde. Es handelt sich um eine Kontrolle der Artefaktintegrität, nicht um eine Kontrolle gegen das „Poisoning“ von Trainingsdaten, und Datensatzsignaturen sind ausdrücklich als zukünftiges Arbeitsfeld vorgesehen. Das Signieren eines manipulierten Modells erzeugt eine gültige Signatur für ein manipuliertes Modell. Die Provenienz beschränkt das Vertrauen auf namentlich genannte Parteien und Pipelines; sie überprüft nicht, worauf diese Parteien trainiert haben. Diese Präzision ist für jeden wichtig, der diese Kontrollmaßnahmen in ein KI-Sicherheitsprogramm integriert.

Wie „ Vectra AI “ das Thema „Data Poisoning“ betrachtet

Um ehrlich zu sein: Die Datenintegrität während des Trainings ist ein Problem der Datenverwaltung und von MLOps, kein Erkennungsproblem. Kein Sicherheitsprodukt erkennt manipulierte Gewichte auf der Übertragungsstrecke, und keine noch so umfangreichen Netzwerk-Metadaten decken eine vertauschte Klassifizierung innerhalb eines kuratierten Datensatzes auf. Eine Erkennungsmethode wie „ Attack Signal Intelligence “ von Vectra AI kommt dort zum Einsatz, wo sich der Angriff wie jeder andere Einbruch verhält. Das bedeutet, Aktivitäten im Zusammenhang mit Identitäten, Anmeldedaten und Berechtigungen im Rahmen von „ cloud “ zu erkennen, die einem Angreifer Schreibzugriff auf Trainings- oder Basisdaten verschaffen. Es bedeutet, Manipulationen zur Laufzeit bei Live-Abfragen und Agent-Tool-Oberflächen zu erkennen – das ist das Betätigungsfeld von AML.0070. Und es bedeutet, das Verhalten nach einer Kompromittierung zu erkennen, wenn ein manipuliertes Artefakt ausgeführt wird – was im Vorzeigefall von 2026 einen handelsüblichen Infostealer bedeutete Befehls- und Kontrollstruktur und der Diebstahl von Zugangsdaten. Das Gift ist unsichtbar. Der Angriff, durch den es eingeschleust wird, ist es nicht.

‍