Das rasante Tempo, mit dem die künstliche Intelligenz (KI) in den letzten Jahren vorangeschritten ist, hat in einer Vielzahl von Bereichen transformative Auswirkungen. In Verbindung mit einer zunehmend (vernetzten) Welt, in der Cyberangriffe mit alarmierender Häufigkeit und in beunruhigendem Ausmaß auftreten, ist es kein Wunder, dass der Bereich der Cybersicherheit nun ein Auge auf KI und maschinelles Lernen (ML) geworfen hat, um Angreifer zu erkennen und abzuwehren.
Der Einsatz von KI in der Cybersicherheit erweitert nicht nur den Umfang dessen, was ein einzelner Sicherheitsexperte überwachen kann, sondern ermöglicht auch die Entdeckung von Angriffen, die andernfalls von einem Menschen nicht erkannt worden wären. So wie es fast unvermeidlich war, dass KI zu Verteidigungszwecken eingesetzt wird, ist es unbestreitbar, dass KI-Systeme bald auch zu Angriffszwecken eingesetzt werden.
Wir skizzieren hier die kurz- und langfristigen Wege, die diese gegnerischen Anwendungen der KI angesichts der Geschichte und des Stands der KI wahrscheinlich nehmen werden.6
Sofortige Anwendungen
Es gibt eine Reihe von Bereichen, in denen die Entwicklung der KI und insbesondere des Deep Learning spezifische Anwendungen bietet, die jedoch von Hackern für bösartige Zwecke verändert werden können.
Viele moderne Techniken für die Verarbeitung natürlicher Sprache nutzen beispielsweise eine Form von rekurrenten neuronalen Netzen, die als LSTM bekannt sind, um natürliche Sprache zu verarbeiten, zu klassifizieren, zu generieren und sogar zu übersetzen. Ein LSTM-Sprachmodell, das auf einem Sprach- oder Textdatensatz trainiert wurde, kann dazu verwendet werden, neue Sätze in der gleichen Stimme oder Art und Weise zu generieren wie der Text, auf dem es trainiert wurde. Dieses Modell, das gelernt hat, Tweets in Trumps Stimme zu erzeugen, ist ein Beispiel für diese Anwendung:
Modelle wie diese können von Hackern leicht als eines von vielen Werkzeugen in ihrem Arsenal genutzt werden. Verschiedene Malware-Familien nutzen beispielsweise Domain-Generierungsalgorithmen (DGAs), um nach dem Zufallsprinzip neue Domains als Rendezvous-Punkte zu konstruieren, damit infizierte Rechner einen Command-and-Control-Server erreichen können. Wären die Domänen fest codiert, wäre es für einen Netzwerkadministrator trivial, bösartige Domänen einfach auf eine schwarze Liste zu setzen.
Da zufällig generierte Domänen (z. B. nawntgvcbixvwh.net) ganz anders aussehen als die Arten von Domänen, die ein Mensch registrieren würde, ist es relativ einfach, Modelle zu erstellen, die normale und DGA-Domänen erkennen können. Ein LSTM-Modell, das auf normale Domänennamen trainiert wurde, könnte jedoch leicht gefälschte Domänen erstellen, die nicht von denen zu unterscheiden sind, die ein Mensch auswählen würde.
Eine andere Klasse von Modellen (die ebenfalls häufig auf LSTMs zurückgreifen) sind die Sequenz-zu-Sequenz-Modelle (seq2seq). Seq2seq-Modelle, die derzeit im Bereich der Übersetzung den neuesten Stand der Technik darstellen, nehmen als Eingabe eine Sequenz in einer Domäne oder Sprache (z. B. einen Satz in Englisch) und produzieren als Ausgabe eine Sequenz in einer anderen Domäne oder Sprache (z. B. einen Satz in Französisch).
Diese Modelle können jedoch auch für eine Technik verwendet werden, die als Fuzzing bekannt ist und die das Auffinden von Fehlern und Sicherheitslücken im Code automatisiert(https://arxiv.org/pdf/1701.07232.pdf). Die durch diese Techniken gefundenen Sicherheitslücken können oft zu Pufferüberläufen, SQL-Injections usw. führen, die Angreifern die vollständige Kontrolle über ein System ermöglichen.
Im Allgemeinen sind die Bereiche, in denen KI und ML am unmittelbarsten anwendbar sind, in ihrem Umfang begrenzt und funktionieren nur in Verbindung mit einem menschlichen Angreifer, der das System nutzt. Die Anwendungsbereiche beschränken sich wahrscheinlich auf die Beschleunigung der Automatisierung verschiedener Aufgabentypen (wie im Fall des Fuzzing) oder auf die Nachahmung menschlicher Leistungen und Verhaltensweisen (wie im Fall der DGA).
Kurzfristige Anwendungen
Im Zuge der Weiterentwicklung der KI in den nächsten Jahren werden Techniken, die erst vor kurzem entwickelt wurden, wie z. B. generative adversarische Netze (GANs), die Möglichkeiten für Angriffe erweitern.
Interessanterweise wurden GANs zunächst durch die Betrachtung gegnerischer Angriffe auf bestehende Deep-Learning-Methoden motiviert: einfache Änderungen der Eingaben, die für Menschen nicht unterscheidbar wären, aber ein neuronales Netz maximal verwirren würden. Nehmen wir das folgende Beispiel aus Goodfellow et al. (2014)[https://arxiv.org/abs/1412.6572]:
Das Hinzufügen einer geringen Menge an Rauschen zu einem Bild eines Pandas (linke Seite der Gleichung in der obigen Abbildung) führt zu einem Bild eines Pandas, das für die meisten Menschen nicht vom Original zu unterscheiden ist (rechte Seite der obigen Abbildung). Dennoch ändert dieser kleine Zusatz die Vorhersage eines neuronalen Netzes, das darauf trainiert wurde, Objekte in Bildern zu erkennen, von einem "Panda" zu einem "Gibbon". Ein Beispiel aus jüngerer Zeit war in der Lage, ähnliche Verwirrungen durch die Änderung eines einzigen Pixels zu erzeugen(https://arxiv.org/abs/1710.08864v2).
Diese Art von Angriffen wird in dem Maße zunehmen, wie KI und ML Einzug in unser tägliches Leben halten. Tiefe neuronale Netze der Art, die in den obigen Beispielen angegriffen wurden, sind das Herzstück der Bildverarbeitungssysteme, die fahrerlose Autos, Gesichtserkennung (denken Sie an die Kameras, wenn Sie bei der Einreise in die USA durch die Grenzkontrollen gehen) und mehr steuern.
Die oben gezeigten Arten von Angriffen werden zunehmend für böswilliges Verhalten genutzt, da immer mehr Systeme auf automatisierte KI-Lösungen angewiesen sind.
GANs, die ursprünglich durch gegnerische Angriffe motiviert waren, sind auch für sich selbst interessant. GANs sind gekoppelte neuronale Netze, bei denen ein Generatornetz, dessen Aufgabe es ist, eine Ausgabe zu erzeugen, mit einem Diskriminatornetz konkurriert, dessen Aufgabe es ist, festzustellen, ob die Eingabe, die es sieht, vom Generator erzeugt wurde oder aus einem echten Datensatz stammt.
Erstaunlicherweise führt das spieltheoretische Hin und Her zwischen den Netzen zu einem Generator, der verblüffend realistische Ergebnisse liefern kann. Dies gilt insbesondere für den Bereich der Bilder, wo GANs begonnen haben, Bilder zu erzeugen, die hyperreal aussehen (z. B. Gesichter von Berühmtheiten, die nicht existieren: http://research.nvidia.com/publication/2017-10_Progressive-Growing-of), aber es wird jetzt auch verwendet, um natürliche Sprache zu erzeugen.
Diese Modelle werden in der Lage sein, realistische menschliche Sprache mit der Stimme oder dem Code einer anderen Person zu erzeugen, um ein bestimmtes Ziel oder eine bestimmte Aufgabe zu erreichen. Sie werden wahrscheinlich dazu verwendet werden, Systeme und Menschen zu täuschen, indem sie Ausgaben erzeugen, die von echten nicht zu unterscheiden sind.
Langfristige Richtungen
Langfristig ist zu erwarten, dass sich der Einsatz von KI in gegnerischen oder bösartigen Umgebungen zunehmend auf das Gebiet des Reinforcement Learning (RL) verlagern wird. Im Gegensatz zu den bisher diskutierten Modellen ermöglicht RL einem KI-Agenten nicht nur die Verarbeitung von Eingaben, sondern auch das Treffen von Entscheidungen als Reaktion auf diese Eingaben in einer Weise, die sich auf die Umgebung selbst auswirken kann.
Die Fähigkeit, eine Umgebung oder einen Eingangszustand zu beobachten und dann als Reaktion darauf zu handeln, schließt das, was Jean Piaget als "Handlungs-Wahrnehmungs-Schleife" beim Menschen bezeichnete. Ohne die Fähigkeit, Entscheidungen zu treffen und zu handeln, ist ein KI-Agent effektiv nur in der Lage, Eingaben zu verarbeiten. RL ist das, was moderne spielende KIs (z. B. https://deepmind. com/research/publications/playing-atari-deep-reinforcement-learning/) hervorgebracht hat und was dazu geführt hat, dass KI-Systeme die weltbesten Go-Spieler besiegt haben(https://deepmind.com/blog/alphago-zero-learning-scratch/).
Im Wesentlichen funktioniert RL so, dass ein Agent eine positive Belohnung erhält, wenn er ein Ziel erreicht, und eine negative Belohnung, wenn er versagt. Die Belohnungen sollten dann die Wahrscheinlichkeit erhöhen, Handlungen auszuführen, die wahrscheinlich zu positiven Belohnungen führen, während Handlungen verhindert werden, die wahrscheinlich zu negativen Belohnungen führen.
Eine Form von RL (oder verwandte Methoden, die sich daraus entwickeln) wird erforderlich sein, um KI-Agenten zu schaffen, die ein Netzwerk autonom aufklären, anvisieren und angreifen können. Unter Vectra haben wir bereits rudimentäre Agenten entwickelt, die lernen können, Netzwerke so zu scannen, dass sie sich den Erkennungssystemen entziehen. Diese Systeme wurden trainiert, indem die Agenten für die gesammelten Informationen belohnt wurden, während sie jedes Mal, wenn sie erwischt wurden, bestraft wurden.
Diese Art von Training ist jedoch nicht einfach, da es keine klaren Methoden gibt, um zu definieren, was eine Umgebung ist und was der Raum möglicher Aktionen ist (im Gegensatz zu Dingen wie Atari-Spielen oder sogar einem notorisch schwierigen Spiel wie Go, bei dem der Zustandsraum und der Aktionsraum relativ klar sind).
Es gibt jetzt sogar ein Projekt, das versucht, die Metasploit-API zu nutzen, um eine Reihe von Zuständen und Aktionen zu erstellen, die leicht von RL-Algorithmen aufgenommen werden können, die dann von in TensorFlow entwickelten Algorithmen verwendet werden können. Das Projekt mit dem Namen DeepExploit wurde auf der Black Hat 2018 vorgestellt(https://github.com/13o-bbr-bbq/machine_learning_security/tree/master/DeepExploit).
Letztlich ist es diese letzte Kategorie von KI für böswilliges oder angreifendes Verhalten, die in der Vergangenheit die Phantasie von Science-Fiction-Autoren und der breiten Öffentlichkeit beflügelt hat. Doch lange bevor es diese Art von Agenten gibt, werden KI und ML für eine Vielzahl von Angriffen eingesetzt werden - einige davon können wir bereits vorhersagen, andere werden wir einfach nicht kennen, bis sie passieren.
Godefroid, P., Peleg, H., & Singh, R. (2017, Oktober). Learn&fuzz: Machine learning for input fuzzing. InProceedings of the 32nd IEEE/ACM International Conference on Automated Software Engineering(pp. 50-59). IEEE Press.
Goodfellow, I. J., Shlens, J., & Szegedy, C. Explaining and harnessing adversarial examples (2014).arXiv preprint arXiv:1412.6572.
Karras, T., Aila, T., Laine, S., & Lehtinen, J. (2017). Progressive growing of gans for improved quality, stability, and variation.arXiv preprint arXiv:1710.10196.
Mnih, V., Kavukcuoglu, K., Silver, D., Graves, A., Antonoglou, I., Wierstra, D., & Riedmiller, M. (2013). Playing atari with deep reinforcement learning.arXiv preprint arXiv:1312.5602.
Silver, D., Schrittwieser, J., Simonyan, K., Antonoglou, I., Huang, A., Guez, A., ... & Chen, Y. (2017). Mastering the game of Go without human knowledge.Nature,550(7676), 354.
Su, J., Vargas, D. V., & Kouichi, S. (2017). One pixel attack for fooling deep neural networks.arXiv preprint arXiv:1710.08864.