Sind Maschinen in der Lage zu denken?
Die Frage mag einfach erscheinen, aber die angeborene introspektive Natur des Menschen hat uns ein tiefes Verständnis für das Konzept des Denkens vermittelt. Die Beantwortung dieser Frage ohne den Einfluss unserer persönlichen, subjektiven Erfahrungen - wie die Stimme in unserem Kopf, die unsere Gedanken wiedergibt - erfordert jedoch eine formale Definition dessen, was Denken wirklich bedeutet.
Die Menschen sind seit langem fasziniert davon, Objekte zu bauen, die tierisches und menschliches Verhalten nachahmen - von Spielzeugen, die den Gesang und den Flug von Vögeln simulieren, bis hin zu Leonardo Torres' schachspielendem Automaten, El Ajedrecista, aus dem Jahr 1912.
Es gibt jedoch einen deutlichen Unterschied zwischen Maschinen, die die physischen und nicht die intellektuellen Eigenschaften des Menschen simulieren.
Geschichte Meilensteine, die zur KI führten und Machine Learning
Die Entwicklungen, die eine formellere Behandlung dieser Frage ermöglichten, sind zu zahlreich, um sie hier erschöpfend aufzulisten, aber es lohnt sich, auf einige wichtige Meilensteine hinzuweisen:
In Mathematik und Logik:
- Gottlob Freges Entwicklung der modernen Logik im späten 19.
- Bertrand Russells und Alfred Whiteheads 1910 veröffentlichte Principia Mathematica, in der versucht wird zu zeigen, dass die Mathematik auf die symbolische Logik reduzierbar ist
- David Hilberts Einführung des Entscheidungsproblems, bei dem es um eine Methode geht, mit der jeder beliebige mathematische (logische) Satz auf der Grundlage einer Reihe von Axiomen seine Gültigkeit bestimmen kann
- Gödels Unvollständigkeitstheoreme von 1931, die zeigen, dass kein hinreichend aussagekräftiges formales System sowohl vollständig als auch konsistent sein kann
- Einführung der Informationstheorie durch Claude Shannon im Jahr 1948
In der Psychologie und den Neurowissenschaften (Lernen bei Tieren und Menschen)
- Die klassische und operante Konditionierung von Behavioristen wie Iwan Pawlow und B. F. Skinner
- Kenneth Craiks Begriff der mentalen Modelle von 1943 und ihre Verwendung im menschlichen Denken
- Theorien zur synaptischen und neuronalen Plastizität, vorgeschlagen von Donald Hebb im Jahr 1949
- Die neuronale Organisation der seriellen Ordnung im Verhalten von Karl Lashley 1951
In der Technik
- Das Gebiet der Kybernetik, das 1948 von Norbert Wiener zur Untersuchung von Kontrollsystemen mit Umweltrückkopplung eingeführt wurde
- Dynamische Programmierung und ihre Beziehung zur Theorie der optimalen Kontrolle, die 1953 unter anderem von Richard Bellman untersucht wurde
McCullough und Pitts und das erste neuronale Netz
Eine wichtige Entwicklung, die nach der Turing-Maschine stattfand und zum Teil von ihr inspiriert wurde, war die Einführung des ersten neuronalen Netzwerks durch Warren McCullough und Walter Pitts in ihrer bahnbrechenden Arbeit A Logical Calculus of the Ideas Immanent in Nervous Activity. Tatsächlich hatte die Arbeit von McCullough und Pitts wohl einen weitaus größeren Einfluss auf die frühen Forscher der künstlichen Intelligenz (KI) als Turings Arbeit.
Die Geschichte, wie McCullough und Pitts zueinander fanden, ist selbst eine faszinierende Geschichte1. Die Legende besagt, dass der Film Good Will Hunting auf dem Leben von Pitts basiert.
Fast ebenso erstaunlich ist die Tatsache, dass das erste neuronale Netzwerk bereits 1943 entwickelt wurde, was im Gegensatz zu den heutigen Darstellungen steht, die das Deep Learning als eine bahnbrechende Technologie jüngeren Datums bezeichnen.
Aufbauend auf der Aussagenlogik von Russell und Whiteheads Principia Mathematica und unter Einbeziehung ihrer Kenntnisse der Neuroanatomie entwickelten McCullough und Pitts eine Theorie darüber, wie Neuronen durch eine Reihe von synaptischen Gewichten so miteinander verbunden werden können, dass die Funktionsweise logischer Gatter nachgebildet wird.
Mit einer Reihe solcher Gatter ist es möglich, ein neuronales Netz zu konstruieren, das die Wahrheitswerte von Sätzen beliebiger logischer Propositionen berechnet.
Ihr Modell vereinfachte die Struktur und Funktion von Neuronen stark, und es konnte weder lernen noch sich anpassen (die synaptischen Gewichte mussten von Hand eingestellt werden). Dennoch inspirierte es John von Neumanns Computerarchitektur und war eine große Inspiration für die Forscher, die später den Begriff der künstlichen Intelligenz einführten.
AI: Der Workshop in Dartmouth, der dem Ganzen einen Namen gab
Der Begriff der künstlichen Intelligenz, der sich gegen Alternativen wie maschinelle Intelligenz, denkende Maschinen und Kybernetik durchsetzte, wurde erstmals 1955 von John McCarthy geprägt.
Darin wurde versucht, Pläne für einen Sommer-Workshop zu beschreiben, der eine kleine Gruppe von Forschern mit unterschiedlichem Hintergrund zusammenbringen sollte, die sich mit Konzepten im Zusammenhang mit maschineller Intelligenz befassten. Das Ziel, das McCarthy neben Claude Shannon, Marvin Minsky und Nathan Rochester in ihrem Vorschlag für den Workshop beschrieb, wurde wie folgt definiert:
Die Studie geht von der Vermutung aus, dass jeder Aspekt des Lernens oder jedes andere Merkmal der Intelligenz im Prinzip so genau beschrieben werden kann, dass eine Maschine in die Lage versetzt werden kann, ihn zu simulieren. Es wird versucht, herauszufinden, wie man Maschinen dazu bringen kann, Sprache zu benutzen, Abstraktionen und Konzepte zu bilden, Probleme zu lösen, die bisher dem Menschen vorbehalten waren, und sich selbst zu verbessern.
Der von McCarthy gewählte Name war zum Teil auf den Wunsch zurückzuführen, das aufkeimende Feld, das sie schufen, von den unzähligen Feldern zu unterscheiden, aus denen jeder der Forscher kam. Es ist anzumerken, dass McCarthy auch den Titel Kybernetik vermeiden wollte, weil er befürchtete, es mit einem überheblichen Norbert Wiener zu tun zu haben2.
Dennoch enthielt der Vorschlag sieben Themen und eine Aufforderung an die einzelnen Forscher, eigene Themen vorzuschlagen. Darunter waren "Wie kann ein Computer so programmiert werden, dass er eine Sprache verwendet? "Neuronale Netze", "Selbstverbesserung" und "Abstraktionen", was sich auf das Lernen von Abstraktionen aus sensorischen Eingaben bezieht.
Die auf dem Workshop behandelten Themen sollten die künftige Richtung der KI weitgehend bestimmen, indem sie Forscher aus unterschiedlichen Bereichen auf gemeinsame Ziele hin vereinten und zu erbitterten Auseinandersetzungen zwischen Forschern führten, die sich über die beste Methode zur Erreichung dieser Ziele uneinig waren.
Entwicklung der KI
Seit dem Dartmouth-Workshop hat die Entwicklung der künstlichen Intelligenz einen Auf- und Abschwung verschiedener Techniken erlebt. So ist die derzeitige Deep-Learning-Revolution eigentlich die dritte Periode relativer Popularität für neuronale Netze.
Die erste Periode, von den 1940er bis 1960er Jahren, begann mit der Erfindung neuronaler Netze durch McCullough und Pitts und reichte bis zur Entwicklung des Perceptrons.
Das Perceptron war ein einfaches neuronales Netz, das 1957 von Frank Rosenblatt entwickelt wurde und das sich anpassen und lernen konnte und in der Lage war, einfache Formen der optischen Zeichenerkennung durchzuführen.
Trotz ihrer vielversprechenden Fähigkeiten wurden neuronale Netze 1969 von Marvin Minsky, einem frühen Befürworter neuronaler Netze, und Seymour Papert mit der Veröffentlichung ihres Buches Perceptrons praktisch abgeschafft.
Darin zeigten sie die Grenzen von Rosenblatts Perzeptron auf, indem sie nachwiesen, dass es nicht in der Lage war, Lösungen für ganze Klassen von mathematischen Problemen zu lernen. Das berühmteste war die XOR-Funktion, bei der ein Netzwerk lernen musste, das Ergebnis einer "exklusiven Oder"-Verknüpfung zweier Eingaben auszugeben.
Obwohl sich später herausstellte, dass diese Einschränkung mit geringfügigen Änderungen wie der Verwendung nichtlinearer Schwellenfunktionen leicht überwunden werden konnte, war das Buch überzeugend genug, um die Finanzierung und das Interesse an vom Gehirn inspirierten Lernalgorithmen zu unterbinden.
Die Lücke, die das Verschwinden der neuronalen Netze hinterließ, wurde durch das ausgefüllt, was man später als "good old-fashioned AI" (GOFAI) bezeichnete. Die Techniken, die GOFAI definierten, waren weitgehend symbolische Logik. Dies steht im Gegensatz zur subsymbolischen Verarbeitung eines neuronalen Netzes, bei der die Verarbeitung auf viele Neuronen oder Knoten verteilt ist und die Darstellungen verteilt und kontinuierlich sein können.
GOFAI nutzte Produktionsregeln wie das Wenn-Dann-Prinzip und Suchtechniken, mit denen mögliche Hypothesen über Handlungen und die daraus resultierenden Folgen aufgestellt, bewertet und verglichen werden konnten. Es wurden Expertensysteme entwickelt, die versuchten, das Wissen von Fachleuten in Darstellungen zu formalisieren, mit denen Computer und Algorithmen arbeiten konnten.
Trotz des Erfolgs von GOFAI stieß der Trend zur symbolischen KI bei der ersten Wiederbelebung der neuronalen Netze in den späten 1970er und 1980er Jahren auf Widerstand. In dieser Zeit wurden sie wegen ihrer weit vernetzten Systeme von Neuronen als konnektionistische Systeme bezeichnet.
Dieser Aufschwung war vor allem auf die Einführung von Techniken wie der adaptiven Resonanztheorie (ART), einem biologisch plausiblen neuronalen Netz und der Backpropagation zurückzuführen. Dabei handelt es sich um einen Lernalgorithmus, der die Gewichte eines künstlichen neuronalen Netzes anpasst und zeigt, wie eine Lösung des XOR-Problems leicht erlernt werden kann.
Die Ära wurde durch ein Buch von James McClelland und David Rumelhart mit dem Titel Parallel Distributed Processing eingeleitet : Explorations in the Microstructure of Cognition. Obwohl das Buch sehr technisch ist, war es ein Erfolg und wurde in der New York Times Book Review besprochen.
Trotz dieses neuen Ruhmes war die zweite Ära der Popularität neuronaler Netze aufgrund der begrenzten Rechenleistung und des Mangels an Daten, mit denen die Modelle trainiert werden können, ebenfalls nur von kurzer Dauer.
Folglich waren neuronale Netze auf Spielzeugprobleme beschränkt, was sie wiederum der Kritik von Befürwortern symbolischer Ansätze aussetzte. Ein zweiter KI-Winter setzte ein und dauerte bis in die frühen 2000er Jahre.
Die derzeitige Deep-Learning-Revolution hat neuronale Netze zu ihrem dritten Akt erhoben. Entwicklungen wie das 1997 von Hochreiter und Schmidhuber entwickelte Modell des langen Kurzzeitgedächtnisses (LSTM) sowie Hintons 2006 vorgestellte Deep Belief Networks (DBNs) haben gezeigt, wie einige Einschränkungen früherer Modelle überwunden werden können.
In Verbindung mit der zunehmenden Rechenleistung und den Grafikprozessoren (GPUs) sowie der immer größeren Verfügbarkeit von Daten konnten Deep-Learning-Modelle die Fehlerquoten für gängige maschinelle Lernaufgaben dramatisch verbessern.
Die plötzlichen Fortschritte, die neuronale Netze bei der Spracherkennung, dem Computerbild und der Verarbeitung natürlicher Sprache erzielt haben, haben weitreichende Auswirkungen. Google, Facebook, Microsoft und andere große Unternehmen, die ein starkes Interesse an der Verarbeitung von Sprach-, Bild- und Textdaten haben, begannen, erhebliche Mittel in Forschung und Entwicklung zu investieren, was das Entwicklungstempo der KI beschleunigte.