Wie es KI-Modelle schaffen, sich selbst neue Dinge beizubringen
Grosse Sprachmodelle wie GPT-3 sind in der Lage, neue Konzepte zu lernen, indem sie mit ihren Benutzern interagieren. Forschende der ETH und von Google haben nun möglicherweise einen Schlüsselmechanismus hinter dieser Fähigkeit aufgedeckt.
Trotz ihres enormen Erfolges bleibt das Innenleben grosser Sprachmodelle wie der GPT-Modellfamilie von OpenAI und Google Bard ein Geheimnis, selbst für ihre Entwickler. Forscher der ETH und von Google haben nun einen möglichen Schlüsselmechanismus aufgedeckt, der sie befähigt, im laufenden Betrieb zu lernen und ihre Antworten auf der Grundlage von Interaktionen mit ihren Nutzern zu verfeinern. Johannes von Oswald ist Doktorand in der Gruppe von Angelika Steger, ETH-Professorin für Theoretische Informatik, und untersucht Lernalgorithmen für neuronale Netze. Sein neues externe SeitePaper wird Ende Juli an der International Conference on Machine Learning (ICML) vorgestellt.
Das T in GPT steht für Transformer. Was sind Transformer?
Johannes von Oswald: Transformer sind künstliche neuronale Netze mit einer besonderen Architektur. Sie wird von grossen Sprachmodellen wie ChatGPT verwendet, wurde aber 2017 von Forschern bei Google entwickelt und führte damals zu Spitzenleistungen bei der Sprachübersetzung. Interessanterweise ist dieses Modell in leicht abgewandelter Form aber eigentlich schon 1991 von dem KI-Pioneer Jürgen Schmidhuber erfunden worden.
Und was zeichnet diese Architektur aus?
Vor dem aktuellen Durchbruch von der Transformer-Architektur wurden für Aufgaben wie zum Beispiel das Klassifizieren von Bildern oder der Sprachübersetzung jeweils spezifische, für eine bestimmte Aufgabe entwickelte Netzwerk-Architekturen verwendet. Transformer unterscheiden sich grundlegend von diesen früheren KI-Modellen – und sie scheinen für eine grosse Bandbreite unterschiedlicher Aufgaben sehr gut zu funktionieren. Da sie weit verbreitet sind, ist es wichtig zu verstehen, wie sie funktionieren.
Was haben Sie mit Ihrer Forschung entdeckt?
Während neuronale Netze im Allgemeinen als Black-box betrachtet werden, die bei einer Eingabe eine Ausgabe ausspucken, haben wir gezeigt, dass Transformer von sich aus lernen können, neue Algorithmen in ihre Architektur einzubauen. In unserem Fall konnten wir zeigen, dass sie von sich aus einen klassischen maschinellen Lernalgorithmus implementieren.
Haben Sie ein Beispiel für dieses Lernverhalten?
Sie können einem Sprachmodell wie ChatGPT zum Beispiel mehrere kurze Texte geben und jeweils angeben, ob die Texte grundsätzlich eine positive oder negative Grundstimmung haben. Dann legen Sie dem Modell einen Text vor, den es noch nicht gesehen hat, und es wird anhand der Beispiele, die Sie dem Modell gegeben haben, ziemlich sicher lernen und beurteilen, ob der neue Text positiv oder negativ ist.
Sie sagen also, dass das Modell sich selbst eine Technik beibringt, um neue Dinge zu lernen?
Ja, das ist überraschend, aber wahr. Einfach aus dem Zwang heraus, die eigenen Vorhersagen zu verbessern, entwickelt es während des Trainings eine Technik, die es dem Modell ermöglicht, zum Beispiel aus den Gesprächen mit seinen Nutzern zu lernen. Diese Art des Lernens bezeichnen wir als In-Context-Learning.
Alles, was diese Modelle erhalten, ist eine kurze Texteingabe. Wie nutzen Transformer diese wenigen Informationen, um ihr Ergebnis zu optimieren?
Eine Möglichkeit besteht darin, eine Art “Modell der Welt” zu erlernen, mit dem man Vorhersagen treffen kann. Unsere Arbeit zeigt, dass dies Transformer vielleicht tun. Interessant ist, dass dieses Lernen innerhalb eines Modells stattfindet, das bereits trainiert ist. Normalerweise müsste man beim Lernen die Verbindungen im neuronalen Netz des Modells ändern. Wir haben gezeigt, dass Transformer-Modelle stattdessen in der Lage sind, denselben Lernprozess innerhalb einer festen neuronalen Architektur zu simulieren.
Wie kommt diese Fähigkeit bei Transformern zustande?
In unserer Arbeit stellten wir die Hypothese auf, dass die Architektur des Transformers grundsätzlich dazu neigt, zu lernen. Das bedeutet im Grunde, dass die Fähigkeit, diese Lernmechanismen zu entwickeln, implizit im Design eingebaut ist, noch bevor das Modell trainiert wird.
GPT-3, das Modell hinter ChatGPT, hat 175 Milliarden Parameter. Wie kann man ein so grosses System untersuchen?
Einige Forschende verfolgen einen psychologischen Ansatz und analysieren, wie die Modelle reagieren, wenn sie mit standardisierten Tests oder widersprüchlichen Situationen wie moralischen Dilemmas konfrontiert werden. Wir haben dieses System mechanistisch untersucht, wie Neurowissenschaftler, könnte man sagen. Da unser Modell auf einem Computer läuft, sind wir in der Lage, jedes Neuron und jede Verbindung in dem neuronalen Netzwerk aufzuzeichnen - etwas, das bei der Untersuchung des biologischen Gehirns von Tieren oder Menschen undenkbar wäre. Jedoch ist uns die Untersuchung der Systeme auf dieser Ebene von einzelnen Neuronen und kleinen Netzwerken derzeit auch nur möglich, wenn man sehr spezifische Phänomene auf relativ kleinen Architekturen untersuchen will.
Wie sieht das System aus, das Sie in Ihrer Arbeit verwendet haben?
Der von uns verwendete Transformer ist fast identisch mit der weit verbreiteten Transformer-Architektur. Anstatt unser System mit grossen Textmengen aus dem Internet zu trainieren, haben wir es mit Beispielen eines einfachen Problems trainiert, der linearen Regression. Da dieses Problem und seine Lösung sehr gut bekannt sind, konnten wir diese Lösung mit dem vergleichen, was wir im Transformer beobachtet haben. So konnten wir nachweisen, dass der Transformer einen sehr bekannten und leistungsstarken Lernalgorithmus namens «Gradient Descent» in sich selbst implementiert.
Könnte es auch sein, dass Verhaltensweisen auftauchen, die für die Informatik völlig neu sind?
Das könnte passieren. In unserem Fall hat der Transformer nicht einfach «Gradient Descent» gelernt und durchgeführt, sondern eine verbesserte Version davon. Jetzt haben zwei unabhängige Studien des MIT und der UC Berkeley den Algorithmus analysiert, den der Transformer gelernt hat. Ein langfristiges Ziel solcher Forschung könnte auch sein, festzustellen, ob Transformer-Algorithmen entdecken oder sogar Theoreme beweisen und Mathematik entwickeln können, die wir noch nicht kennen. Das wäre ein Meilenstein und wirklich bahnbrechend.
Literaturhinweis
von Oswald J, Niklasson E, Randazzo E, Sacramento J, Mordvintsev A, Zhmoginov A, Vladymyrov M: Transformers learn in-context by gradient descent. Conference Paper International Conference on Machine Learning (ICML), July 2023, doi: externe Seite10.48550/arXiv.2212.07677