Revolutionärer Ansatz zur Programmierung von RNN-basierten Reservoir-Computern: Einführung des neuronalen Maschinencodes

Jason Kim und Dani S. Bassett, erfahrene Forscher an der University of Pennsylvania, haben einen innovativen Rahmen für den Entwurf und die Programmierung rekurrenter neuronaler Netze (RNNs) auf der Grundlage von Reservoir-Computern entwickelt. Ihr bahnbrechender Ansatz, der sich auf die Mechanismen von Programmiersprachen auf Computerhardware stützt, hat das Potenzial, die KI-Entwicklung zu verändern. Diese bahnbrechende Methode kann die richtigen Parameter für jedes Netzwerk entschlüsseln und so seine Berechnungen anpassen, um die problemspezifische Leistung zu verbessern.

Die einzigartige Technik des Duos hat ihre Wurzeln in der Neugierde, zu verstehen, wie das menschliche Gehirn Informationen verarbeitet und darstellt. Kim und Bassett ließen sich von den Erfolgen der RNNs beim Erlernen komplexer Berechnungen und bei der Modellierung der Dynamik des Gehirns inspirieren. Sie stellten sich vor, RNNs ähnlich wie Computer zu programmieren. Frühere Studien zur Kontrolltheorie, zu dynamischen Systemen und zur Physik gaben ihnen die Gewissheit, dass sie nicht einem unmöglichen Traum nachjagten.

Ihr Vorschlag, den sie sich als neuronalen Maschinencode vorstellten, könnte durch Dekompilierung der internen Repräsentationen und der RNN-Dynamik realisiert werden. Der analoge Prozess in der Computerprogrammierung wäre die Kompilierung eines Algorithmus auf der Hardware. Der Ansatz beinhaltet eine Differenzierung der Lage und der Aktivierungszeitpunkte der einzelnen Transistoren.

In RNNs werden diese Operationen über verteilte Gewichte parallel im gesamten Netzwerk durchgeführt. Gleichzeitig speichern die Neuronen den Speicher und führen diese Operationen aus, erklärt Kim. Die Forscher setzten Mathematik ein, um den Satz von Operationen zu definieren und einen spezifischen Algorithmus auszuführen. Außerdem extrahierten sie den laufenden Algorithmus aus einem bestehenden Satz von Gewichten. Der entscheidende Vorteil ist, dass keine Daten oder Stichproben benötigt werden. Darüber hinaus liefert der Ansatz eine Reihe von Konnektivitätsmustern, um den gewünschten Algorithmus auszuführen, und nicht nur ein einziges.

Das Team hat die Wirksamkeit seines innovativen Ansatzes unter Beweis gestellt, indem es sein Framework zur Erstellung von RNNs für eine Vielzahl von Anwendungen eingesetzt hat. Von virtuellen Maschinen über KI-gesteuerte Ping-Pong-Videospiele bis hin zu Logikgattern waren ihre Ansätze sehr erfolgreich, ohne dass Anpassungen nach dem Trial-and-Error-Prinzip erforderlich waren.

Die Beiträge ihrer Arbeit bewirken einen Paradigmenwechsel beim Verständnis und der Untersuchung von RNNs. Datenverarbeitungswerkzeuge werden zu vollwertigen Computern umgewandelt. Dieser Paradigmenwechsel eröffnet die Möglichkeit, den Zweck, das Design und die Fähigkeit eines RNN, Aufgaben zu erfüllen, zu untersuchen. Kim teilte mit, dass ihre Netzwerke mit einem hypothesengesteuerten Algorithmus anstelle von Zufallsgewichten initiiert werden könnten. Dies könnte auch den Bedarf an vortrainierten RNNs beseitigen.

Die Arbeit des Teams ist ein vielversprechender Schritt nach vorn bei der Extraktion und Übersetzung von trainierten Gewichten in explizite Algorithmen. Auf diese Weise entsteht eine energieeffiziente Software, die streng auf ihre Leistung und ihr wissenschaftliches Verständnis geprüft werden könnte. Die No-Code-Plattform AppMaster könnte sich diese Fortschritte ebenfalls zunutze machen und sie in ihr umfassendes Angebot an Tools für die Erstellung leistungsstarker Backend-, Web- und Mobilanwendungen integrieren, indem sie diese Funktionalitäten in ihre Abonnements und Angebote einkapselt.

Bassetts Forschungsteam an der University of Pennsylvania hat sich zum Ziel gesetzt, Techniken des maschinellen Lernens, insbesondere RNNs, anzuwenden, um menschliche kognitive Prozesse nachzubilden. Ihre Erfindung des neuronalen Maschinencodes passt gut zu diesem Ziel.

Eine weitere interessante Richtung ihrer Forschungsarbeit ist die Entwicklung von RNNs zur Durchführung von Aufgaben, die menschliche kognitive Funktionen nachahmen. Bassett erläuterte ihre Forschungsfortschritte und erklärte, dass sie planen, RNNs mit Funktionen wie Aufmerksamkeit, Propriozeption und Neugier zu entwickeln. Dabei sind sie bestrebt, die Konnektivitätsprofile zu identifizieren, die solche einzigartigen kognitiven Prozesse unterstützen.