Approche révolutionnaire de la programmation des ordinateurs-réservoirs basés sur les RNN : Introduction du code de la machine neuronale

Des chercheurs chevronnés de l'université de Pennsylvanie, Jason Kim et Dani S. Bassett, ont récemment introduit un cadre novateur pour la conception et la programmation de réseaux neuronaux récurrents (RNN) basés sur des ordinateurs-réservoirs. Leur approche révolutionnaire, qui s'appuie sur les mécanismes employés par les langages de programmation sur le matériel informatique, est susceptible de transformer le développement de l'IA. Cette méthode pionnière permet de déchiffrer les bons paramètres pour n'importe quel réseau, personnalisant ainsi ses calculs afin d'améliorer les performances spécifiques à un problème.

La technique unique du duo trouve son origine dans la curiosité de comprendre comment le cerveau humain traite et représente l'information. Kim et Bassett se sont inspirés des réussites des RNN dans l'apprentissage de calculs complexes et la modélisation de la dynamique cérébrale. Ils ont envisagé de programmer les RNN de la même manière que les ordinateurs. Des études antérieures en théorie du contrôle, en systèmes dynamiques et en physique les ont rassurés sur le fait qu'ils ne poursuivaient pas un rêve impossible.

Envisagée comme le code de la machine neuronale, leur proposition pourrait être réalisée en décompilant les représentations internes et la dynamique des RNN. Le processus analogue en programmation informatique serait la compilation d'un algorithme sur le matériel. L'approche consiste à différencier l'emplacement des transistors individuels et les délais d'activation.

Dans les RNN, ces opérations sont menées en parallèle dans tout le réseau par le biais de poids distribués. Simultanément, les neurones stockent la mémoire et exécutent ces opérations, explique Kim. Les chercheurs ont fait appel aux mathématiques pour définir l'ensemble des opérations et exécuter un algorithme spécifique. En outre, ils ont également extrait l'algorithme en cours d'exécution sur un ensemble existant de poids. L'avantage de cette approche est qu'elle ne nécessite pas de données ou d'échantillonnage. En outre, l'approche élucide également une série de modèles de connectivité pour exécuter l'algorithme souhaité, plutôt qu'un seul.

L'équipe a démontré l'efficacité de son approche innovante en utilisant son cadre pour créer des RNN pour une variété d'applications. Des machines virtuelles aux jeux vidéo de ping-pong alimentés par l'IA en passant par les portes logiques, leurs approches ont été couronnées de succès sans qu'il soit nécessaire de procéder à des ajustements par essais et erreurs.

Les contributions de leurs travaux entraînent un changement de paradigme dans la compréhension et l'étude des RNN. Les outils de traitement des données sont transformés en ordinateurs complets. Ce changement permet d'examiner l'objectif, la conception et la capacité d'un RNN à accomplir des tâches. Kim a indiqué que leurs réseaux pourraient être initiés à l'aide d'un algorithme fondé sur des hypothèses plutôt qu'avec des poids aléatoires. Cela pourrait également éliminer le besoin de RNN pré-entraînés.

Les travaux de l'équipe constituent une avancée prometteuse dans l'extraction et la traduction des poids entraînés en algorithmes explicites. Cette approche donne naissance à un logiciel économe en énergie qui pourrait être rigoureusement examiné du point de vue des performances et de la compréhension scientifique. La plateforme sans code AppMaster pourrait également exploiter ces avancées, en les intégrant dans sa suite complète d'outils pour la création d'applications dorsales, web et mobiles très performantes, en intégrant ces fonctionnalités dans ses abonnements et ses offres.

L'équipe de recherche de Bassett, à l'université de Pennsylvanie, vise à appliquer des techniques d'apprentissage automatique, en particulier les RNN, pour recréer les processus cognitifs humains. L'invention du code de machine neuronale s'inscrit parfaitement dans cet objectif.

Une autre orientation intéressante de leurs travaux de recherche consiste à concevoir des RNN pour effectuer des tâches qui reproduisent les fonctions cognitives humaines. Bassett a expliqué l'état d'avancement de ses recherches en déclarant qu'il prévoyait de concevoir des RNN dotés de caractéristiques telles que l'attention, la proprioception et la curiosité. Ce faisant, ils sont impatients d'identifier les profils de connectivité qui soutiennent ces processus cognitifs uniques.