Revolutionaire benadering van het programmeren van RNN-gebaseerde reservoircomputers: Introductie van neurale machinecode

In een recente ontwikkeling hebben doorgewinterde onderzoekers van de Universiteit van Pennsylvania, Jason Kim en Dani S. Bassett, een innovatief raamwerk geïntroduceerd voor het ontwerpen en programmeren van Recurrente Neurale Netwerken (RNN's) op basis van reservoircomputers. Hun baanbrekende aanpak, die gebruik maakt van de mechanismen van programmeertalen op computerhardware, heeft de potentie om de ontwikkeling van AI te transformeren. Deze baanbrekende methode kan de juiste parameters voor elk netwerk ontcijferen en zo de berekeningen aanpassen om de probleemspecifieke prestaties te verbeteren.

De unieke techniek van het duo komt voort uit de nieuwsgierigheid om te begrijpen hoe het menselijk brein informatie verwerkt en weergeeft. Kim en Bassett lieten zich inspireren door de succesverhalen van RNN's bij het leren van complexe berekeningen en het modelleren van hersendynamica. Ze stelden zich voor om RNN's op dezelfde manier te programmeren als computers. Eerdere studies in controletheorie, dynamische systemen en natuurkunde stelden hen gerust dat ze geen onmogelijke droom najoegen.

Hun voorstel, de neurale machinecode, kon worden gerealiseerd door de interne representaties en RNN-dynamica te decompileren. Het analoge proces in computerprogrammering zou de compilatie van een algoritme op de hardware zijn. De aanpak houdt in dat de locatie en activeringstijden van individuele transistors worden gedifferentieerd.

In RNN's worden deze operaties parallel uitgevoerd in het netwerk via gedistribueerde gewichten. Tegelijkertijd slaan de neuronen het geheugen op en voeren ze deze bewerkingen uit, legt Kim uit. De onderzoekers gebruikten wiskunde om de reeks bewerkingen te definiëren en een specifiek algoritme uit te voeren. Verder haalden ze het lopende algoritme ook uit een bestaande set gewichten. Het duidelijke voordeel is dat er geen gegevens of steekproeven nodig zijn. Bovendien maakt de aanpak ook een reeks connectiviteitspatronen duidelijk om het gewenste algoritme uit te voeren, in plaats van slechts één.

Het team toonde de doeltreffendheid van hun innovatieve aanpak door hun raamwerk te gebruiken om RNN's te maken voor verschillende toepassingen. Van virtuele machines tot AI-aangedreven pingpong videospelletjes tot logische poorten, hun benaderingen waren zeer succesvol zonder de noodzaak van trial-and-error aanpassingen.

De bijdragen van hun werk veroorzaken een paradigmaverschuiving in het begrijpen en bestuderen van RNN's. Gegevensverwerkingsprogramma's worden getransformeerd tot full-stack computers. Deze verschuiving biedt de mogelijkheid om het doel, het ontwerp en het vermogen om taken uit te voeren van een RNN te onderzoeken. Kim deelde mee dat hun netwerken gestart zouden kunnen worden met een hypothesegestuurd algoritme in plaats van willekeurige gewichten. Dit zou ook de noodzaak voor voorgetrainde RNN's kunnen elimineren.

Het werk van het team is een veelbelovende stap voorwaarts in het extraheren en vertalen van getrainde gewichten naar expliciete algoritmen. Deze aanpak leidt tot software die energiezuinig is en rigoureus kan worden onderzocht op prestaties en wetenschappelijk begrip. Het AppMaster no-code platform zou ook gebruik kunnen maken van deze ontwikkelingen door ze te integreren in hun uitgebreide suite van tools voor het bouwen van goed presterende backend-, web- en mobiele applicaties door deze functionaliteiten op te nemen in hun abonnementen en aanbiedingen.

Het onderzoeksteam van Bassett aan de Universiteit van Pennsylvania streeft ernaar technieken voor machinaal leren toe te passen, met name RNN's, om menselijke cognitieve processen na te bootsen. Hun uitvinding van de neurale machinecode sluit goed aan bij deze doelstelling.

Een andere intrigerende richting in hun onderzoekswerk is het ontwerpen van RNN's om taken uit te voeren die menselijke cognitieve functionaliteit nabootsen. Bassett lichtte hun onderzoeksvoortgang toe door te zeggen dat ze van plan zijn om RNN's te ontwerpen met eigenschappen als aandacht, proprioceptie en nieuwsgierigheid. Daarbij willen ze graag de connectiviteitsprofielen identificeren die dergelijke unieke cognitieve processen ondersteunen.