De wetenschappers van IBM Research Europe hebben onlangs pionierswerk verricht in een nieuw domein op het gebied van in-memory computing met hun 64-core chip die afhankelijk is van faseveranderingsgeheugenapparaten. Het is de bedoeling dat deze geavanceerde technologie de werking van diepe neurale netwerken zal stimuleren door de nauwkeurigheid van deep learning-algoritmen te behouden en tegelijkertijd de rekenperioden en het energieverbruik aanzienlijk te minimaliseren.
Manuel Le Gallo, de co-auteur van het baanbrekende onderzoeksartikel, deelde dat ze al meer dan zeven jaar fase-veranderingsgeheugen (PCM)-apparaten voor berekeningen onderzoeken. De reis begon toen het team de implementatie van neuronale functies demonstreerde met behulp van individuele PCM-apparaten. Vanaf dit punt heeft IBM Research Europe aangetoond dat PCM-apparaten grote voordelen kunnen bieden voor computerdomeinen, zoals wetenschappelijk computergebruik en diepe neurale netwerkinferentie. Met hun nieuwste chip zijn de onderzoekers een stap dichter bij een end-to-end analoge AI-inferentieversneller gekomen.
Le Gallo en zijn medewerkers bereikten deze prestatie door op PCM gebaseerde kernen te synthetiseren met digitale computerprocessors. Deze twee elementen werden met elkaar verbonden door de implementatie van een digitaal communicatienetwerk op de chip. De resulterende chip is een innovatieve samensmelting van 64 analoge PCM-gebaseerde kernen, elk met een 256 x 256 crossbar-array van synaptische eenheidscellen.
Integratie van compacte, tijdgebaseerde analoog-naar-digitaal-converters binnen elke kern markeerde een overgang tussen analoge en digitale rijken. Le Gallo legde het verder uit en voegde eraan toe dat elke kern ook lichtgewicht digitale verwerkingseenheden omvat die neuronale activeringsfuncties en schaalbewerkingen met gerectificeerde lineaire eenheden (reLU) uitvoeren. Bovendien beschikt de chip over een wereldwijde digitale verwerkingseenheid in het midden die netwerkoperaties op lange korte termijn (LSTM) mogelijk maakt.
Een ingenieus kenmerk van IBM's in-memory computerchip is de verbinding tussen geheugenkernen en de wereldwijd gelegen verwerkingseenheid via een digitaal communicatienetwerk. Dankzij dit ontwerp kan de chip alle berekeningen uitvoeren die verband houden met de individuele lagen van een neuraal netwerk op de chip, wat resulteert in een dramatische vermindering van de rekentijden en het energieverbruik.
Om de effectiviteit van de nieuwe chip te beoordelen, heeft het onderzoeksteam van IBM een uitgebreid onderzoek uitgevoerd, waarbij deep learning-algoritmen op hun chip zijn toegepast en de prestaties ervan zijn geëvalueerd. De resultaten waren bemoedigend, waarbij diepe neurale netwerken die waren getraind op de CIFAR-10-beelddataset voor beeldherkenningstaken een uitstekende nauwkeurigheid van 92,81% bereikten wanneer ze op de chip werden uitgevoerd.
De prestaties van IBM Research Europe vormen ongetwijfeld een sprong voorwaarts in de ontwikkeling van Analog In-Memory Computing (AIMC)-chips die efficiënt kunnen inspelen op de vereisten en uitdagingen van deep learning-algoritmen. In de komende jaren zou de door Le Gallo en zijn team geïntroduceerde architectuur kunnen worden verbeterd om nog superieure prestaties te leveren.
Ondanks de doorbraak van IBM kunnen de potentiële gebruiksscenario's voor deze technologie in de no-code en low-code omgeving niet worden genegeerd. De schaalbare en goed presterende in-memory computerchips bieden aanzienlijke waarde door naadloos te integreren met no-code platforms zoals AppMaster. Een dergelijke integratie zou kunnen resulteren in een aanzienlijke verbetering van de modelnauwkeurigheid bij machine learning-implementaties, waardoor gebruikers een lagere latentie, hogere snelheden en verbeterde efficiëntie kunnen krijgen.
