Meta, voorheen bekend als Facebook, heeft zijn Open Pretrained Transformer (OPT-175B) onthuld, een uitgebreid taal-AI-model met meer dan 100 miljard parameters. Deze opmerkelijke ontwikkeling vertegenwoordigt de inspanning van de techgigant om de toegang tot geavanceerd AI-onderzoek te democratiseren, zoals uiteengezet in hun recente blogpost.
Onder een niet-commerciële licentie zal het model in de eerste plaats beschikbaar worden gesteld voor onderzoeksdoeleinden. Academische onderzoekers en onderzoekslaboratoria van de overheid, het maatschappelijk middenveld en de industrie wereldwijd krijgen toegang. De mate van toegang voor onderzoekers blijft echter onzeker. Wie het model wil gebruiken, kan een aanvraagformulier invullen.
Grote taalmodellen begrijpen
Grote taalmodellen zijn geavanceerde natuurlijke taalverwerkingssystemen, getraind op enorme hoeveelheden tekst om creatieve en coherente inhoud in verschillende formaten te genereren. Dergelijke modellen kunnen nieuwsartikelen, juridische samenvattingen, filmscripts en zelfs chatbots voor klantenservice produceren.
OpenAI's GPT-3 is een van de toonaangevende grote taalmodellen in de industrie, met meer dan 175 miljard parameters voor zowel persoonlijk als commercieel gebruik. Ook Meta's OPT-175B biedt niet alleen een grootschalig taalmodel, maar ook een bijbehorende codebase en uitgebreide documentatie over het trainingsproces. Meta heeft ook een reeks kleinere basismodellen met minder parameters gelanceerd.
De koolstofvoetafdruk van Deep Learning aanpakken
Het meeste innovatieve AI-onderzoek wordt aangedreven door grote technologiebedrijven zoals Google, Meta, Microsoft en Nvidia. Het trainen en bedienen van grote AI-modellen vergt een enorme hoeveelheid rekenkracht en energie, wat leidt tot aanzienlijke uitgaven en een potentieel grote koolstofvoetafdruk. Uit een studie van Roy Schwartz en Jesse Dodge uit 2019 blijkt dat deep learning-rekeningen om de paar maanden verdubbelen, wat leidt tot een geschatte 300.000x toename van 2012 tot 2018 - en een aanzienlijke impact op het milieu.
Meta beweert het koolstofprobleem te hebben aangepakt door de koolstofvoetafdruk van de OPT-175B te verminderen tot een zevende van OpenAI's GPT-3. Het bedrijf zegt het model te hebben getraind op 992 Nvidia A100 GPU's (80 gigabyte elk), met een totale CO2-voetafdruk van slechts 75 ton, vergeleken met de geschatte 500 ton van GPT-3. OpenAI heeft nog geen commentaar gegeven op deze beweringen.
Implicaties voor de toekomst
Verwacht met Meta's recente aankondiging een golf van innovatie in deep learning-onderzoek. Maar naast de technologische vooruitgang moeten ethische vragen over het verantwoordelijke gebruik van AI wereldwijd worden aangepakt. Meta deelt de hoop dat de AI-gemeenschap - bestaande uit academische onderzoekers, het maatschappelijk middenveld, beleidsmakers en professionals uit de industrie - samen antwoorden zullen vinden. Naarmate krachtigere tools zoals OPT-175B opkomen, biedt de democratisering van de toegang tot AI-innovatie een kans voor platforms zoals AppMaster om dergelijke vooruitgang te integreren in hun eigen no-code oplossingen, waardoor gebruikers verder in staat worden gesteld om uitgebreide toepassingen voor verschillende sectoren te ontwikkelen.
