Meta, precedentemente noto come Facebook, ha presentato il suo Open Pretrained Transformer (OPT-175B), un modello di IA linguistica che vanta oltre 100 miliardi di parametri. Questo notevole sviluppo rappresenta lo sforzo del gigante tecnologico di democratizzare l'accesso alla ricerca sull'IA all'avanguardia, come sottolineato nel recente post sul blog.
Con una licenza non commerciale, il modello sarà reso disponibile principalmente per scopi di ricerca. L'accesso sarà consentito ai ricercatori accademici, ai laboratori di ricerca governativi, della società civile e dell'industria di tutto il mondo. Tuttavia, la portata dell'accesso per i ricercatori rimane incerta. Chi è interessato a utilizzare il modello può semplicemente compilare un modulo di richiesta.
Come capire i modelli linguistici di grandi dimensioni
I modelli linguistici di grandi dimensioni sono sistemi avanzati di elaborazione del linguaggio naturale, addestrati su grandi quantità di testo per generare contenuti creativi e coerenti in vari formati. Questi modelli possono produrre articoli di cronaca, riassunti legali, sceneggiature di film e persino servire come chatbot per il servizio clienti.
GPT-3 di OpenAI è uno dei modelli linguistici di grandi dimensioni leader del settore, che contiene oltre 175 miliardi di parametri per uso personale e commerciale. Analogamente, OPT-175B di Meta fornisce non solo un modello linguistico su larga scala, ma anche una base di codice e una documentazione completa che illustra il processo di addestramento. Meta ha anche lanciato una serie di modelli di base su scala ridotta con meno parametri.
Affrontare l'impronta di carbonio del Deep Learning
La maggior parte della ricerca innovativa sull'intelligenza artificiale è guidata da grandi aziende tecnologiche come Google, Meta, Microsoft e Nvidia. L'addestramento e il funzionamento di modelli di IA di grandi dimensioni richiedono un'enorme quantità di potenza di calcolo ed energia, con conseguenti spese significative e un'impronta di carbonio potenzialmente elevata. Uno studio del 2019 di Roy Schwartz e Jesse Dodge ha rivelato che le computazioni di deep learning raddoppiano ogni pochi mesi, portando a un aumento stimato di 300.000 volte dal 2012 al 2018 - e a un impatto ambientale significativo.
Meta sostiene di aver affrontato il problema delle emissioni di carbonio riducendo l'impronta di carbonio dell'OPT-175B a un settimo del GPT-3 di OpenAI. L'azienda afferma di aver addestrato il modello su 992 GPU Nvidia A100 (80 gigabyte ciascuna), con un'impronta totale di emissioni di carbonio di sole 75 tonnellate, rispetto alle 500 tonnellate stimate per GPT-3. OpenAI non ha ancora commentato queste affermazioni.
Implicazioni future
Con il recente annuncio di Meta, ci aspettiamo di assistere a un'impennata dell'innovazione nella ricerca sull'apprendimento profondo. Tuttavia, accanto ai progressi tecnologici, è necessario affrontare a livello globale le questioni etiche relative all'uso responsabile dell'IA. Meta condivide la speranza che la comunità dell'IA - che comprende ricercatori accademici, società civile, responsabili politici e professionisti del settore - si unisca per trovare risposte. Con l'emergere di strumenti più potenti come OPT-175B, la democratizzazione dell'accesso all'innovazione dell'IA offre alle piattaforme come AppMaster l'opportunità di integrare tali progressi nelle proprie soluzioni no-code, consentendo agli utenti di sviluppare applicazioni complete per vari settori.
