MetaFacebook a dévoilé son Open Pretrained Transformer (OPT-175B), un modèle d'intelligence artificielle à langage étendu qui compte plus de 100 milliards de paramètres. Ce développement remarquable représente l'effort du géant de la technologie pour démocratiser l'accès à la recherche de pointe en matière d'IA, comme indiqué dans son récent billet de blog.
Dans le cadre d'une licence non commerciale, le modèle sera mis à disposition principalement à des fins de recherche. L'accès sera accordé aux chercheurs universitaires, ainsi qu'aux laboratoires de recherche des gouvernements, de la société civile et de l'industrie dans le monde entier. Toutefois, l'étendue de l'accès pour les chercheurs reste incertaine. Les personnes intéressées par l'utilisation du modèle peuvent simplement remplir un formulaire de demande.
Comprendre les grands modèles de langage
Les grands modèles linguistiques sont des systèmes avancés de traitement du langage naturel, formés sur de grandes quantités de texte pour générer un contenu créatif et cohérent dans différents formats. Ces modèles peuvent produire des articles d'actualité, des résumés juridiques, des scripts de films et même servir de chatbots pour le service à la clientèle.
Le modèle GPT-3 d'OpenAI est l'un des plus grands modèles de langage de l'industrie, contenant plus de 175 milliards de paramètres pour un usage personnel et commercial. De même, l'OPT-175B de Meta fournit non seulement un modèle de langage à grande échelle, mais aussi une base de code d'accompagnement et une documentation complète détaillant le processus de formation. Meta a également lancé une série de modèles de base à plus petite échelle avec moins de paramètres.
S'attaquer à l'empreinte carbone de l'apprentissage profond
La plupart des recherches innovantes en matière d'IA sont menées par de grandes entreprises technologiques telles que Google, Meta, Microsoft et Nvidia. L'entraînement et l'exploitation de grands modèles d'IA nécessitent une énorme quantité de puissance de calcul et d'énergie, ce qui entraîne des dépenses importantes et une empreinte carbone potentiellement élevée. Une étude réalisée en 2019 par Roy Schwartz et Jesse Dodge a révélé que les calculs d'apprentissage profond doublaient tous les quelques mois, conduisant à une augmentation estimée à 300 000 fois entre 2012 et 2018 - et à un impact environnemental significatif.
Meta affirme avoir résolu le problème du carbone en réduisant l'empreinte carbone de l'OPT-175B à un septième du GPT-3 d'OpenAI. L'entreprise affirme avoir entraîné le modèle sur 992 GPU Nvidia A100 (80 gigaoctets chacun), avec une empreinte carbone totale de seulement 75 tonnes, par rapport aux 500 tonnes estimées de GPT-3. OpenAI n'a pas encore commenté ces affirmations.
Implications futures
L'annonce récente de Meta devrait entraîner une forte augmentation des innovations dans le domaine de la recherche sur l'apprentissage profond. Toutefois, parallèlement aux avancées technologiques, les questions éthiques concernant l'utilisation responsable de l'IA doivent être abordées à l'échelle mondiale. Meta espère que la communauté de l'IA - comprenant les chercheurs universitaires, la société civile, les décideurs politiques et les professionnels de l'industrie - s'unira pour trouver des réponses. Avec l'apparition d'outils plus puissants comme l'OPT-175B, la démocratisation de l'accès à l'innovation en matière d'IA offre la possibilité à des plateformes comme AppMaster d'intégrer ces avancées dans leurs propres solutions no-code, permettant ainsi aux utilisateurs de développer des applications complètes pour diverses industries.
