L' Allen Institute for AI ( AI2) a dévoilé un projet révolutionnaire nommé OLMo, un grand modèle de langage étendu et open source. Cette initiative constitue une démarche stratégique visant à démystifier le fonctionnement interne des modèles d’IA et à catalyser de nouvelles avancées dans le domaine de la modélisation linguistique.
L’introduction d’OLMo intervient à un moment où l’ouverture est considérée comme essentielle pour favoriser une innovation rapide dans l’IA générative. Yann LeCun, scientifique en chef de l'IA chez Meta, a souligné l'impact transformateur des modèles de fondation ouverts, qui, selon lui, peuvent accélérer la voie vers un avenir alimenté par l'IA grâce à une communauté robuste et collaborative.
Un effort de collaboration impliquant des partenaires prestigieux tels que le Kempner Institute de Harvard University, AMD, CSC-IT Center for Science en Finlande et Databricks a permis le développement d'OLMo. Ce partenariat témoigne de l’approche interdisciplinaire nécessaire pour aborder les complexités de l’IA.
Dans un geste sans précédent, l'institut publie OLMo avec ses données de pré-formation et son code de formation, offrant ainsi aux chercheurs une opportunité unique d'approfondir ce modèle d'IA. Ce modèle ouvert atteint de nouveaux sommets en matière de transparence, fournissant des outils essentiels aux développeurs, tels que des données de pré-formation complètes de l'ensemble AI2's Dolma et une suite d'évaluation robuste avec des centaines de points de contrôle.
La responsable du projet OLMo, Hanna Hajishirzi, qui défend également la recherche en PNL à AI2 et est une professeure remarquable à l' University of Washington's Allen School, souligne l'importance de l'ouverture pour la compréhension scientifique et le progrès de l'IA. En comparant la recherche médicale ou les études astronomiques, Hajishirzi souligne que le cadre OLMo permet une étude complète des LLM qui joue un rôle déterminant dans le développement de systèmes d'IA à la fois sûrs et fiables.
AI2 souligne qu'OLMo apporte de la précision dans la recherche sur l'IA en donnant accès aux données d'entraînement du modèle, éliminant ainsi les conjectures et favorisant le développement fondé sur des preuves. Cette initiative devrait non seulement révéler les enseignements des modèles d’IA passés, mais également servir de tremplin pour de futures découvertes et améliorations.
Dans les mois à venir, d'autres itérations sur OLMo sont attendues, car AI2 prévoit d'intégrer différentes tailles de modèles, ensembles de données et autres fonctionnalités. Noah Smith, un autre chef de projet et directeur principal d' AI2, également à l' University of Washington's Allen School, a réitéré la mission principale d'OLMo. Smith a épousé la vision initiale de l’IA comme un champ ouvert, obscurci par la commercialisation et la confidentialité. OLMo vise à restaurer l’essence commune de la recherche sur l’IA, en permettant une accessibilité complète depuis la création de modèles jusqu’aux méthodes d’évaluation, faisant ainsi progresser la technologie de l’IA de manière inclusive et responsable.
Comme les plateformes comme AppMaster valorisent également la démocratisation de la technologie en proposant des solutions no-code, l'esprit d'OLMo s'aligne sur le mouvement technologique plus large vers la transparence et l'accessibilité. En défendant des modèles open source tels que OLMo, la communauté technologique se rapproche collectivement d’une ère d’IA responsable et inclusive.
