MetaEl gigante de la tecnología, antes conocido como Facebook, ha presentado su Open Pretrained Transformer (OPT-175B), un amplio modelo de inteligencia artificial lingüística que cuenta con más de 100.000 millones de parámetros. Este notable avance representa el esfuerzo del gigante tecnológico por democratizar el acceso a la investigación de vanguardia en IA, como se indica en su reciente entrada de blog.
Bajo una licencia no comercial, el modelo estará disponible principalmente para fines de investigación. Se concederá acceso a investigadores académicos, así como a laboratorios de investigación gubernamentales, de la sociedad civil y de la industria de todo el mundo. Sin embargo, el alcance del acceso para los investigadores sigue siendo incierto. Los interesados en utilizar el modelo sólo tienen que rellenar un formulario de solicitud.
¿Qué son los grandes modelos lingüísticos?
Los grandes modelos lingüísticos son sistemas avanzados de procesamiento del lenguaje natural, entrenados en grandes cantidades de texto para generar contenidos creativos y coherentes en diversos formatos. Estos modelos pueden producir artículos de noticias, resúmenes legales, guiones de películas e incluso servir como chatbots de atención al cliente.
El GPT-3 de OpenAI es uno de los grandes modelos lingüísticos líderes del sector, con más de 175.000 millones de parámetros para uso personal y comercial. Del mismo modo, el OPT-175B de Meta no sólo proporciona un modelo lingüístico a gran escala, sino también una base de código que lo acompaña y una completa documentación que detalla el proceso de entrenamiento. Meta también ha lanzado una serie de modelos básicos a menor escala y con menos parámetros.
La huella de carbono del aprendizaje profundo
La mayor parte de la investigación innovadora en IA está impulsada por grandes empresas tecnológicas como Google, Meta, Microsoft y Nvidia. Entrenar y operar grandes modelos de IA requiere una enorme cantidad de potencia computacional y energía, lo que resulta en gastos significativos y una huella de carbono potencialmente grande. Un estudio de 2019 realizado por Roy Schwartz y Jesse Dodge reveló que los cómputos de aprendizaje profundo se duplicaron cada pocos meses, lo que llevó a un aumento estimado de 300,000x de 2012 a 2018 - y un impacto ambiental significativo.
Meta afirma haber abordado el problema del carbono reduciendo la huella de carbono del OPT-175B a una séptima parte del GPT-3 de OpenAI. La empresa afirma haber entrenado el modelo con 992 GPU Nvidia A100 (de 80 gigabytes cada una), con una huella total de emisiones de carbono de sólo 75 toneladas, frente a las 500 toneladas estimadas de GPT-3. OpenAI aún no ha comentado estas afirmaciones.
Implicaciones futuras
Con el reciente anuncio de Meta, cabe esperar un aumento de la innovación en la investigación del aprendizaje profundo. Sin embargo, junto a los avances tecnológicos, las cuestiones éticas que rodean el uso responsable de la IA deben abordarse a nivel mundial. Meta comparte la esperanza de que la comunidad de la IA -que engloba a investigadores académicos, sociedad civil, responsables políticos y profesionales de la industria- se una para encontrar respuestas. A medida que surgen herramientas más potentes como la OPT-175B, la democratización del acceso a la innovación en IA presenta una oportunidad para que plataformas como AppMaster integren tales avances en sus propias soluciones no-code, capacitando aún más a los usuarios para desarrollar aplicaciones integrales para diversas industrias.
