Meta前身为Facebook,已经公布了其开放式预训练转化器(OPT-175B),一个拥有超过1000亿个参数的扩展性语言AI模型。正如他们最近的博客文章中所概述的那样,这一非凡的发展代表了这家科技巨头为使最先进的人工智能研究民主化所做的努力。
根据非商业许可,该模型将主要用于研究目的。学术研究人员,以及世界各地的政府、民间社会和工业研究实验室将被允许访问。然而,研究人员的访问范围仍然不确定。那些对利用该模型感兴趣的人可以简单地填写一份申请表格。
了解大型语言模型
大型语言模型是先进的自然语言处理系统,在大量的文本上进行训练,以产生各种格式的创造性和一致性的内容。这样的模型可以产生新闻文章、法律摘要、电影剧本,甚至可以作为客户服务的聊天机器人。
OpenAI的GPT-3是业界领先的大型语言模型之一,包含超过1750亿个参数,供个人和商业使用。同样,Meta的OPT-175B不仅提供了大规模的语言模型,还提供了配套的代码库,以及详细说明训练过程的全面文件。Meta公司还推出了一系列参数较少的小规模基线模型。
解决深度学习的碳足迹问题
大多数创新的人工智能研究是由主要的科技公司如Google,Meta, 微软和Nvidia驱动的。训练和操作大型人工智能模型需要大量的计算能力和能源,导致大量的支出和潜在的巨大碳足迹。罗伊-施瓦茨和杰西-道奇在2019年的一项研究显示,深度学习的计算量每隔几个月就翻一番,导致从2012年到2018年估计增加了30万倍--并对环境产生了重大影响。
Meta声称,通过将OPT-175B的碳足迹减少到OpenAI的GPT-3的七分之一,解决了碳问题。该公司表示,它在992个Nvidia A100 GPU(每个80千兆字节)上训练该模型,总的碳排放足迹只有75吨,而GPT-3估计有500吨。OpenAI还没有对这些说法发表评论。
未来的影响
随着Meta最近的宣布,预计将看到深度学习研究创新的激增。然而,在技术进步的同时,必须在全球范围内解决围绕负责任地使用人工智能的伦理问题。梅塔公司也希望人工智能界--包括学术研究人员、民间社会、政策制定者和行业专业人士--能够联合起来寻找答案。随着OPT-175B等更强大的工具的出现,获得人工智能创新的民主化为AppMaster 等平台提供了一个机会,将这些进展整合到他们自己的no-code 解决方案中,进一步赋予用户为各行业开发综合应用的权力。