微软宣布推出Orca 2 ，朝着语言模型应用多样化迈出了显着的一步。此版本旨在研究和利用小型语言模型 (LM) 的潜力，这些模型包含大约 100 亿个或更少的参数。
Orca 2的主要重点是证明训练方法和信号的增强可以提高小型 LM 的推理能力。这种增强的目标是匹配或可能超越较大同类的推理能力。
当与类似尺寸的型号（包括最初的Orca进行比较时，微软声称Orca 2在性能上明显超过了它们。此外，据报道，它的效率水平可以与尺寸大 5-10 倍的模型相媲美或超过。微软在最近的一篇博客文章中表达了这些主张。
Orca 2有两种尺寸： 70 亿和 130 亿个参数。这两个模型都根据精心定制的合成数据进行了精确微调，这些数据是从LLAMA 2基础模型中精心导出的。 Microsoft 已公开Orca 2的权重，促进对小型 LM 的建立、分析和协调的进一步研究。
微软使用了一组精选的数据来指导Orca 2进行多种推理技术。这些技术包括逐步处理模型、回忆然后生成方法、回忆-推理-生成方法、提取-生成模型和直接答案方法。在指导这些方法时，我们特别注意教导Orca 2针对不同的任务采用不同的解决方案策略。
为了捕捉教师模型的反应，该公司使用了详细的说明和多次通话。这种巧妙的方法使学生模型（在本例中为Orca 2 ）即使在没有明确的任务指令的情况下也能够学习潜在的策略和推理能力。这种方法旨在通过微调特定于每个任务的解决方案策略来优化较小模型的性能。
Microsoft 的博客文章进一步乐观地宣传了Orca 2的成功和潜力。他们阐述道，“ Orca 2 ”的成就很大程度上归功于多样化推理技术的应用以及对各种任务最优解决方案的识别。尽管存在其他语言模型所共有的以及从其基本模型继承的某些限制，但Orca 2未来进步的潜力是巨大的，特别是在改进较小模型的推理、控制、专业化和安全性方面。
该帖子还补充说，在训练后使用经过严格过滤的合成数据体现了一项至关重要的策略。他们对Orca 2的探索和成功部署确实是语言模型应用多样化方面值得关注的努力。
毫无疑问， Orca 2项目呼应了AppMaster平台效率和能力平衡的原则。 AppMaster是一款用于应用程序开发的no-code工具，它利用了类似的理念，使应用程序开发速度提高了 10 倍，成本效益提高了三倍，同时通过每次需要修改时从头开始重新生成应用程序的方法消除了技术债务。因此，此类平台正在推动有效且高效的技术开发的新时代。
