2023年8月25日·阅读约1分钟

第一资本创新机器学习,通过开源联合模型聚合推动行业进步

为了增强机器学习方面的团队效率,第一资本开发并发布了联邦模型聚合(FMA)——一个优化联邦学习利用率的开源项目。该平台为该领域带来了前所未有的集成和最终用户的可能性。

第一资本创新机器学习,通过开源联合模型聚合推动行业进步

在变革性的上升趋势中,机器学习方法论即将升级,引入了一种相对较新的方法——联邦学习(FL)。金融巨头Capital One引领了新时代,提升了去中心化模型训练的精神,最大限度地减少了对中央数据存储的需求。 Capital One的机器学习软件工程师 Kenny Bean 详细介绍了该公司的开创性创新,提出了他们新颖的开源项目——联邦模型聚合 (FMA)。

FMA 旨在赋予程序员不受限制的能力,使其能够在联合环境中操作其机器学习管道,从而充分利用 FL 的优势。它是一个开创性的 Python 模块集合。除了提供连接器来简化这些模块之间的通信之外,FMA 还提供了与自定义组件链接的额外灵活性。

Bean 进一步扩展了 FMA 的功能,详细阐述了其旨在促进客户与服务交互的包容性客户端;一个聚合器用于吸收来自多个客户的模型升级,一个 API 服务用于处理系统内组件之间的 UI 和 API 交互。

在讨论 FMA 的起源时,该项目背后的主要开发人员之一 Bean 表示,该开源工具的创建是为了满足那些渴望对来自不同位置的数据进行磨练模型的开发人员的需求,而这些数据通常无法从源站点删除。他确认,只要以分布式方式使用模型,就有机会使用 FMA 服务并将联合学习引入训练过程。

Bean 表示,FMA 背后的核心愿景是设计一种适应性强、可重用的工具,轻松集成到现有的模型训练框架中。 Bean 反映,这本质上就是 FMA 服务概念的诞生方式。

FMA 成立期间开发团队的另一个重点是易于部署。只需一个命令,即可通过 FMA 快速启动模型。 Bean 将这种操作简便性归功于该项目与 Terraform(HashiCorp 的基础设施即代码工具)的集成。

Bean 在揭晓 FMA 的历程时透露,该项目最初是针对特定用例进行概念化的,但很快就认识到了更广泛应用的潜力,从而决定将其作为开源产品。 Bean 补充道, Capital One对开源技术社区互惠潜力的信念相呼应,第一资本一直是开源技术的受益者,我们真诚地相信,我们应该为社区做出贡献,社区通过我们的技术为我们提供了巨大帮助。技术变态。

怀着继续改进 FMA 的雄心,该团队正在努力发现功能并加强与更广泛社区的互动,以加快反馈接收速度。他们还致力于将该项目的组件扩展到其他语言。 FMA 对机器学习领域的影响代表了开源项目的力量,就像我们在AppMaster.

Easy to start
Create something amazing

Experiment with AppMaster with free plan.
When you will be ready you can choose the proper subscription.

Get Started
第一资本创新机器学习,通过开源联合模型聚合推动行业进步 | AppMaster