Capital One внедряет инновации в области машинного обучения, способствуя развитию отрасли за счет агрегирования федеративных моделей с открытым исходным кодом

В условиях тенденции к трансформации методология машинного обучения подлежит обновлению с внедрением относительно нового подхода — федеративного обучения (FL). Возглавляя новую эру, финансовый гигант Capital One укрепляет дух децентрализованного обучения моделей, сводя к минимуму потребность в централизованном хранении данных. Подробно рассказывая о новаторских инновациях компании, Кенни Бин, инженер-программист машинного обучения в Capital One, представляет свой новый проект с открытым исходным кодом — агрегирование федеративных моделей (FMA).

FMA предназначен для того, чтобы дать программистам неограниченные возможности по эксплуатации своих конвейеров машинного обучения в федеративной атмосфере, используя преимущества, которые предоставляет FL. Это новаторский ансамбль модулей Python. Помимо предоставления коннекторов для оптимизации связи между этими модулями, FMA обеспечивает дополнительную гибкость для связи с пользовательскими компонентами.

Продолжая расширять возможности FMA, Bean разрабатывает инклюзивный клиент, предназначенный для облегчения взаимодействия между клиентом и службой поддержки; агрегатор для объединения обновлений моделей от нескольких клиентов и служба API для обработки взаимодействия пользовательского интерфейса и API между компонентами внутри системы.

Обсуждая происхождение FMA, Бин, один из ключевых разработчиков проекта, рассказывает, что инструмент с открытым исходным кодом был создан для разработчиков, стремящихся отточить модели на основе данных, полученных из разных мест, часто недоступных для удаления с исходных сайтов. Он утверждает: «Возможность использовать сервис FMA и внедрить федеративное обучение в процесс обучения появляется всякий раз, когда модель используется распределенным образом».

По словам Бина, основная цель FMA заключалась в разработке инструмента, который можно было бы адаптировать и использовать повторно, легко интегрируя в уже существующие системы обучения моделей. Бин размышляет: «По сути, именно так родилась концепция службы FMA.

Еще одним ключевым моментом команды разработчиков во время создания FMA была простота развертывания. Всего одной командой можно быстро запустить модели с помощью FMA. Бин объясняет такую ​​простоту работы интеграцией проекта с Terraform — инструментом «инфраструктура как код» от HashiCorp.

Рассказывая о развитии FMA, Бин рассказывает, что проект изначально был задуман для конкретного варианта использования, но быстро осознался потенциал более широкого применения, что привело к решению сделать его предложением с открытым исходным кодом. Вторя вере Capital One в ответный потенциал сообщества технологий с открытым исходным кодом, добавляет Бин, Capital One всегда была бенефициаром технологий с открытым исходным кодом, и мы искренне верим в свой вклад в сообщество, которое оказало нам огромную помощь через нашу технологическая метаморфоза.

Стремясь продолжать совершенствовать FMA, команда усердно работает над обнаружением новых функций и совершенствует взаимодействие с более широким сообществом, чтобы ускорить получение отзывов. Они также работают над расширением компонентов проекта на дополнительные языки. Влияние FMA на мир машинного обучения отражает мощь проектов с открытым исходным кодом, во многом то же самое, что мы видели на таких платформах, как AppMaster.