Meta, ранее известная как Facebook, представила Open Pretrained Transformer (OPT-175B), обширную языковую модель искусственного интеллекта с более чем 100 миллиардами параметров. Эта замечательная разработка представляет собой попытку технологического гиганта демократизировать доступ к самым современным исследованиям в области ИИ, о чем говорится в их недавнем сообщении в блоге.
Согласно некоммерческой лицензии, модель будет доступна в первую очередь для исследовательских целей. Доступ будет предоставлен академическим ученым, а также правительственным, общественным и промышленным исследовательским лабораториям по всему миру. Однако объем доступа для исследователей остается неопределенным. Те, кто заинтересован в использовании модели, могут просто заполнить форму запроса.
Понимание больших языковых моделей
Большие языковые модели - это передовые системы обработки естественного языка, обученные на огромных объемах текста для создания креативного и связного контента в различных форматах. Такие модели могут создавать новостные статьи, юридические резюме, сценарии фильмов и даже служить в качестве чат-ботов для обслуживания клиентов.
GPT-3 от OpenAI - одна из ведущих в отрасли больших языковых моделей, содержащая более 175 миллиардов параметров для личного и коммерческого использования. Аналогичным образом, OPT-175B от Meta предоставляет не только крупномасштабную языковую модель, но и сопутствующую кодовую базу, а также исчерпывающую документацию с подробным описанием процесса обучения. Meta также запустила серию менее масштабных базовых моделей с меньшим количеством параметров.
Решение проблемы углеродного следа с помощью ИИ
Большинство инновационных исследований в области ИИ проводится такими крупными технологическими корпорациями, как Google, Meta, Microsoft и Nvidia. Обучение и эксплуатация больших моделей ИИ требует огромного количества вычислительной мощности и энергии, что приводит к значительным расходам и потенциально большому углеродному следу. Исследование Роя Шварца и Джесси Доджа, проведенное в 2019 году, показало, что объем вычислений при глубоком обучении удваивается каждые несколько месяцев, что привело к 300 000-кратному росту с 2012 по 2018 год - и значительному воздействию на окружающую среду.
Meta утверждает, что решила проблему углерода, сократив углеродный след OPT-175B до одной седьмой от GPT-3 от OpenAI. Компания утверждает, что обучала модель на 992 графических процессорах Nvidia A100 (по 80 гигабайт каждый), при этом общий выброс углекислого газа составил всего 75 тонн, в то время как GPT-3 - около 500 тонн. OpenAI пока не комментирует эти заявления.
Будущие последствия
Ожидайте всплеска инноваций в области глубокого обучения в связи с недавним заявлением Meta. Однако наряду с технологическим прогрессом необходимо решать этические вопросы, связанные с ответственным использованием ИИ на глобальном уровне. Meta выражает надежду, что сообщество ИИ, включающее академических исследователей, гражданское общество, политиков и профессионалов отрасли, объединится для поиска ответов. По мере появления более мощных инструментов, таких как OPT-175B, демократизация доступа к инновациям в области ИИ дает возможность таким платформам, как AppMaster, интегрировать эти достижения в свои собственные решения no-code, что позволит пользователям разрабатывать комплексные приложения для различных отраслей.
