MetaFacebookは、1,000億以上のパラメータを持つ言語AIモデル「Open Pretrained Transformer（OPT-175B）」を発表しました。これは、最先端のAI研究へのアクセスを民主化するための取り組みであり、最近のブログ記事で紹介されています。
非商用ライセンスのもと、このモデルは主に研究目的で利用できるようになる予定です。世界中の学術研究者、政府、市民社会、産業界の研究所にアクセスが許可されます。しかし、研究者がどの程度アクセスできるかは、まだ不明です。利用を希望される方は、リクエストフォームに記入してください。
大規模言語モデルの理解
大規模言語モデルは高度な自然言語処理システムで、膨大な量のテキストを対象に学習させ、さまざまな形式で創造的で首尾一貫したコンテンツを生成します。このようなモデルは、ニュース記事、法律の要約、映画の脚本、さらには顧客サービスのチャットボットの役割を果たすこともできます。
OpenAIのGPT-3は、業界をリードする大規模言語モデルの一つで、個人・商用を問わず1750億を超えるパラメータを含んでいます。同様に、Meta社のOPT-175Bは、大規模な言語モデルだけでなく、付随するコードベースや、学習プロセスを詳述した包括的なドキュメントも提供しています。また、Meta社は、より少ないパラメータを持つ小規模なベースラインモデルのシリーズを発売しています。
ディープラーニングのカーボンフットプリントへの取り組み
革新的なAI研究のほとんどは、Google 、Meta 、Microsoft、Nvidiaなどの大手ハイテク企業によって推進されています。大規模なAIモデルのトレーニングと運用には、膨大な計算パワーとエネルギーが必要であり、その結果、多額の出費と潜在的に大きなカーボンフットプリントが発生します。Roy SchwartzとJesse Dodgeによる2019年の研究では、ディープラーニングの計算量が数カ月ごとに倍増し、2012年から2018年にかけて推定30万倍の増加、そして環境に大きな影響を与えることが明らかになりました。
Metaは、OPT-175BのカーボンフットプリントをOpenAIのGPT-3の7分の1に減らすことで、炭素問題に対処したと主張しています。同社によると、992個のNvidia A100 GPU（各80ギガバイト）でこのモデルを学習させ、総炭素排出量は、GPT-3の推定500トンに対し、わずか75トンとなった。OpenAIは、これらの主張についてまだコメントを出していません。
今後の展開
Metaの最近の発表で、深層学習研究のイノベーションが急増することを期待します。しかし、技術的な進歩とともに、AIの責任ある利用をめぐる倫理的な問題にグローバルに対処する必要があります。Metaは、学術研究者、市民社会、政策立案者、業界関係者を含むAIコミュニティが一丸となって答えを見出すことを望んでいます。OPT-175Bのような強力なツールが登場するにつれ、AIイノベーションへのアクセスが民主化されることで、AppMaster のようなプラットフォームが、そのような進歩を自社のno-code ソリューションに統合し、ユーザーがさまざまな業界向けの包括的アプリケーションを開発できるようになる機会を提供します。
