Meta(ehemals Facebook) hat seinen Open Pretrained Transformer (OPT-175B) vorgestellt, ein umfassendes KI-Sprachmodell mit über 100 Milliarden Parametern. Diese bemerkenswerte Entwicklung steht für die Bemühungen des Tech-Giganten, den Zugang zu modernster KI-Forschung zu demokratisieren, wie in einem kürzlich veröffentlichten Blog-Post dargelegt.
Unter einer nicht-kommerziellen Lizenz wird das Modell in erster Linie für Forschungszwecke zur Verfügung gestellt. Der Zugang wird akademischen Forschern sowie staatlichen, zivilgesellschaftlichen und industriellen Forschungslabors weltweit gewährt. Der Umfang des Zugangs für Forscher bleibt jedoch ungewiss. Wer an der Nutzung des Modells interessiert ist, kann einfach ein Antragsformular ausfüllen.
Verständnis von großen Sprachmodellen
Große Sprachmodelle sind fortschrittliche Systeme zur Verarbeitung natürlicher Sprache, die auf riesige Textmengen trainiert werden, um kreative und kohärente Inhalte in verschiedenen Formaten zu erstellen. Solche Modelle können Nachrichtenartikel, juristische Zusammenfassungen und Filmdrehbücher erstellen und sogar als Chatbots für den Kundendienst dienen.
Das GPT-3 von OpenAI ist eines der branchenweit führenden großen Sprachmodelle mit über 175 Milliarden Parametern für den privaten und kommerziellen Gebrauch. In ähnlicher Weise bietet Meta mit OPT-175B nicht nur ein umfangreiches Sprachmodell, sondern auch eine zugehörige Codebasis und eine umfassende Dokumentation, die den Trainingsprozess detailliert beschreibt. Meta hat auch eine Reihe kleinerer Basismodelle mit weniger Parametern auf den Markt gebracht.
Der Kohlenstoff-Fußabdruck des Deep Learning
Die meiste innovative KI-Forschung wird von großen Technologieunternehmen wie Google, Meta, Microsoft und Nvidia vorangetrieben. Das Training und der Betrieb großer KI-Modelle erfordert eine enorme Menge an Rechenleistung und Energie, was zu erheblichen Kosten und einem potenziell großen Kohlenstoff-Fußabdruck führt. Eine Studie von Roy Schwartz und Jesse Dodge aus dem Jahr 2019 zeigt, dass sich die Zahl der Deep-Learning-Berechnungen alle paar Monate verdoppelt, was zu einem geschätzten 300.000-fachen Anstieg von 2012 bis 2018 führt - und zu einer erheblichen Umweltbelastung.
Meta behauptet, das Kohlenstoffproblem gelöst zu haben, indem es den Kohlenstoff-Fußabdruck des OPT-175B auf ein Siebtel des GPT-3 von OpenAI reduziert hat. Das Unternehmen gibt an, das Modell auf 992 Nvidia A100-GPUs (je 80 Gigabyte) trainiert zu haben, wobei der gesamte CO2-Fußabdruck nur 75 Tonnen betrug, verglichen mit den geschätzten 500 Tonnen von GPT-3. OpenAI hat sich zu diesen Behauptungen noch nicht geäußert.
Zukünftige Auswirkungen
Die jüngste Ankündigung von Meta dürfte zu einem Innovationsschub in der Deep-Learning-Forschung führen. Neben den technologischen Fortschritten müssen jedoch auch ethische Fragen im Zusammenhang mit dem verantwortungsvollen Einsatz von KI weltweit geklärt werden. Meta hofft, dass die KI-Gemeinschaft - bestehend aus akademischen Forschern, der Zivilgesellschaft, politischen Entscheidungsträgern und Fachleuten aus der Industrie - sich zusammenschließen wird, um Antworten zu finden. Mit dem Aufkommen leistungsfähigerer Tools wie OPT-175B bietet die Demokratisierung des Zugangs zu KI-Innovationen Plattformen wie AppMaster die Möglichkeit, solche Fortschritte in ihre eigenen no-code Lösungen zu integrieren und den Nutzern die Entwicklung umfassender Anwendungen für verschiedene Branchen zu ermöglichen.
