Metaznany wcześniej jako Facebook, zaprezentował Open Pretrained Transformer (OPT-175B), ekspansywny model językowy AI, który może pochwalić się ponad 100 miliardami parametrów. Ten niezwykły rozwój reprezentuje wysiłki giganta technologicznego, aby zdemokratyzować dostęp do najnowocześniejszych badań AI, jak opisano w ich ostatnim poście na blogu.
Na podstawie niekomercyjnej licencji, model zostanie udostępniony przede wszystkim do celów badawczych. Dostęp do niego uzyskają naukowcy akademiccy, a także rządowe, obywatelskie i przemysłowe laboratoria badawcze na całym świecie. Zakres dostępu dla naukowców pozostaje jednak niepewny. Osoby zainteresowane wykorzystaniem modelu mogą po prostu wypełnić formularz zgłoszeniowy.
Zrozumienie dużych modeli językowych
Duże modele językowe to zaawansowane systemy przetwarzania języka naturalnego, przeszkolone na ogromnych ilościach tekstu, aby generować kreatywne i spójne treści w różnych formatach. Takie modele mogą tworzyć artykuły informacyjne, streszczenia prawne, scenariusze filmowe, a nawet służyć jako chatboty do obsługi klienta.
GPT-3 firmy OpenAI to jeden z wiodących w branży dużych modeli językowych, zawierający ponad 175 miliardów parametrów, przeznaczony zarówno do użytku osobistego, jak i komercyjnego. Podobnie, OPT-175B firmy Meta dostarcza nie tylko duży model językowy, ale także towarzyszącą mu bazę kodów oraz obszerną dokumentację opisującą proces szkolenia. Meta wprowadziła również serię modeli bazowych o mniejszej skali i mniejszej liczbie parametrów.
Rozwiązanie problemu śladu węglowego głębokiego uczenia
Większość innowacyjnych badań nad AI jest napędzana przez największe korporacje technologiczne, takie jak Google, Meta, Microsoft i Nvidia. Szkolenie i obsługa dużych modeli AI wymaga ogromnej ilości mocy obliczeniowej i energii, co powoduje znaczne wydatki i potencjalnie duży ślad węglowy. Badanie z 2019 roku przeprowadzone przez Roya Schwartza i Jesse Dodge'a ujawniło, że obliczenia głębokiego uczenia podwajały się co kilka miesięcy, co doprowadziło do szacowanego 300 000-krotnego wzrostu od 2012 do 2018 roku - i znacznego wpływu na środowisko.
Meta twierdzi, że rozwiązała problem węgla, zmniejszając ślad węglowy OPT-175B do jednej siódmej GPT-3 OpenAI. Firma twierdzi, że wytrenowała model na 992 jednostkach GPU Nvidia A100 (80 gigabajtów każda), przy czym całkowity ślad węglowy wyniósł tylko 75 ton, w porównaniu do szacowanych 500 ton GPT-3. OpenAI nie skomentowało jeszcze tych twierdzeń.
Przyszłe implikacje
Spodziewajcie się, że wraz z ostatnim ogłoszeniem Meta, nastąpi gwałtowny wzrost innowacji w badaniach nad głębokim uczeniem. Jednak oprócz postępu technologicznego, należy zająć się kwestiami etycznymi dotyczącymi odpowiedzialnego wykorzystania AI na całym świecie. Meta ma nadzieję, że społeczność AI - obejmująca badaczy akademickich, społeczeństwo obywatelskie, decydentów i specjalistów z branży - połączy siły, aby znaleźć odpowiedzi. W miarę pojawiania się coraz potężniejszych narzędzi, takich jak OPT-175B, demokratyzacja dostępu do innowacji AI stanowi okazję dla platform takich jak AppMaster do zintegrowania takich osiągnięć z własnymi rozwiązaniami no-code, co jeszcze bardziej umożliwi użytkownikom tworzenie wszechstronnych aplikacji dla różnych branż.
