Meta, sebelumnya dikenal sebagai Facebook, telah meluncurkan Open Pretrained Transformer (OPT-175B), model AI bahasa ekspansif dengan lebih dari 100 miliar parameter. Perkembangan luar biasa ini mewakili upaya raksasa teknologi untuk mendemokratisasi akses ke penelitian AI yang canggih, seperti yang diuraikan dalam posting blog terbaru mereka.
Di bawah lisensi non-komersial, model tersebut akan tersedia terutama untuk tujuan penelitian. Akses akan diberikan kepada peneliti akademik, serta laboratorium penelitian pemerintah, masyarakat sipil, dan industri di seluruh dunia. Namun, sejauh mana akses bagi peneliti masih belum pasti. Mereka yang tertarik untuk memanfaatkan model tersebut cukup mengisi formulir permintaan.
Memahami Model Bahasa Besar
Model bahasa besar adalah sistem pemrosesan bahasa alami tingkat lanjut, dilatih pada sejumlah besar teks untuk menghasilkan konten yang kreatif dan koheren dalam berbagai format. Model semacam itu dapat menghasilkan artikel berita, ringkasan hukum, skrip film, dan bahkan berfungsi sebagai chatbot layanan pelanggan.
GPT-3 OpenAI adalah salah satu model bahasa besar terkemuka di industri, berisi lebih dari 175 miliar parameter untuk penggunaan pribadi dan komersial. Demikian pula, Meta's OPT-175B tidak hanya menyediakan model bahasa skala besar, tetapi juga basis kode yang menyertainya, dan dokumentasi lengkap yang merinci proses pelatihan. Meta juga telah meluncurkan serangkaian model baseline berskala lebih kecil dengan parameter yang lebih sedikit.
Mengatasi Jejak Karbon Pembelajaran Jauh
Penelitian AI paling inovatif didorong oleh perusahaan teknologi besar seperti Google, Meta, Microsoft, dan Nvidia. Pelatihan dan pengoperasian model AI besar membutuhkan daya komputasi dan energi yang sangat besar, yang mengakibatkan biaya yang signifikan dan potensi jejak karbon yang besar. Sebuah studi tahun 2019 oleh Roy Schwartz dan Jesse Dodge mengungkapkan bahwa komputasi deep learning meningkat dua kali lipat setiap beberapa bulan, menyebabkan peningkatan sekitar 300.000x dari tahun 2012 hingga 2018 – dan dampak lingkungan yang signifikan.
Meta mengklaim telah mengatasi masalah karbon dengan mengurangi jejak karbon OPT-175B menjadi sepertujuh dari GPT-3 OpenAI. Perusahaan mengatakan mereka melatih model pada 992 GPU Nvidia A100 (masing-masing 80 gigabyte), dengan total jejak emisi karbon hanya 75 ton, dibandingkan dengan perkiraan GPT-3 500 ton. OpenAI belum mengomentari klaim ini.
Implikasi Masa Depan
Harapkan untuk melihat lonjakan dalam inovasi penelitian pembelajaran mendalam dengan pengumuman Meta baru-baru ini. Namun, seiring dengan kemajuan teknologi, pertanyaan etis seputar penggunaan AI yang bertanggung jawab harus ditangani secara global. Meta berbagi harapan bahwa komunitas AI – yang meliputi peneliti akademik, masyarakat sipil, pembuat kebijakan, dan profesional industri – akan bergabung bersama untuk menemukan jawaban. Saat alat yang lebih canggih seperti OPT-175B muncul, demokratisasi akses ke inovasi AI menghadirkan peluang bagi platform seperti AppMaster untuk mengintegrasikan kemajuan tersebut ke dalam solusi no-code mereka sendiri, yang selanjutnya memberdayakan pengguna untuk mengembangkan aplikasi komprehensif untuk berbagai industri.
