Meta เดิมชื่อ Facebook ได้เปิดตัว Open Pretrained Transformer (OPT-175B) ซึ่งเป็นโมเดล AI ภาษาที่กว้างขวางซึ่งมีพารามิเตอร์มากกว่า 100 พันล้านพารามิเตอร์ การพัฒนาที่โดดเด่นนี้แสดงถึงความพยายามของยักษ์ใหญ่ด้านเทคโนโลยีในการทำให้การเข้าถึงการวิจัย AI ที่ทันสมัยเป็นประชาธิปไตย ดังที่ได้อธิบายไว้ในบล็อกโพสต์ล่าสุดของพวกเขา
ภายใต้ใบอนุญาตที่ไม่ใช่เชิงพาณิชย์ แบบจำลองจะพร้อมใช้งานสำหรับวัตถุประสงค์ในการวิจัยเป็นหลัก การเข้าถึงจะมอบให้กับนักวิจัยทางวิชาการ เช่นเดียวกับรัฐบาล ภาคประชาสังคม และห้องปฏิบัติการวิจัยอุตสาหกรรมทั่วโลก อย่างไรก็ตาม ขอบเขตการเข้าถึงสำหรับนักวิจัยยังคงไม่แน่นอน ผู้ที่สนใจใช้งานโมเดลสามารถกรอกแบบฟอร์มคำขอ
ทำความเข้าใจโมเดลภาษาขนาดใหญ่
โมเดลภาษาขนาดใหญ่คือระบบประมวลผลภาษาธรรมชาติขั้นสูง ซึ่งได้รับการฝึกฝนเกี่ยวกับข้อความจำนวนมหาศาลเพื่อสร้างเนื้อหาที่สร้างสรรค์และสอดคล้องกันในรูปแบบต่างๆ โมเดลดังกล่าวสามารถสร้างบทความข่าว บทสรุปทางกฎหมาย บทภาพยนตร์ และแม้แต่ทำหน้าที่เป็นแชทบอทบริการลูกค้า
GPT-3 ของ OpenAI เป็นหนึ่งในโมเดลภาษาขนาดใหญ่ชั้นนำของอุตสาหกรรม ซึ่งมีพารามิเตอร์มากกว่า 175 พันล้านพารามิเตอร์สำหรับการใช้งานส่วนบุคคลและเชิงพาณิชย์ ในทำนองเดียวกัน OPT-175B ของ Meta ไม่เพียงแต่ให้โมเดลภาษาขนาดใหญ่เท่านั้น แต่ยังให้โค้ดเบสที่มาพร้อมกัน และเอกสารที่ครอบคลุมซึ่งให้รายละเอียดกระบวนการฝึกอบรม Meta ได้เปิดตัวชุดโมเดลพื้นฐานขนาดเล็กที่มีพารามิเตอร์น้อยลง
การจัดการรอยเท้าคาร์บอนของการเรียนรู้เชิงลึก
การวิจัย AI ที่เป็นนวัตกรรมใหม่ส่วนใหญ่ขับเคลื่อนโดยบริษัทเทคโนโลยีรายใหญ่ เช่น Google, Meta, Microsoft และ Nvidia การฝึกอบรมและการใช้งานโมเดล AI ขนาดใหญ่ต้องใช้พลังและพลังงานในการคำนวณจำนวนมหาศาล ส่งผลให้มีค่าใช้จ่ายจำนวนมากและอาจมีการปล่อยก๊าซคาร์บอนไดออกไซด์ในปริมาณมาก การศึกษาในปี 2019 โดย Roy Schwartz และ Jesse Dodge เปิดเผยว่าการคำนวณการเรียนรู้เชิงลึกเพิ่มขึ้นสองเท่าทุก ๆ สองสามเดือน ทำให้เพิ่มขึ้นประมาณ 300,000 เท่าตั้งแต่ปี 2012 ถึง 2018 และส่งผลกระทบต่อสิ่งแวดล้อมอย่างมาก
Meta อ้างว่าได้แก้ไขปัญหาคาร์บอนโดยการลดรอยเท้าคาร์บอนของ OPT-175B ให้เหลือหนึ่งในเจ็ดของ GPT-3 ของ OpenAI บริษัทกล่าวว่าได้ฝึกโมเดลนี้บน GPU Nvidia A100 จำนวน 992 ตัว (ตัวละ 80 กิกะไบต์) โดยปล่อยคาร์บอนทั้งหมดเพียง 75 ตัน เทียบกับ GPT-3 ที่ประมาณ 500 ตัน OpenAI ยังไม่ได้แสดงความคิดเห็นเกี่ยวกับการเรียกร้องเหล่านี้
ผลกระทบในอนาคต
คาดหวังที่จะเห็นนวัตกรรมการวิจัยการเรียนรู้เชิงลึกเพิ่มขึ้นด้วยการประกาศล่าสุดของ Meta อย่างไรก็ตาม ควบคู่ไปกับความก้าวหน้าทางเทคโนโลยี คำถามด้านจริยธรรมเกี่ยวกับการใช้ AI อย่างมีความรับผิดชอบจะต้องได้รับการพิจารณาทั่วโลก Meta แบ่งปันความหวังที่ว่าชุมชน AI ซึ่งรวมถึงนักวิจัยทางวิชาการ ภาคประชาสังคม ผู้กำหนดนโยบาย และผู้เชี่ยวชาญด้านอุตสาหกรรม จะร่วมกันค้นหาคำตอบ เมื่อเครื่องมือที่ทรงพลังอย่าง OPT-175B ปรากฏขึ้น การเข้าถึงนวัตกรรม AI แบบประชาธิปไตยก็นำเสนอโอกาสสำหรับแพลตฟอร์มอย่าง AppMaster ในการผสานรวมความก้าวหน้าดังกล่าวเข้ากับโซลูชัน no-code ของตนเอง ซึ่งช่วยให้ผู้ใช้พัฒนาแอปพลิเคชันที่ครอบคลุมสำหรับอุตสาหกรรมต่างๆ ได้มากขึ้น
