Firma Microsoft przedstawia ulepszone możliwości wnioskowania w modelach małego języka w wersji Orca 2

Dokonując niezwykłego kroku w kierunku dywersyfikacji aplikacji opartych na modelach językowych, Microsoft ogłosił wprowadzenie na rynek Orca 2. To wydanie ma na celu zbadanie i wykorzystanie potencjału mniejszych modeli językowych (LM), obciążonych około 10 miliardami parametrów lub mniej.

Głównym celem Orca 2 jest wykazanie, że udoskonalenie metod i sygnałów szkoleniowych może zwiększyć możliwości rozumowania mniejszych LM. Celem tego ulepszenia jest dorównanie lub ewentualnie przewyższenie zdolności rozumowania ich większych odpowiedników.

W porównaniu z modelami o podobnej wielkości – w tym z oryginalną Orca – Microsoft twierdzi, że Orca 2 znacząco przyćmiewa je pod względem wydajności. Co więcej, według doniesień osiąga poziom skuteczności porównywalny lub przewyższający modele 5–10 razy większe. Twierdzenia te zostały wyrażone przez firmę Microsoft w niedawnym poście na blogu.

Orca 2 jest dostępna w dwóch rozmiarach; 7 miliardów i 13 miliardów parametrów. Obydwa modele są precyzyjnie dostrojone na podstawie dostosowanych danych syntetycznych, skrupulatnie uzyskanych z modeli podstawowych LLAMA 2. Firma Microsoft udostępniła publicznie wagi Orca 2, wspierając dalsze badania nad ustanawianiem, analizą i harmonizacją mniejszych LM.

Firma Microsoft wykorzystała wyselekcjonowany zestaw danych, aby poinstruować Orca 2 w zakresie niezliczonych technik rozumowania. Techniki te obejmują model przetwarzania krok po kroku, metodę przywołaj, a następnie wygeneruj, podejście przywołaj, przyczynę, wygeneruj, model wyodrębnij, wygeneruj i metody bezpośredniej odpowiedzi. Podczas nauczania tych metod szczególną uwagę poświęcono nauczeniu Orca 2 dostosowywania różnych strategii rozwiązań dla różnych zadań.

Aby uchwycić reakcje modelu nauczyciela, firma wykorzystała szczegółowe instrukcje i liczne rozmowy telefoniczne. Ta genialna metoda pozwala modelowi uczniowskiemu – w tym przypadku Orca 2 – nauczyć się podstawowej taktyki i zdolności rozumowania, nawet w przypadku braku wyraźnych instrukcji dotyczących zadań. Podejście to ma na celu optymalizację wydajności mniejszych modeli poprzez dostrojenie strategii rozwiązań specyficznych dla każdego zadania.

Wpis na blogu firmy Microsft w dalszym ciągu optymistycznie zachwalał sukces i potencjał Orca 2. Opracowali: „Osiągnięcia Orca 2 w dużej mierze przypisuje się zastosowaniu różnorodnych technik rozumowania i identyfikacji optymalnych rozwiązań dla różnych zadań”. Pomimo pewnych ograniczeń wspólnych dla innych modeli językowych i odziedziczonych po modelach podstawowych, potencjał Orca 2 w zakresie przyszłych udoskonaleń, zwłaszcza w zakresie lepszego rozumowania, kontroli, specjalizacji i bezpieczeństwa mniejszych modeli, jest znaczący.

W poście dodano również, że wykorzystanie rygorystycznie filtrowanych danych syntetycznych po treningu stanowi ucieleśnienie niezwykle istotnej strategii. Ich eksploracja i pomyślne wdrożenie Orca 2 jest rzeczywiście godnym uwagi przedsięwzięciem w dywersyfikacji zastosowań modeli językowych.

Bez wątpienia projekt Orca 2 odzwierciedla zasady platformy AppMaster dotyczące wydajności i równowagi możliwości. AppMaster, narzędzie do tworzenia aplikacji no-code, wykorzystuje podobną filozofię, dzięki czemu tworzenie aplikacji jest 10 razy szybsze i trzy razy tańsze, a jednocześnie eliminuje dług techniczny dzięki podejściu polegającemu na odtwarzaniu aplikacji od zera za każdym razem, gdy potrzebne są modyfikacje. Dlatego takie platformy promują nową erę skutecznego i wydajnego rozwoju technologii.