OpenAI, 1,000๋ง ๋ฌ๋ฌ์ Superalignment ๋ณด์กฐ๊ธ ๊ณต๊ฐ
OpenAI๋ ์ด์ง๋ฅ ์์คํ ์ ํ์ฉํ ์์ ํ ๊ดํ์ ๋ํ ์ฐ๊ตฌ๋ฅผ ์ฅ๋ คํ๊ธฐ ์ํด ์๊ธ ์ง์ ๊ณํ์ ์์ํ๊ณ ์์ผ๋ฉฐ, ์ด๋ ์ธ๊ฐ์ ์ดํด๋ฅผ ๋ฐ์ด๋๋ AI์ ๋ฏธ๋ ๋๋๋ฅผ ์์ํ๊ณ ํ๊ฐ ๋ฉ์ปค๋์ฆ์ ํ์์ฑ์ ๊ฐ์กฐํฉ๋๋ค.

๊ฑฐ๋ ๊ธฐ์ ๊ธฐ์ ์ธ OpenAI ์ด์ง๋ฅ ์์คํ ์ ์์ ํ ์๋์ ๋ณด์ฅํ๋ ๋ฐ ์ฐธ์ฌํ๋ ๊ธฐ์ ์ ์ค์ฌ์ผ๋ก ๊ตฌ์ฑ๋ ์๋ก์ด ๋ณด์กฐ๊ธ ํ๋ก๊ทธ๋จ์ ์์ํ์ต๋๋ค. ์ด๋ฌํ ๋ฐ์ ์ ํ์ฌ๊ฐ ์ฐ๋ฆฌ ์์ ๋ด์ ์ด์ง๋ฅ์ ์ถํ์ ์์ํ๊ณ ๊ทธ๋ฌํ ๋ฏธ๋ ๋ฐ์ ์ ๋์์ด ๋๋ ๊ฐํ๋ ์์ ํ๋กํ ์ฝ์ ๋ํ ๊ธด๊ธํ ํ์์ฑ์ ์ด๋ฐํจ์ ๋ฐ๋ผ ์ด๋ฃจ์ด์ก์ต๋๋ค.
์ด๋ฌํ ํ์ ์ ์ธ AI ์๋๊ฐ ๋ค๊ฐ์ด์ ๋ฐ๋ผ OpenAI ์ธ๊ฐ์ ์ดํด๋ฅผ ํผํ ์ ์๋ ๋ณต์กํ๊ณ ์ฐฝ์์ ์ธ ์์ ์ ์ํํ ์ ์๋ ๋ฅ๋ ฅ์ ๊ฐ์ถ ์ด๋ฌํ ์ ๊ตฌ์ ์ธ ๋ฏธ๋ ์์คํ ์ ๊ตฌ์ํฉ๋๋ค.
ํ์ฌ AI ์์คํ ์ ์ฌ์ฉ๋๋ ์์ ์กฐ์น๋ ์ฃผ๋ก ์ธ๊ฐ ํผ๋๋ฐฑ ์์ธก ๊ฐํ ํ์ต(RLHF)์ ๊ฐ์กฐํ๋ ํ๋ก์ธ์ค์ธ ์ ๋ ฌ์ ์ค์ฌ์ผ๋ก ์ด๋ฃจ์ด์ง๋๋ค. ์ด ๋ฐฉ๋ฒ์ ์ค์ํ ์ธ๊ฐ ๊ฐ๋ ์ญํ ์ ๋ฌ๋ ค ์์ผ๋ฉฐ ์ด์ง๋ฅ AI๊ฐ ๊ณ ๋๋ก ๋ฐ์ ๋ ์์ ์ ๊ฐ๋ฐ ๋ฐ ์คํ์ ์ถ์งํ๋ ์๋๋ฆฌ์ค์์๋ ์ ์ฌ์ ์ผ๋ก ํ๋ค๋ฆด ์ ์์ต๋๋ค. ์๋ฐฑ๋ง ๊ฐ์ ์ฝ๋ ๋ผ์ธ์ ์์ฑํ๋ AI ํ๋กํ ํ์ ์ ์๊ฐํด ๋ณด์ธ์. ์ธ๊ฐ์ด ์ ์ฒด๋ฅผ ์ฒด๊ณ์ ์ผ๋ก ํ๊ฐํ๋ค๋ ๊ฒ์ ๋งค์ฐ ์ด๋ ค์ด ์ผ์ด ๋ ๊ฒ์ ๋๋ค.
ํ์ฌ๋ ์ฆ๊ฐ์ ์ธ ์ฃผ์๊ฐ ํ์ํ ๋ช ํํ ๋์ ๋ฅผ ๊ฐ์กฐํ์ต๋๋ค. ์ธ๊ฐ์ด ์ด๋ป๊ฒ ์์ ๋ณด๋ค ํจ์ฌ ๋ ์ง๋ฅ์ ์ธ AI ์์คํ ์ ์ง์ํ๊ณ ์ ๋ขฐ๋ฅผ ๊ตฌ์ถํ ์ ์์ต๋๊น? OpenAI ์ด๋ฅผ ์ธ๊ณ์์ ๊ฐ์ฅ ์๊ธํ๊ณ ํด๊ฒฐ๋์ง ์์ ๊ธฐ์ ์ ๋์ ์ค ํ๋๋ก ์๋ณํ๋ฉด์ ๊ธ์ ์ ์ธ ์ ๋ง์ ์ ์งํ๋ฉฐ ์๋ฃจ์ ๋ฐ๊ฒฌ์ ํฅํ ๊ธธ์ ์ ํํ๊ธฐ์ ์ ํฉํ ์๋ง์ ์ ๋งํ ์ ๊ทผ ๋ฐฉ์์ผ๋ก ํฉ์ด์ ธ ์๋ค๋ ์ ์ ๊ฐ์กฐํฉ๋๋ค.
๊ธฐ์ ํ์ฌ์ ๋นํ์ ๊ธฐ๊ณ ํ์ต ์ฐ๊ตฌ ์ปค๋ฎค๋ํฐ์ ๊ฐ๋ณ ์ฐ๊ตฌ์ ์์ ์ค์ํ ๊ธฐํ๋ฅผ ์ฆํญ์ํฌ ๋ฟ๋ง ์๋๋ผ ์ด ๋ถ์ผ์ ์ฆ๊ฐ์ ์ธ ํ๊ตฌ์ ๊ฐ๋ฅํ ์ฑ๊ณผ ๋ํ๊ตฌ์ ๋ํ ๊ด์ฌ์ ๋ถ๋ฌ์ผ์ผํต๋๋ค.
์ด๋ฌํ ์ฐ๊ตฌ ์ฌ์ ์ ๋์ฑ ๊ฐํํ๊ธฐ ์ํด OpenAI ๋น์ ์ด ์๋ Superalignment ๋ณด์กฐ๊ธ ํ๋ก๊ทธ๋จ์ ์๋ฆฝํ๋ ๋ฐ ์ ๊ทน์ ์ธ ์กฐ์น๋ฅผ ์ทจํ์ฌ ๊ธ๊ณ ์ 1,000๋ง ๋ฌ๋ฌ๋ฅผ ํฌ์ ํ์ต๋๋ค. ํ์ ์ฐ๊ตฌ์ค, ๋น์๋ฆฌ ๋จ์ฒด, ๊ฐ์ธ ์ฐ๊ตฌ์์๊ฒ๋ 10๋ง ๋ฌ๋ฌ์์ 200๋ง ๋ฌ๋ฌ๊น์ง ํ ๋น๋ ๊ฒ์ผ๋ก ์์๋ฉ๋๋ค. ์ด ์ธ์๋ ํ์ฌ๋ ๋ํ์ ์ฅํ์์ ์ํด 1๋ ๋์ 150,000๋ฌ๋ฌ์ ์ฅํ๊ธ์ ํ ๋นํ์ฌ ์ฐ๊ตฌ ์๊ธ๊ณผ ๊ธ์ฌ๋ฅผ ์ ๊ณตํ๊ธฐ ์ํด ์๊ธ์ ๋ ๋ถ๋ถ์ผ๋ก ๋๋ด์ต๋๋ค.
๊ณ ๋ฌด์ ์ธ ๊ณ์์์ OpenAI ๊ฐ๋ฐฉ์ ์ธ ์ ์ฑ ์ ๋ณด์ฌ์ฃผ๊ณ , ์ ๋ ฌ์ ๋ํ ์ฌ์ ๊ฒฝํ์ด ์๋ ์ฐ๊ตฌ์์ ์ง์์ ํ์ํฉ๋๋ค. ์ด๋ ํ์ฌ์ ํฌ์ฉ์ฑ ์ ์ ๊ณผ ์๋ก์ด ๊ด์ ์ฅ๋ ค์ ๋ํ ์ฆ๊ฑฐ์ ๋๋ค.
OpenAI ์ด์ฑ์ ์ธ ์ง์์๋ฅผ ์ํ ๊ธธ์ ์ด์ด 2์ 18์ผ๊น์ง ์ง์์๋ฅผ ๊ณ์ ์ด์ด๋ ์์ ์ด๋ฉฐ, ์ง์ ๋ง๊ฐ ๋ง๊ฐ์ผ๋ก๋ถํฐ ํ ๋ฌ ์ด๋ด์ ์ง์์์๊ฒ ๋ณต๊ทํ๋ ๊ฒ์ ๋ชฉํ๋ก ํ๊ณ ์์ต๋๋ค.
์๋ก์ด ๋ณด์กฐ๊ธ ์ด๋์ ํฐ๋ธ๋ ์ง๋ 7์ ๊ณต๊ฐ๋ OpenAI ์ ๊ด๋ฒ์ํ Superalignment ํ๋ก์ ํธ์ ๋ค๋ฅผ ์ด์ด ๋์จ ๊ฒ์ ๋๋ค. ์ด ์ผ์ฌ์ฐฌ ํ๋ก์ ํธ์ ์ผํ์ผ๋ก ํ์ฌ๋ ์๋ก์ด ๋ด๋ถ ํ์ ๊ตฌ์ฑํ์ฌ ์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ํฅํ 4๋ ๋์ ์ฒ๋ฆฌ ์ฉ๋์ 20%๋ฅผ ์ฝ์ํ์ต๋๋ค. ๊ฐ์ฅ ์ค์ํ ๋ชฉํ๋ ์ธ๊ฐ์ ์ ๋ ฌ ์ฐ๊ตฌ ๋ฅ๋ ฅ์ ํ์ค์ ์ผ๋ก ๋ณต์ ํ๋ ์ด์ง๋ฅ ์์คํ ์ ๊ฐ๋ฐํ๋ ๊ฒ์ ๋๋ค.


