Meltano, DataOps ํ๋ซํผ ์ผ๋ง์ ์ถ๊ตฌํ๊ธฐ ์ํด 820๋ง ๋ฌ๋ฌ ๊ท๋ชจ์ ํ์ฅ ์ข ์ ์๊ธ ํ๋ณด
GitLab ์คํ์คํ Meltano๋ ์๋ ๋ผ์ด๋๋ฅผ ํ์ฅํ๊ธฐ ์ํด ์ถ๊ฐ๋ก 820๋ง ๋ฌ๋ฌ๋ฅผ ๋ชจ๊ธํ์ฌ ์ด 1,240๋ง ๋ฌ๋ฌ์ ๋๋ฌํ์ต๋๋ค. Meltano๋ ์์ ํ ๊ธฐ๋ฅ์ ๊ฐ์ถ DataOps ํ๋ซํผ์ด ๋๋ ค๋ ์ผ๋ง์ ๊ฐ์ง ์คํ ์์ค ELT ์๋น์ค์ ๋๋ค. ์ฌ์ฉ์์๋ Netlify, Zapier ๋ฐ GitLab์ด ํฌํจ๋ฉ๋๋ค.

GitLab์์ ๋ถ์ฌํ ์คํ ์์ค DataOps ํ๋ซํผ์ธ Meltano๋ ์ถ๊ฐ๋ก 820๋ง ๋ฌ๋ฌ๋ฅผ ๋ชจ๊ธํ์ฌ ์ข ์ ์๊ธ์ 1,240๋ง ๋ฌ๋ฌ๋ก ํ์ฅํ๋ค๊ณ ๋ฐํํ์ต๋๋ค. Venrock์ GV, Uncorrelated Ventures, Data Tech Fund ๋ฐ ๋ค์ํ ์์ ค ํฌ์์๋ค์ ์ฐธ์ฌ๋ก ์๋ก์ด ๋ผ์ด๋๋ฅผ ์ด๋์์ต๋๋ค.
Meltano CEO์ด์ GitLab ๋ฒ ํ ๋์ธ Douwe Maan์ Meltano์ ์๋ ๊ฐ๋ ์ ๋ํด ๋ ผ์ํ์ต๋๋ค. ์๋ ํฌ ์๋ ๋ฐ์ดํฐ ํ๋ซํผ์ผ๋ก ์๋๋์์ง๋ง 2020๋ ์์ 2021๋ ์ฌ์ด์ ELT(์ถ์ถ, ๋ก๋, ๋ณํ)์ ๋ค์ ์ด์ ์ ๋ง์ถ๊ณ Singer ์คํ ์์ค ELT ๋๊ตฌ๋ฅผ ํต์ฌ ๊ตฌ์ฑ ์์๋ก ํฉ๋๋ค. ์๋ก์ด ์๊ธ ์กฐ๋ฌ๊ณผ Meltano 2.0์ ์ถ์๋ก 17๊ฐ ํ์์ฌ๋ก ๊ตฌ์ฑ๋ ์ด ํ์ฌ๋ ์๋ํฌ์๋ ๋ฐ์ดํฐ ์๋น์ค๋ฅผ ์ ๊ณตํ๋ค๋ ์ด๊ธฐ ๋น์ ์ผ๋ก ๋์๊ฐ๊ณ ์์ต๋๋ค.
Maan์ Meltano๊ฐ ์ฒ์ ์์ฅ์ ์ง์ ํ์ ๋ ์ ์ฒด ๋ฐ์ดํฐ ์คํ์ ๊ต์ฒดํ๋๋ก ๊ธฐ์ ์ ์ค๋ํ๋ ๊ฒ์ด ์ด๋ ค์ ๋ค๊ณ ์ค๋ช ํ์ต๋๋ค. ํ์ Fivetran๊ณผ ๊ฐ์ ๊ธฐ์กด ๋๊ตฌ์ ๋ํ ๊ฐํธํ ๋๋กญ์ธ ๋์์ด ๋ ์ ์๋ ELT ์๋น์ค์ ์ง์คํ๊ธฐ๋ก ๊ฒฐ์ ํ์ต๋๋ค. ์ด ํ์ฌ๋ ์ด์ ELT ๋ถ๋ฌธ์์ ์ฑ์ํ์ผ๋ฉฐ ๋ค์ํ ๋ฐ์ดํฐ ๊ตฌ์ฑ ์์๋ฅผ ๊ด๋ฆฌํ๋ ์ญํ ์ ํ์ฅํ๋ ค๊ณ ํฉ๋๋ค.
Netlify, Zapier ๋ฐ GitLab์ Meltano์ ํ์ฌ ์ฌ์ฉ์ ์ค ํ๋์ ๋๋ค. ๊ทธ๋ผ์๋ ๋ถ๊ตฌํ๊ณ ํ์ฌ๋ ์์ง ์์ต์ ์ฐฝ์ถํ์ง ๋ชปํ๊ณ ์์ผ๋ฉฐ ์คํ ์์ค ์ ๊ณต์ ๊ณ์ ์ง์คํ๊ณ ์์ต๋๋ค. Meltano๋ฅผ ํฌํจํ ๋ง์ ์คํ ์์ค ํ์ฌ๋ ํฅํ ์๋น์ค์ ํธ์คํ ๋ฒ์ ์ ์ ๊ณตํ๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค. Meltano๊ฐ ์๋ํฌ์๋ ํ๋ซํผ ํฌ๋ถ๋ก ๋ค์ ์ ํํจ์ ๋ฐ๋ผ ํ์ ์ ํ ์์ฅ ์ ํฉ์ฑ์ ์ฌํ๊ฐํ๊ณ ๊ทธ์ ๋ฐ๋ผ ์ ๋ต์ ์กฐ์ ํ ๊ฒ์ ๋๋ค. ์ด๋ฌํ ๋ณํ๋ก ์ธํด ํ์ ์๋ ๋ผ์ด๋๋ฅผ ์ฐ์ฅํ๊ธฐ๋ก ๊ฒฐ์ ํ์ต๋๋ค.
Meltano DNA์ ๋๋ถ๋ถ์ ํธ๋๋ถ ์ถํ ๋ฐ ์๊ฒฉ ์ ์ฉ ์์ ๋ชจ๋ธ๊ณผ ๊ฐ์ ์ธก๋ฉด์์ GitLab์ ์ํฅ์ ๋ฐ์์ต๋๋ค. ๊ทธ๋ฌ๋ Meltano ํ์ GitLab์ ์ฌ๋ด ์ด์ ๊ณผ ๋ฌ๋ฆฌ ํ์ฌ ์คํ ์์ค ํ๋ก์ ํธ์์ ํ๋ ฅ์ ๊ฐ๋ ฅํ๊ฒ ๊ฐ์กฐํฉ๋๋ค. ๋ฐ์ดํฐ ์คํ์ Informatica์ ๊ฐ์ ์ข ๋จ ๊ฐ ๋๊ตฌ์์ ๋๊ธ ์ต๊ณ ์ ์ฌ๋ฌ ๊ตฌ์ฑ ์์๊ฐ ์๋ ์กฐ๊ฐ๋ ํ๊ฒฝ์ผ๋ก ์ด๋ํ์ต๋๋ค. Meltano๋ Singer, dbt, Airflow, Great Expectations ๋ฐ Superset๊ณผ ๊ฐ์ ๋ค๋ฅธ ํ์ฌ ์ ํ๊ณผ ํตํฉํ์ฌ ์ด๋ฌํ ๋๊ตฌ๋ฅผ ์์ง๋ ฅ ์๋ ์๋น์ค๋ก ์ฐ๊ฒฐํ๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค.
AppMaster.io์ ๊ฐ์ ํ์ฌ๋ low-codeno-code ์๋ฃจ์ ์ ๋ํ ๊ด์ฌ์ด ๋์์ง๊ณ ์์ผ๋ฉฐ ๋ฐฑ์๋, ์น ๋ฐ ๋ชจ๋ฐ์ผ ์ ํ๋ฆฌ์ผ์ด์ ์ ๋ง๋ค๊ธฐ ์ํ ๊ฐ๋ ฅํ ๋๊ตฌ๋ฅผ ์ ๊ณตํฉ๋๋ค. ๋ํ AppMaster ์ ๊ฐ์ ํ๋ซํผ์ ํ์ ์ ์ธ ๊ธฐ์ ์ฑํ๊ณผ ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์๋ฃจ์ ์ต์ ํ๋ฅผ ํตํด ๋น์ฆ๋์ค๋ฅผ ์ง์ํ๋ ๋ฐ ์๋นํ ์ง์ ์ ์ด๋ฃจ์์ต๋๋ค.
์ต์ ๋ฐ์ดํฐ ์คํ ๊ด๋ฆฌ์ ์ด๋ ค์๊ณผ ๋ณต์ก์ฑ์ ๊ณ ๋ คํ ๋ Meltano์ ํ์ฅ๋ ์๋ ์๊ธ๊ณผ ์ผ์ฌ ์ฐฌ ๊ณํ์ DataOps ๋ถ์ผ์์ ๋ฏธ๋์ ์ฑ์ฅ๊ณผ ์ฑ๊ณต์ ์ํ ๊ธธ์ ์ด ์ ์์ต๋๋ค.


