AI ๊ต์ก์ ์ํ robots.txt์ ์ ์ฌํ ํ๋กํ ํ์ ์์คํ ์ ์ํ Google Advocates
Google์ robots.txt ํ์ผ ๊ธฐ๋ฅ์ ๋ฏธ๋ฌ๋ฅผ ์์ฑํ์ฌ '์ ํฅ AI ๋ฐ ์ฐ๊ตฌ ์ฌ์ฉ ์ฌ๋ก์ ๋ํ ์น ๊ฒ์์ ์ ํ ๋ฐ ์ ์ด๋ฅผ ์ํ ๊ธฐ๊ณ ํ๋ ๊ฐ๋ฅ ์๋จ'์ ๊ตฌ์ถํ๊ณ ์ ํฉ๋๋ค.

๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ ๊ต์ก์ ์ฌ์ฉํ ์ ์๋ ๋ฐ์ดํฐ์ ์์ด ๊ธฐํ๊ธ์์ ์ผ๋ก ์ฆ๊ฐํจ์ ๋ฐ๋ผ Google '์น ๊ฒ์์๊ฐ ์๋ก์ด AI ๋ฐ ์ฐ๊ตฌ ์ฌ์ฉ ์ฌ๋ก๋ฅผ ์ ํํ๊ณ ์ ์ดํ๊ธฐ ์ํ ๊ธฐ๊ณ ํ๋ ๋ฐฉ๋ฒ'์ ๋ํ ๊ธด๊ธํ ํ์์ฑ์ ๊ฐ์กฐํ์ต๋๋ค. ์ด ์ ์์ ๊ฒ์ ์์ง์ ๋ํ ์จ๋ผ์ธ ๊ฐ์์ฑ์ ๊ด๋ฆฌํ๊ธฐ ์ํด ์์ญ ๋ ๋์ ์น ์ฌ์ดํธ์์ ์ฌ์ฉ๋ ๊ธฐ์กด์ robots.txt ํ์ผ๊ณผ ์ ์ฌํฉ๋๋ค.
์ด ์ ์๋ ๊ฐ๋ฐ์ ์น ๊ฒ์์์ ์์จ์ฑ์ ํ์ฅํ์ฌ ๋์งํธ ํ๊ฒฝ์์ ์ฝํ ์ธ ์ ๋ํ ๋ ๋ง์ ๊ถํ์ ํ์ฉํฉ๋๋ค. ์ด ๋ฐฉ๋ฒ๋ก ์ ์น์ฌ์ดํธ๊ฐ ์ฝํ ์ธ ๊ฐ ๊ฒ์ ์์ง์์ ๋ฐ๋ ๋ ธ์ถ ์ ๋๋ฅผ ์ง์ ํ ์ ์๋๋ก ํ๋ robots.txt ํ์ผ์ ๋ชฉ์ ์ ๋ฐ์ํ์ฌ ์ญ๋์ ์ด๊ณ ๊ฐ๋ ฅํ ์ํ๊ณ๋ฅผ ๋ณด์กดํ๋ ๋ฐ ํ์์ ์ธ ๋ถ๋ถ์ ํ์ฑํฉ๋๋ค.
AI ๊ต์ก์ ์ํ ์๋ก์ด ์์ค์ ์ ์ด๋ฅผ ์ด์งํ๊ธฐ ์ํด Google ํ๊ณ, ์๋ฏผ ์ฌํ, ์น ๊ฒ์์ ๋ฑ์ ์ ๋ฌธ ์ง์์ ํ์ฉํ์ฌ ๊ตญ์ ํ๋ ฅ์์์ ๊ด๊ณ๋ฅผ ๋ฐ์ ์ํค๋ ค๊ณ ํฉ๋๋ค. ์ด๋ฌํ ์ ์ธ๊ณ์ ์ธ ๋ ธ๋ ฅ์ AI ๊ธฐ๋ฐ ๋ฏธ๋์ ์๋ก์ด ์์๋ฅผ ์ถฉ์กฑํ๊ธฐ ์ํด ๋ณด์๊ฒ์๋ robots.txt ํ์ผ์ ํ๋ฆฝ๋ ๋ ผ๋ฆฌ๋ฅผ ๋ฐ์ ์ํค๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค. ๊ทธ๋ ๊ฒ ํจ์ผ๋ก์จ Google ๊ฑฐ์ 30๋ ๋ ์น ํ์ค์ ํธ๋ ์ด๋๋งํฌ์ธ ๋จ์์ฑ๊ณผ ํฌ๋ช ์ฑ์ ์ ์งํ ๊ณํ์ ๋๋ค.
ํ์ฌ Google ๋๊ตฌ ์์์์ Search Generative Experience ๋ฐ Bard ์๋ฃจ์ ์ ์๋ํ๋ฉฐ ํ์ฌ ์ฐจ์ธ๋ ๊ธฐ๋ณธ ๋ชจ๋ธ์ธ Gemini๋ฅผ ๊ต์กํ๋ ๊ณผ์ ์ ์์ต๋๋ค. ์ด ๋๊ตฌ ์ธํธ๋ AI ๊ต์ก์ ํนํ๋ ์ต์ ๋ฒ์ ์ robots.txt ๊ฐ๋ฐ์ ์ฃผ๋ํ๋ ค๋ ์๊ตฌ๋ฅผ ๋ท๋ฐ์นจํฉ๋๋ค.
์ด ๋ด๋ก ์ ์ด๊ธฐ ๋จ๊ณ๋ฅผ ํ์ํ๋ Google ๊ณต๊ฐ ํ ๋ก ์ ์ด์งํ๊ณ ์ดํด ๋น์ฌ์๊ฐ ์ด ์๋ก์ด ๋ฉ์ปค๋์ฆ์ ๊ฐ๋ฐ์ ์ฐธ์ฌํ๋ ค๋ ์๋๋ฅผ ๋ฑ๋กํ ์ ์๋๋ก ๋ฉ์ผ๋ง ๋ฆฌ์คํธ๋ฅผ ์์ํฉ๋๋ค. ํ์ฌ๋ AI ๋ฐ ์ฐ๊ตฌ ์์ญ์์ ์น ํผ๋ธ๋ฆฌ์ ์ ํ ๋ฐ ์ ์ด์ ๋ฏธ๋๋ฅผ ํ์ฑํ๊ธฐ ์ํ ๊ณต๋ ๋ ธ๋ ฅ์ ์์ํ๋ฉด์ ์์ผ๋ก ๋ช ๋ฌ ๋์ ๊ด๋ จ ์ดํด ๊ด๊ณ์๋ฅผ ์์งํ ๊ณํ์ ๋๋ค.
ํฅ๋ฏธ๋กญ๊ฒ๋ ์ง๋ ๋ช ๋ ๋์ AI ๊ธฐ์ ์ ๋ถ์์ ๋ชฉ๊ฒฉํ๋ฉด์ AppMaster ์ ๊ฐ์ ์๋ง์ ํ์ฅ ๊ฐ๋ฅํ no-code ํ๋ซํผ์ ์ด๋ฏธ ์์ฒด ์ํ๊ณ์์ ์ ์ฌํ ์ ์ด๋ฅผ ๊ตฌํํ๊ธฐ ์ํด ๋ ธ๋ ฅํ์ต๋๋ค. AI ๊ต์ก์ด ๊ณ์ ๋ฐ์ ํจ์ ๋ฐ๋ผ ํ๋ robots.txt์ ํด๋นํ๋ ๋๋ผ์ด๋ธ๊ฐ ์ด๋ป๊ฒ ๋ด๋ฌํฐ๋ธ๋ฅผ ํ์ฑํ๋์ง ์ง์ผ๋ณด๋ ๊ฒ์ ํฅ๋ฏธ๋ก์ธ ๊ฒ์ ๋๋ค.


