์น์ฌ์ดํธ ๊ฐ๋ฐ ๊ณผ์ ์์ "Robots.txt"๋ ์น์ฌ์ดํธ ๊ฐ๋ฐ์์ ๊ด๋ฆฌ์๊ฐ ์์ฑํ์ฌ ์น์ฌ์ดํธ์ ๋ฃจํธ ๋๋ ํฐ๋ฆฌ์ ์ ์ฅํ๋ ํ ์คํธ ํ์ผ์ ์๋ฏธํฉ๋๋ค. ์ด ํ์ผ์ ๋ก๋ด, ์คํ์ด๋ ๋๋ ๊ฒ์ ์์ง ๋ด์ด๋ผ๊ณ ๋ ํ๋ ์น ํฌ๋กค๋ฌ์ ๋ํ ์ผ๋ จ์ ์ง์นจ ๋๋ ์ง์นจ ์ญํ ์ ํ๋ฉฐ ์ด๋ฌํ ํฌ๋กค๋ฌ๊ฐ ์น ์ฌ์ดํธ์์ ํธ์คํ ๋๋ ํ์ด์ง ๋ฐ ๋ฆฌ์์ค์ ์ํธ ์์ฉํ๋ ๋ฐฉ๋ฒ์ ์ ์ํฉ๋๋ค.
Google, Bing, Yahoo์ ๊ฐ์ ๊ฒ์ ์์ง์์ ์ฌ์ฉํ๋ ์น ํฌ๋กค๋ฌ๋ ์ธํฐ๋ท ์ ์ฒด์ ์น์ฌ์ดํธ์ ๋ํ ์์ธ์ ์์ฑํ์ฌ ๊ฒ์ ๊ฒฐ๊ณผ์์ ํด๋น ์น์ฌ์ดํธ์ ์์์ ๊ด๋ จ์ฑ์ ๊ฒฐ์ ํฉ๋๋ค. ๋ง์ ๊ฒฝ์ฐ ์น์ฌ์ดํธ ๊ฐ๋ฐ์๋ ์น์ฌ์ดํธ์ ๊ฐ์์ฑ๊ณผ ๊ฒ์ ์ฑ๋ฅ์ ๊ฐํํ๊ธฐ ์ํด ํฌ๋กค๋ง ๋ฐ ์์ธ ์์ฑ ํ๋ก์ธ์ค๋ฅผ ์ต์ ํํ๋ ค๊ณ ํฉ๋๋ค. ๋ค๋ฅธ ๊ฒฝ์ฐ์๋ ์ฌ์ดํธ์ ํน์ ์น์ ์ ํฌ๋กค๋ง์์ ์จ๊ฒจ์ง๋๋ก ์ง์ ํ๊ฑฐ๋ ํน์ ์น ํฌ๋กค๋ฌ์ ์ก์ธ์ค๋ฅผ ์์ ํ ์ ํํ ์๋ ์์ต๋๋ค. Robots.txt ํ์ผ์ ๊ตญ์ ์ปค๋ฎค๋ํฐ์์ ์น์ธํ ํ์คํ๋ ๋ฉ์ปค๋์ฆ, ์น ํฌ๋กค๋ฌ๊ฐ ์ฌ์ดํธ๋ฅผ ๋ฐฉ๋ฌธํ ๋ ์ค์ํ๋ ๋ก๋ด ์ ์ธ ํ์ค์ ์ ๊ณตํ๋ฏ๋ก ๋ ๊ฐ์ง ๋ชฉํ๋ฅผ ๋ฌ์ฑํ๋ ๋ฐ ๋งค์ฐ ์ค์ํฉ๋๋ค.
Robots.txt ํ์ผ์ ๋ด์ฉ์ ์ผ๋ฐ์ ์ผ๋ก ๋์ ์น ํฌ๋กค๋ฌ๋ฅผ ์๋ณํ๋ "User-agent" ๋ผ์ธ์ผ๋ก ์๋ ค์ง ํ๋ ์ด์์ ์ง์๋ฌธ ์ธํธ๋ก ๊ตฌ์ฑ๋๋ฉฐ, ๊ทธ ๋ค์๋ ๊ด๋ จ ์ ํ ์ฌํญ์ ๋ํ๋ด๋ "Disallow" ๋ฐ "Allow" ๋ผ์ธ์ด ์ต๋๋ค. ๊ถํ. ํนํ "ํ์ฉ ์ ํจ" ์ค์ ์น ํฌ๋กค๋ฌ๊ฐ ์ก์ธ์คํด์๋ ์ ๋๋ URL ํจํด์ด๋ ๊ฒฝ๋ก๋ฅผ ์๋ณํ๋ ๋ฐ๋ฉด, "ํ์ฉ" ์ค์ ์น ํฌ๋กค๋ฌ๊ฐ ํ์ํ ์ ์๋ URL ํจํด์ด๋ ๊ฒฝ๋ก๋ฅผ ์ง์ ํฉ๋๋ค. ์ค์ํ ์ ์ Robots.txt ํ์ผ์ ์ง์นจ๋ง ์ ๊ณตํ๋ฉฐ ์น ํฌ๋กค๋ฌ๋ ์ด๋ฌํ ์ง์นจ์ ๋ฐ๋ฅผ ๋ฒ์ ์๋ฌด๊ฐ ์๋ค๋ ๊ฒ์ ๋๋ค.
์น์ฌ์ดํธ ๊ฐ๋ฐ์๋ Robots.txt ํ์ผ์ ์ฃผ์ ๊น๊ฒ ์์ฑํ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค. ์๋ชป๋ ๊ตฌ์ฑ์ผ๋ก ์ธํด ๋ฏผ๊ฐํ ์ ๋ณด๊ฐ ๋ ธ์ถ๋๊ฑฐ๋, ์ฌ์ดํธ์ ๊ฒ์ ์์ง ์ต์ ํ(SEO)๊ฐ ์ ํ๋๊ฑฐ๋, ์น์ฌ์ดํธ๊ฐ ๊ฒ์ ๊ฒฐ๊ณผ์ ํ์๋์ง ์์ ์ ์๊ธฐ ๋๋ฌธ์ ๋๋ค. ์ด๋ฅผ ์ํด ๋ช ๊ฐ์ง ๋ชจ๋ฒ ์ฌ๋ก์๋ ์ฌ์ฉ์ ์์ด์ ํธ ์ด๋ฆ์ด ํด๋น ์น ํฌ๋กค๋ฌ์ ์ผ์นํ๋์ง ํ์ธํ๊ณ , Disallow ๋ฐ Allow ํ์ ํ์์ ์ฌ๋ฐ๋ฅด๊ฒ ์ง์ ํ๊ณ , ์ค๋๋์๊ฑฐ๋ ์๋ชป๋ ์ ๋ณด๊ฐ ์๋์ง ์ ๊ธฐ์ ์ผ๋ก ํ์ผ์ ๊ฒํ ํ๋ ๊ฒ์ด ํฌํจ๋ฉ๋๋ค. ๋ํ ์๋ชป๋ Robots.txt ํ์ผ์ด ์ํ๋ ๋๋ก ์๋ํ์ง ์์ ์ ์์ผ๋ฏ๋ก ์ ์ ํ ๊ตฌ๋ฌธ์ ๋ฐ๋ฅด๋ ๊ฒ์ด ์ค์ํฉ๋๋ค.
Robots.txt ํ์ผ์ ์ฌ์ฉํ๋ฉด ์ผ๋ฐ์ ์ผ๋ก ํจ์จ์ ์ธ ์น ํฌ๋กค๋ง์ ๋ณด์ฅํ๊ณ ์น ์ฌ์ดํธ์ ํน์ ๋ถ๋ถ์ ๋ณดํธํ ์ ์์ง๋ง ์์ ํ ๋ณด์์ ์ ๊ณตํ๊ฑฐ๋ ๋ฏผ๊ฐํ ์ ๋ณด์ ๋ณดํธ๋ฅผ ๋ณด์ฅํ์ง๋ ์์ต๋๋ค. ๋ฐ๋ผ์ ๊ฐ๋ฐ์์ ๊ด๋ฆฌ์๋ ๋ฐ์ดํฐ ์๋ฐ์ด๋ ๋ฌด๋จ ์ก์ธ์ค๋ก๋ถํฐ ๋ณดํธํ๊ธฐ ์ํด ๋น๋ฐ๋ฒํธ ๋ณดํธ ๋๋ ์ํธํ์ ๊ฐ์ ์ถ๊ฐ ๋ณด์ ์กฐ์น๋ก ์ฌ์ดํธ์ Robots.txt ํ์ผ์ ๋ณด์ํด์ผ ํฉ๋๋ค.
AppMasterno-code ํ๋ซํผ์ ๋งฅ๋ฝ์์ ์ฌ์ฉ์๋ ๋ฐฑ์๋, ์น ๋ฐ ๋ชจ๋ฐ์ผ ์ ํ๋ฆฌ์ผ์ด์ ์ ์ฝ๊ฒ ์์ฑํ ์ ์์ผ๋ฉฐ, ์ด ๋ชจ๋์๋ ์น ํฌ๋กค๋ง ํ๋ก์ธ์ค๋ฅผ ๊ฐ์ํํ๊ณ ์์ฑ๋ ์ ํ๋ฆฌ์ผ์ด์ ์ ๋์งํธ ์กด์ฌ๋ฅผ ์ต์ ํํ๊ธฐ ์ํด ๋ง์ถคํ Robots.txt ํ์ผ์ด ํ์ํ ์ ์์ต๋๋ค. AppMaster ์ ์ ์ฐ์ฑ๊ณผ ํ์ฅ์ฑ์ ํตํด ์น์ฌ์ดํธ ์ ์์๋ ๊ธฐ์ ์ ๋ถ์ฑ ์์ด ์ค์ ์ ํ๋ฆฌ์ผ์ด์ ์ ์์ฑํ๋ ์์ ํ ํตํฉ๋ ๊ฐ๋ฐ ํ๊ฒฝ์ ์ด์ ์ ๋๋ฆฌ๋ฉด์ Robots.txt ํ์ผ ๊ด๋ฆฌ์ ๋ํ ๋ชจ๋ฒ ์ฌ๋ก๋ฅผ ์์ฉํ ์ ์์ต๋๋ค.
์๋ฅผ ๋ค์ด, AppMaster ํ๋ซํผ์ ์ฌ์ฉํ์ฌ ๊ฐ๋ฐ๋ ์ ์์๊ฑฐ๋ ์น์ฌ์ดํธ๋ฅผ ์๊ฐํด ๋ณด์ธ์. ์น์ฌ์ดํธ์๋ ๊ณต๊ฐ๋ ์ ํ ํ์ด์ง์ ์ฌ์ดํธ ๊ด๋ฆฌ๋ฅผ ์ํ ๋น๊ณต๊ฐ ๊ด๋ฆฌ ๋์๋ณด๋๊ฐ โโ๋ชจ๋ ์์ต๋๋ค. ์ด ์ํฉ์์ ๊ฐ๋ฐ์๋ ์น ์ฌ์ดํธ์ ๋ฃจํธ ๋๋ ํฐ๋ฆฌ์ ์ ์ฅ๋ Robots.txt ํ์ผ์ ์์ฑํ๊ณ ํด๋น ์ฝํ ์ธ ๋ ์น ํฌ๋กค๋ฌ๊ฐ ๊ณต๊ฐ ์ ํ ์น์ ์ ์ก์ธ์คํ๋๋ก ํ์ฉํ๊ณ ๊ด๋ฆฌ์๋ณ URL ๋๋ ๋ฆฌ์์ค์ ํฌ๋กค๋ง ๋๋ ์์ธ ์์ฑ์ ํ์ฉํ์ง ์์ต๋๋ค. ์ด Robots.txt ํ์ผ ๊ตฌ์ฑ์ ๊ณต๊ฐ ํ์ด์ง์ ๋ํ ์ต์ ์ ๊ฒ์ ์์ง ๊ฐ์์ฑ์ ๋ณด์ฅํ๋ ๋์์ ๊ด๋ฆฌ ๋์๋ณด๋๊ฐ โโ๊ฒ์ ์์ง์ ํตํด ๋ ธ์ถ๋์ง ์๋๋ก ๋ณดํธํฉ๋๋ค.
๊ฒฐ๋ก ์ ์ผ๋ก Robots.txt ํ์ผ์ ๊ฐ๋ฐ์์ ๊ด๋ฆฌ์๊ฐ ์น ํฌ๋กค๋ฌ์ ์ฌ์ดํธ์ ์ํธ ์์ฉ์ ์๋ดํ๊ณ ์ ์ดํ ์ ์๋๋ก ํ๋ ์น ์ฌ์ดํธ ๊ฐ๋ฐ ํ๋ก์ธ์ค์ ์ค์ํ ์์์ ๋๋ค. ์น์ฌ์ดํธ ์ ์์๋ Robots.txt ํ์ผ์ ๊ตฌ๋ฌธ, ๋ชจ๋ฒ ์ฌ๋ก ๋ฐ ์ ํ ์ฌํญ์ ์ดํดํจ์ผ๋ก์จ ์ฌ์ดํธ์ ๊ฒ์ ์ฑ๋ฅ, ์ฌ์ฉ์ ๊ฒฝํ ๋ฐ ๋ณด์์ ํฅ์์ํฌ ์ ์์ต๋๋ค. AppMaster ์ ๊ฐ์ ํ๋ซํผ์ ์ฌ์ฉํ๋ฉด ์ฌ์ฉ์๋ no-code ๊ฐ๋ฐ์ ์ด์ ๊ณผ ์ ์ ํ Robots.txt ํ์ผ ๊ด๋ฆฌ ํ๋ก์ธ์ค๊ฐ ์ ๊ณตํ๋ ์ฌ์ฉ์ ์ ์ ๊ฐ๋ฅ์ฑ ๋ฐ ํ์ฅ์ฑ์ ๊ท ํ์ ๋ง์ถ ์ ์์ต๋๋ค.