검색엔진 로봇 접근 금지

홈페이지를 제작하는 중이거나 홈페이지의 특정 내용을 검색엔진이 가져가게 하고 싶지 않을 때

다음과 같이 설정한 파일을 서버에 업로드 해두면 된다.

서버 루트에 다음과 같은 내용으로 robots.txt라는 이름을 가진 파일을 만들고 

이 파일을 서버 루트에 두면 규정을 지키는 검색엔진들(구글 등)의 검색로봇이 서버의 웹사이트들을 뒤지지 못한다.

[robots.txt 내용]

User-agent: * 

Disallow: / 

웹작업을 할 때 잠시 검색엔진 로봇이 웹페이지 내용을 가져가지 못하게 할 때,

사이트를 다 만들고 나면 풀어야 한다.