robots.txt는 Googlebot이나 Googlebot-Image등 사이트 크롤링을 하는 크롤러 봇들에게 우리 페이지의 크롤링 허용범위를 알려주는 파일이라고 할 수 있겠다. 요즘 처럼 인공지능이나 빅데이터의 시대에서 크롤링을 하는 사람들이 많은데 관련 정책을 웹컨텍스트루트에 정의 해 줌으로써 해당 사이트의 정책을 알려 추후 있을 사항들에 대해 미연에 방지하는 것이라고 할 수 도 있겠다. 항목에는 User-agent 와 Disallow 그리고 Allow가 있는데 1. User-agent 는 말그대로 봇을 지정하는 것이다. 모든것을 차단하고 싶을 때는 *를 쓰면되고 Googlebot-Image나 특정 봇을 지정해서 막을 수 도있겠다. 네이버는 전체 정책이 모든 User-agent를 허용하지 않고 있다...
