[사례] 검색엔진에 노출되지 않는 사례 – 종로구청

종로구청의 경우, 홈페이지가 구글에 잘 연동되어 있지 않은것 같습니다.

robots.txt 파일에 의해 구글접속을 차단해 두었기 때문에 국내 해외 사이트 모두 구글에서의 접속이 “종로구청” 이외에는 검색이 어렵게 되어있습니다.

한국의 경우 구글 사용이 적기 때문에 로봇으로 차단해 두어도 사실 별 차이는 없습니다만,

해외 홈페이지의 경우에는 다르기 때문에 로봇 파일을 잘 설정하는 것이 필요할 것 같습니다.

관공서 사이트들이 로봇에 대한 설정이 잘못되어 사이트가 검색에 노출되지 않는 경우가 많다는 것을 다시 한번 알게 되었습니다.

종로구청의 검색결과 화면

하기와 같이 이상하게 관공서 사이트들은 robots.txt 때문에 검색결과를 보여줄수 없다는 내용이 나오는데요,

이것이 정책상 보안때문인지 아니면 설정의 잘못인지는 알 길이 없습니다.

어쨌든 로봇 설정을 막아놓은 것때문으로 보이네요.

한국어, 영어,일본어,중국어 모두 검색결과에 사이트가 나타나지 않는 부분은 개선의 여지가 있을 것 같습니다.

역시, 종로구 서울 로 검색했는데 종로구청이 나타나지 않고 있습니다.

일본어 검색결과도 마찬가지입니다.

중국 검색결과 또한 동일하게 나타나지 않습니다.

그래서, 정말 구글에 검색되지 않는지 확인해 보기위해 site: 이라는 명령어를 사용하여 확인해 봅니다.

영어페이지에 대하여 로봇때문에 검색결과 설명을 확인할 수 없다고 하는데요,

어떠한 설정이 되어있던 걸까요?

하기와 같이 로봇설정이 되어있는데요,

문제로 보이는 부분이 노란색 표기 인것 같습니다.

user-agent : * => 모든 검색엔지에 대하여

disallow : / => 모든 페이지를 접속하지마시요 라고 되어있네요.

다만 허락하는 것은, allow : 라고 표시된 3개의 페이지만 허용하고 있습니다.

6행째 부터 마지막 까지의 disallow 부분은 2번행에 포함되기 때문에 의미가 없다고 보여집니다.

사실 이부분에 대하여는 두번째 행이 기술이 잘못되어진것 같은 생각이 드네요.

보통은 접속을 금지할 경로만 기재해 놓고으면 나머지는 구글로봇이 모두 가져가는데,

이경우, 2번째 행이 들어가서 모두 가져가지 말고 3,4,5번행만 가져가시오라고 되어버리는 설명이 됩니다.

따라서 2번행을 없애면, 6번행~마지막행까지만 가져가지말고 사이트의 모든내용을 가져가시오 라고 되기 때문에 정상적으로 검색에 나올거로 보여집니다.

단순하지만, 설정하나만 가지고도 이렇게 사이트의 검색이 되고 안되고를 결정하게됩니다.

사이트를 잘 만드는 것도 중요하지만, 사이트를 잘 관리하고 셋팅하는것도 중요합니다.

그리고 잘못된 부분을 찾아 개선하는 것은 더욱 중요합니다!