지난 글에서는 웹마스터도구와 검색엔진 최적화에 대한 기본 개념에 대해 알아보았습니다.
이번에는 웹마스터도구에 사이트를 등록하는 중 발생할 수 있는 사이트의 소유 확인이 불가능한 경우에 대해서 알아보겠습니다.
사이트 소유확인이 불가능한 경우는 먼저 사이트의 방화벽에서 네이버 검색로봇을 차단하는 경우에 발생할 수 있습니다. 사이트의 메인 페이지가 자바스크립트 혹은 meta refresh 기법을 사용하여 redirect 되는 경우에도 소유확인이 되지 않습니다. redirect를 할 때에는 HTTP redirect 방식을 사용해야 합니다.
또 frame 태그 내부에 소유 확인용 HTML 태그를 넣은 경우에도 소유확인이 불가능합니다. frame 태그 외부로 소유 확인용 HTML 태그를 기입해야 하며 소유 확인시 제공하는 업로드용 원본 HTML 파일이 손상된 경우에도 소유확인을 할 수 없습니다.
브라우저 선택도 소유확인에 영향을 미칩니다. 네이버 웹마스터도구는 인터넷 익스플로러 11 미만 버전을 지원하지 않습니다.
이와함께 네이버 검색로봇이 사이트에 접근할 수 있도록 허용해야 검색엔진 최적화를 기대할 수 있습니다. 사이트에 접근하지 못한다면 사이트의 내용을 판단할 수 없기 때문입니다.
사이트의 문서에 네이버 검색로봇의 접근이 가능하게 하려면 robots.txt를 설정하는 방법도 있습니다. 네이버 검색로봇만 접근 가능하게 설정한다면 robots.txt 파일에
User-agent: Yeti
Allow: /
와 같이 작성하면 됩니다.
그리고 모든 검색엔진의 로봇에 대하여 접근 가능하게 설정한다면
User-agent: *
Allow: /
를 작성하면 됩니다.
그리고 웹 서버 또는 방화벽에서 네이버 검색로봇의 접근을 허용해야 합니다. 네이버 검색로봇의 이름(User-Agent)은 Yeti입니다.
부득이하게 검색 로봇을 차단해야 하는 경우가 있다면 아니피(IP) 기반으로 차단하는 보다 robots.txt를 활용하는 것이 권장되는 방법입니다.
다음에는 중복콘텐츠, 사이트맵과 RSS 제출 등에 대해 알아보겠습니다.