Googlebot is American ??

오늘은 구글의 검색로봇인 Googlebot에 대해서 얘기해 보려 합니다.
Googlebot은 링크를 따라 사이트를 방문하여 컨텐츠를 가지고 가고(Crawling) 검색DB에 저장(Indexing)하는 활동을 하고 있죠.
Googlebot을 포함한 검색로봇들이 내 사이트에 잘 방문하도록 하는 것이 SEO의 첫 걸음이라 할 수 있겠습니다.

이런 Googlebot이 하루에 Crawling하는 페이지가 전 세계적으로 무수히 많을텐데, 어느 지역에서 혹은 국가에서 출발을 할까요?

2014년 8월에 Incapsula 발표 자료에 의하면 약 1만 사이트의 Googlebot 활동을 조사해본 결과,
Googlebot이 출발하는 국가 중 미국이 98.12%, 영국이 1.17%, ,프랑스가 0.38%, 벨기에 0.16%, 덴마크가 0.09%, 중국이 0.07%라는 결과가 나왔습니다.

즉, Googlebot은 대부분 미국에서 출발하고 있고, 이 의미는 미국 IP주소를 가지고 활동한다라는 것이죠.
이러한 배경(Googlebot은 미국 국적)때문에 다양한 언어 컨텐츠를 제공하는 사이트 중 사용자 위치(IP address)나 브라우저 언어 세팅(Accept-Language HTTP Header)에 따라서 Contents를 제공하는 사이트의 Googlebot 접근의 어려움과 Google Local 부정확한 검색 결과 노출의 문제점이 있었습니다.

<예시 – 다국가 언어 사이트>

웹사이트: www.example.com (영문 컨텐츠는 같으나 국가 별 사이트가 Subfolder로 구분되어 있는 구조)

미국에서 접속 시 – www.example.com/us/ 로 이동.
영국에서 접속 시 – www.example.com/uk/ 로 이동.
UAE에서 접속 시 – www.example.com/ae/ 로 이동.

위와 같은 경우 Googlebot 입장에서는 www.example.com 방문 시, www.example.com/us/ 의 컨텐츠를 우선으로 Crawling 하기 때문에 /uk/, /ae/ 사이트로 접근하기가 어려운 환경이었습니다.
외부 링크 경로로 /uk/, /ae/ 사이트를 방문해서 검색DB에 저장하더라도, 명확하게 Google local 검색 결과에 /us/, /uk/, /ae/ 구분해서 노출 시키는 것이 Googlebot이 미국 국적(?)임으로 어려움을 가지고 있었던 것이 사실입니다.

저희가 진행했던 프로젝트 중에 Google UAE(아랍에미리트) 대상으로 진행했던 SEO 프로젝트의 예를 들자면,
아래와 같이 Google UAE에서 브랜드 명 검색 시 1위로 노출되는 사이트가 /ae/ 가 아니라 대표 도메인 혹은 us 사이트로 노출되는 경우가 많았습니다.

Google UAE “LG Electronics” 검색 결과 (2011년 2월)

LG-before
>>> www.lg.com/ae/ 사이트보다 www.lg.com 도메인이 우선적으로 노출

이런 문제점 개선을 위해서 Google은 지난 2013년에 hrelang tag 설정을 통해 내 사이트 언어가 어떤 국가를 타겟을 하는 지 설정할 수 있도록 하였습니다.
그리고 추가적으로 지난 1월에 지역 아주 조용히(?) International Contents Crawling 개선을 위한 update을 진행했습니다.

Googlebot is not American anymore.

1월에 발표된 Googelbot Crawling 기능에 대한 Update 된 내용은 크게 2가지 입니다.
– Geo-distributed crawling (지역 분산 크롤링): 기존 미국 IP 중심의 Crawling 활동을 했지만, 사이트에 근접한 국가의 위치한 IP로 Googlebot이 활동 함.
– Language-dependent crawling (언어 종속 크롤링): Googlebot에서 Http 헤더에 설정된 Accept-language 필드를 사용하여 크롤링 함.

즉, 전체적으로 Googlebot IP가 앞으로는 미국 중심이 아닌 해당 사이트에 가까운 국가에서 출발 할 것이고, Contents의 언어 및 국가 관련성을 최대한 명확하게 인지하여 Google Local 결과에 최대한 정확하게 반영하겠다 라는 의지가 담긴 것이라고 볼 수 있습니다.
실제로, 현재 Google UAE에서 같은 단어로 다시 검색 해 보니 아래와 같이 개선되어 있었습니다.

Google UAE “LG Electronics” 검색 결과 (2015년 8월 현재)

LG-after
>>> www.lg.com/ae/ 사이트 Google UAE 검색결과 상위에 우선적으로 노출

그럼, Google은 앞으로 자동으로 지역 기반의 컨텐츠를 알아서 구분할 수 있나요?

위와 같은 질문이 나올 수 있을것 같습니다.

답을 우선 드리자면 Google이 앞으로 위와 같은 Cralwing 기능 업데이트를 통해 최대한 노력 할 예정이지 그렇다고 100% 정확하게 한다라는 보장은 없습니다.
설정 할 수 있는 아래와 같은 Localization 작업은 진행해야 합니다.

Website Content Localization SEO 작업 2가지
– 구글 웹마스터 콘솔(구 웹마스터 도구)에서 Geo-targeting 설정 (관련 내용 링크)
– 구글 rel=alternate hreflang annotation 설정 (관련 내용 링크)

다 국가 언어 사이트 운영하시는 분들에게 위의 내용이 도움이 되셨길 바랍니다.
감사합니다.