INSIGHT

[글로벌 SEO] 다 국가 사이트 Google SEO | Googlebot Crawling Updating for International Contents

2015.08.31 mjkang

Googlebot is American ??

오늘은 구글의 검색로봇인 Googlebot에 대해서 얘기해 보려 합니다.
Googlebot은 링크를 따라 사이트를 방문하여 컨텐츠를 가지고 가고(Crawling) 검색DB에 저장(Indexing)하는 활동을 하고 있죠.
Googlebot을 포함한 검색로봇들이 내 사이트에 잘 방문하도록 하는 것이 SEO의 첫 걸음이라 할 수 있겠습니다.

이런 Googlebot이 하루에 Crawling하는 페이지가 전 세계적으로 무수히 많을텐데, 어느 지역에서 혹은 국가에서 출발을 할까요?

2014년 8월에 Incapsula 발표 자료에 의하면 약 1만 사이트의 Googlebot 활동을 조사해본 결과,
Googlebot이 출발하는 국가 중 미국이 98.12%, 영국이 1.17%, ,프랑스가 0.38%, 벨기에 0.16%, 덴마크가 0.09%, 중국이 0.07%라는 결과가 나왔습니다.

즉, Googlebot은 대부분 미국에서 출발하고 있고, 이 의미는 미국 IP주소를 가지고 활동한다라는 것이죠.
이러한 배경(Googlebot은 미국 국적)때문에 다양한 언어 컨텐츠를 제공하는 사이트 중 사용자 위치(IP address)나 브라우저 언어 세팅(Accept-Language HTTP Header)에 따라서 Contents를 제공하는 사이트의 Googlebot 접근의 어려움과 Google Local 부정확한 검색 결과 노출의 문제점이 있었습니다.

<예시 – 다국가 언어 사이트>

웹사이트: www.example.com (영문 컨텐츠는 같으나 국가 별 사이트가 Subfolder로 구분되어 있는 구조)

미국에서 접속 시 – www.example.com/us/ 로 이동.
영국에서 접속 시 – www.example.com/uk/ 로 이동.
UAE에서 접속 시 – www.example.com/ae/ 로 이동.

위와 같은 경우 Googlebot 입장에서는 www.example.com 방문 시, www.example.com/us/ 의 컨텐츠를 우선으로 Crawling 하기 때문에 /uk/, /ae/ 사이트로 접근하기가 어려운 환경이었습니다.
외부 링크 경로로 /uk/, /ae/ 사이트를 방문해서 검색DB에 저장하더라도, 명확하게 Google local 검색 결과에 /us/, /uk/, /ae/ 구분해서 노출 시키는 것이 Googlebot이 미국 국적(?)임으로 어려움을 가지고 있었던 것이 사실입니다.

저희가 진행했던 프로젝트 중에 Google UAE(아랍에미리트) 대상으로 진행했던 SEO 프로젝트의 예를 들자면,
아래와 같이 Google UAE에서 브랜드 명 검색 시 1위로 노출되는 사이트가 /ae/ 가 아니라 대표 도메인 혹은 us 사이트로 노출되는 경우가 많았습니다.

Google UAE “LG Electronics” 검색 결과 (2011년 2월)

>>> www.lg.com/ae/ 사이트보다 www.lg.com 도메인이 우선적으로 노출

이런 문제점 개선을 위해서 Google은 지난 2013년에 hrelang tag 설정을 통해 내 사이트 언어가 어떤 국가를 타겟을 하는 지 설정할 수 있도록 하였습니다.
그리고 추가적으로 지난 1월에 지역 아주 조용히(?) International Contents Crawling 개선을 위한 update을 진행했습니다.

Googlebot is not American anymore.

1월에 발표된 Googelbot Crawling 기능에 대한 Update 된 내용은 크게 2가지 입니다.
– Geo-distributed crawling (지역 분산 크롤링): 기존 미국 IP 중심의 Crawling 활동을 했지만, 사이트에 근접한 국가의 위치한 IP로 Googlebot이 활동 함.
– Language-dependent crawling (언어 종속 크롤링): Googlebot에서 Http 헤더에 설정된 Accept-language 필드를 사용하여 크롤링 함.

즉, 전체적으로 Googlebot IP가 앞으로는 미국 중심이 아닌 해당 사이트에 가까운 국가에서 출발 할 것이고, Contents의 언어 및 국가 관련성을 최대한 명확하게 인지하여 Google Local 결과에 최대한 정확하게 반영하겠다 라는 의지가 담긴 것이라고 볼 수 있습니다.
실제로, 현재 Google UAE에서 같은 단어로 다시 검색 해 보니 아래와 같이 개선되어 있었습니다.

Google UAE “LG Electronics” 검색 결과 (2015년 8월 현재)