애드센스 티스토리 크롤러오류는 어떻게 해결해야 하는 것인가?

여러분들이 티스토리 등의 블로그에서 애드센스를 활용해서 일정 부분 수익을 만들고 계신다면 매번 계정으로 접속할 때마다 항상 신경을 쓰이게 만드는 부분이 있을 듯 합니다.

바로 스코어 카드에서 수시로 보이는 부분중 하나인 크롤링 오류에 관한 부분인데요.

물론 이 것이 광고단가를 낮추거나 혹은 불이익을 주지는 않는다고 하여도 이런 오류가 발생이 되어져서 광고 노출이 되어지지 않는다고 하면 그것이 바로 불이익이고 손해가 아닐까 합니다.

이왕 다홍치마라고 스코어판 항상  최고점 파란불 다섯개가 꽉 차 있으면 좋을 텐데 말입니다.

물론 다 채우면 좋겠지만 현실적으로 어려운 부분이 있긴 한데요.

 

그렇다면 매번 발생이 되고 있는 크롤링 오류에 대한 원인과 혹시라도 누군가 발견을 해 둔 좋은 해결 방법은 과연 있는지 살펴 보도록 하겠습니다.

저 역시도 확이늘 해 보니 오류가 또 아래와 같이 발생을 하긴 했더군요.

 

■ 크롤러 오류, 내 블로그에서 왜 자꾸 발생이 되는 것일까?

 

일단 거두절미 하고 먼저 말씀을 드리자면 죄책감 느끼지 마시기 바랍이다.  이건 여러분들의 잘못이 아니라는 것 부터 우선 말씀을 드리고자 합니다.

일단 용어 부터 좀 살펴보자면 크롤러라고 하는 것은 일종의 프로그램으로 로봇, 웹로봇, 웹봇이라고 부르기도 합니다.

이는 검색엔진이 웹상의 정보들을 탐색하고 색인을 하기위해서 웹페이지의 내용을 읽는 프로그램을 뜻합니다.

 

그런데 안타깝게도 이 로봇라고 하는 녀석이 여러분들의 블로그에 게시된 포스팅의 내용을 잘 확인을 해서 거기에 맞는 적절한 광고를 표시해 줘야 하는데 접근을 제대로 하지 못해서 광고를 표시해 주지 못하게 되면 바로 애드센스 페이지에서는 크롤러 오류라고 하는 것이 발생을 하게 되는 것이죠.

따라서 여러분이 인위적으로, 혹은 실수로 막은 것이 아닌 뭔가 시스템상으로 봤을때 뭔가가 있는 것이죠.

 

■ 해결할 방법은 과연 무엇?

 

예를 들어 보자면 일단 아래와 같이 스코어카드에서 나온 크롤러 오류를 클릭하여 보고서를 확인해 보면 차단된 URL이 어떤 것이라고 하는 것을 확인해 보면 아래와 유사한 형태들이 나오게 될 텐데요.

사실 확인을 해 보면 별것이 아니라는 것이지요.

접근 페이지를 확인해 보니 여러분들 말고는 접근하지 말야야 할 구글로봇이 접근을 하려고 시도를 했던 것입니다.

굳이 그 페이지는 애드센스가 노출이 안되도 되는 곳까지 접근을 하려하다 보니 이런 오류가 발생을 하게 되는 경우가 많은데요.

 

해결방법이라고 해서 아래와 같이 제시를 한 방법이 있기는 합니다만 이 방법은 티스토리에서는 무용지물입니다.

그럼 어떤 방법을 구글이 제시를 했는지 우선 살펴볼게요.

(1) 구글이 제시한 해결 방법

일단 구글측에서 제시하는 방법은 아래와 같이 robots.txt에 아래와 같이 코드 두 줄만을 부여하면 된다고 나오는 군요.

이렇게 보면 참 쉬울 것 같죠?

 

위해 제시한 방법처럼 그냥 간단하게 처리가 가능하면 좋으련만 그런데 문제는 다음과 같은 것이 있습니다.

(2) 티스토리 robots.txt 수정이 불가능

그럼 다음으로는 실제로 티스토리의 robots.txt에 대한 부분을 실제로 한번 살펴보도록 하겠습니다.

그런데 아래와 같이 실제로 확인을 해 보니 owner, admin, search, tag에 대한 디렉토리 접근은 'Disallow' 즉 허용을 하지 않는다고 되어 있습니다.

사이트 정책적으로 이 디렉토리의 접근은 정책적으로 불허를 한다는 것이지요.

위에서 확인을 했다 시피 티스토리의 경우에는 기본 정책으로 위와 같이 민감한 디렉토리에 대한 접근을 막아 robots.txt에 대한 개인들의 수정을 불허하기 때문에 Goole측에서 제시한 방법을 이용할 수는 없게 되는 것입니다.

 

■ 인터넷에 돌아다니는 다른 편법이라고 하는 것은?

 

검색을 해 보면 일부 다른 분들이이 제시한 방법중에서 여러 사람들에게 가장 많이 알려진 방법이 바로 아래와 같은 메타태그코드를 페이지에 삽입 하는 것입니다.

 

<meta name="robot" content="all"/>

<meta name="robot" content="index,follow">

저 역시도 진작에 위와 같은 방법을 사용해서 몇달을 그대로 둔 적이 있었으나 아무런 효과를 보지 못했었습니다.

결국은 저 방법은 전혀 통하지를 않는다고 보시면 됩니다.

결론적으로 말씀을 드리자면 티스토리에서는 저 오류를 개인이 직접 해결할 방법은 없습니다.

티스토리측과 구글측이 상호간 해결을 봐야 하는 문제라 여기시면 되구요.

무엇보다 중요한 것은 양질의 포스팅이니 지나치게 많이 나는 것이 아니라면 크롤러 오류는 그냥 대수롭지 않게 넘기셔도 무방할 듯 합니다.