구글애드센스 크롤링 호스트 서버 과부하 해결방법

초반에 블로그를 운영하기 시작하고 회사 일이 바빠지면서 전혀 신경을 못쓰다가 오랜만에 구글 애드센스에 로그인을 해봤다. 그런데 뭔가 메세지가 발생한걸 확인했다. 두둥!!

 

광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다. 

 

수익이 얼마 발생하지도 않는 블로그이긴 하지만 이게 무슨 에러인가 싶어 찾아봤다. 

 

일단 웹 크롤러란, 

- 조직적, 자동화된 방법으로 월드와이드 웹을 탐색하는 컴퓨터 프로그램이고,
- 웹 크롤러가 하는 작업을 웹크롤링(web crwaling) 혹은 스파이더 링(spidering)이라 부르는데,
- 여러 사이트에서 최신 상태 유지를 위해서 이 작업을 한다고 하고, 
- 웹 크롤러는 봇이나 소프트웨어 에이전트의 한 형태라고 한다.

 

따라서, 크롤러 오류란 쉽게 말해
내가 올린 블로그 글들을 대상으로 웹에서 뭔가 데이터를 수집을 하는 작업을 "웹 크롤러가" 수행하는 것인데, 여기에 문제가 생겨서 내 웹페이지가 수집이 잘 되지 않는다는 말이고, 그래서 광고가 정상적으로 게재되지 않는다는 의미이다.

 

해결 방법은, 

1. 일단 구글 애드센스 관련 커뮤니티에서는 "애드센스 크롤러 문제 들은 일시적인 현상인 경우가 많아서 일단은 시간 경과 지켜보시면 좋겠습니다. 문제해결 도구도 참고해보시기 바랍니다. " 라는 답변을 확인할 수 있었다. 

2. 구글 서치 콘솔에서 문제가 된 URL을 다시 검사 후에 다시 색인 생성을 요청한다. (이후 3-4일 안에 해결될 때가 많음.)