애드센스 승인 거절 robots.txt 검사하기
애드센스 신청 후 <head></head>사이에 코드를 잘 넣었는데도 불구하고 애드센스 승인 거절 사유로
사이트가 다운되었거나 사용할 수 없음 메시지를 받으셨다면
robots.txt 파일을 검사해보는 것이 좋습니다.
애드센스 승인 거절 메시지가 위와 다르시다면 아래 내용을 확인할 필요가 없습니다.
본인의 도메인 주소에 robots.txt 파일을 직접 접속하여 확인해도 되지만
네이버 웹 마스터 도구 중 간단 체크를 통해서도 확인할 수 있습니다.
먼저 네이버 웹 마스터 도구로 접속합니다.
상단의 웹마스터 도구 버튼을 클릭하면 사이트 간단체크 탭 메뉴를 통해 확인할 수 있습니다.
하루 총 10회 제한이 있네요.
robots.txt 파일로 인해 봇이 차단된 경우나 파일이 없다면 여기서 확인할 수 있으며
사이트 등록 후 웹마스터 도구를 이용해 간단하게 robots.txt 파일을 생성할 수 있습니다.
만약 티스토리 블로그 운영 중이시고 robots.txt 파일에 문제가 없다면 아래 내용을 확인해보세요.
robots.txt 파일 생성 ( 웹마스터도구 )
사이트 등록 부분에 소유 중인 도메인을 입력합니다.
사이트 인증을 해야 하는데 인증은 파일 업로드 방식과 HTML 태그를 통한 확인 방식이 있습니다.
편한 방법으로 인증을 하시고 다음으로 넘어가면
좌측 메뉴 중 검증 탭에 robots.txt 파일을 클릭하세요.
여기서 robots.txt 파일을 검사할 수 있고 생성할 수 있습니다.
티스토리 기본 스킨의 경우 robots.txt 파일 기본 설정이 되어 있습니다.
User-agent: *
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: bingbot
Crawl-delay: 30이대로 세팅 후 생성하거나 직접 메모장에 작성 후 올리셔도 됩니다.
워드프레스의 경우는 관리자 페이지 정도만 허용을 제한 후 나머지는 허용을 해두시면 됩니다.
User-agent: *
Disallow: /wp-admin/
Allow: /
워드프레스 스킨 중 인 YOAST seo 플러그인을 사용 중이시면 robots.txt 파일을 자동 생성해주는 것으로 알고 있습니다. 그냥 설치만 한 경우는 파일이 없을 수도 있습니다. (설치를 한 지 시간이 꽤 흘러서 기억이 안 나네요.)
여기서 직접 작성 후에 다운로드를 하셔도 되고 메모장에 작성 후 직접 업로드 하셔도 됩니다.
업로드는 도메인 접속 시 최상단 루트 폴더에 업로드 해주시면 됩니다.