Robots.txt 웹마스터도구 재요청으로 최신 내용 적용하기

Robots.txt는 검색 엔진 크롤러(봇)에게 웹사이트의 어떤 부분을 크롤링(검색)할 수 있는지, 또는 어떤 부분을 크롤링하지 말아야 하는지를 지시하는 텍스트 파일입니다. 이 파일은 웹마스터도구에 등록되고 수집을 주기적으로 합니다.

일반적으로 Robots.txt는 설정한 후 거의 수정하지 않지만, 구글 콘솔, 빙 웹마스터 도구, 네이버 서치 어드바이저에서 문제가 발생할 경우에는 Robots.txt를 통해 제어해야 할 필요가 있습니다.

수정을 진행할 경우, 크롤링된 시점이 반영되기 때문에 즉시 적용되지 않습니다. 따라서 수정 후 즉시 반영될 수 있는 방법에 대해 알아보려고 합니다.

구글 서치 콘솔

구글 서치 콘솔은 사이트맵을 등록하고 사이트의 문제를 확인할 수 있는 유용한 도구입니다. 처음 접속했을 때는 Robots.txt 설정이 어디에 있는지 찾기가 어려울 수 있습니다. 아래의 설명을 보시면 어디서 설정하는지 어렵지 않게 찾을 수 있을 것입니다.

구글 서치 콘솔로 들어간 후에 왼쪽 메뉴를 보게 되면 제일 하단에 설정이라는 것을 찾을 수 있습니다. 이곳으로 들어가시면 됩니다.

설정으로 들어가게 되면 중간에 크롤링이라는 섹션이 있는데 여기서 robots.txt에서 보고서 열기를 클릭하시면 됩니다.

Robots.txt 보고서를 열면 파일, 확인일, 상태를 확인할 수 있습니다. 만약 확인일이 최근이 아니라면, 오른쪽에 있는 점 세 개 아이콘을 클릭하여 재크롤링 요청을 하시면 됩니다.

웹마스터도구에서 최신 설정으로 업데이트되었으므로, 수정된 내용이 구글 검색 엔진에 반영될 것입니다.

빙 웹마스터도구에 접속한 후, 왼쪽 메뉴에서 ‘도구 및 고급 기능’을 찾으실 수 있습니다. 여기에서 ‘Robots.txt 테스터’를 선택하시면 됩니다.

Robots.txt 테스터에 들어가면 크롤링된 설정을 확인할 수 있습니다. 여기서 오른쪽에 있는 ‘최신 항목 가져오기’ 버튼을 클릭하면 현재 설정이 반영됩니다.

네이버 서치어드바이저의 왼쪽 메뉴에서 ‘검증’을 선택하면 Robots.txt 설정을 찾을 수 있습니다.

Robots.txt 설정에 들어가면 현재 설정된 내용을 확인할 수 있으며, 크롤링이 진행된 날짜와 시간도 확인할 수 있습니다. 만약 최근 설정이 반영되지 않았다면, 수집 요청 버튼을 클릭하시면 됩니다.

검색 엔진은 주기적으로 Robots.txt 파일을 다시 수집하므로, 시간이 지나면 수정한 설정이 반영됩니다. 그러나 오류나 경고가 발생한 경우, 위의 방법을 통해 신속하게 웹마스터도구에서 재수집을 요청하시기 바랍니다.