구글 서치 콘솔에서 색인 생성 문제로 인해 ‘사용자가 선택한 표준이 없는 중복 페이지’가 발생할 수 있으며, 이 경우 주소 뒤에 /feed/ 페이지가 생성될 수 있습니다. 이 문제는 RSS 피드가 색인에 포함되면서 발생하므로, 이를 해결하지 않으면 SEO에 부정적인 영향을 미칠 수 있습니다.
원본에 캐노니컬(Canonical) 태그가 적용되어 있다면 색인이 되더라도 검색 엔진에서는 원본이 노출되기 때문에 큰 문제가 없다고 생각하는 분들도 있습니다. 저도 한때 그렇게 생각했지만, 최근 해외 문서를 읽으면서 SEO 측면에서 좋지 않다는 사실을 깨닫게 되었습니다.
RSS 피드가 중복 페이지로 인식되는 이유는 RSS 피드의 URL이 /feed/ 또는 /feed.xml과 같은 형식으로 되어 있으며, 이 페이지가 원본 페이지와 유사한 콘텐츠를 제공하기 때문입니다. 이로 인해 구글봇이 이러한 피드를 크롤링할 때 중복 콘텐츠로 간주할 수 있습니다.
구글은 동일하거나 유사한 콘텐츠가 여러 페이지에 존재할 경우, 어떤 페이지를 우선적으로 표시해야 할지 혼란스러워할 수 있습니다. 이로 인해 해당 페이지의 검색 순위가 낮아질 수 있습니다.
따라서 모든 페이지에는 캐노니컬(Canonical) 태그를 적용하여 원본임을 명확히 표시해야 하며, 중복 페이지가 발생할 경우 원본이 아닌 페이지는 색인되지 않도록 차단해야 합니다.
중복 페이지 발생을 방지하기 위한 방법으로 /feed/ 매개 변수가 포함된 주소를 robots.txt 파일에서 차단하는 것을 고려해보았습니다. 그런데 구글 서치 콘솔에 RSS를 등록한 상태라면, 이 경우에는 차단을 어떻게 해야하는지 궁금했습니다.
여러 커뮤니티의 글을 살펴본 결과, RSS는 중요하지 않으므로 차단으로 해결하라는 의견과 중복 페이지 오류 자체가 큰 문제가 아니라는 의견이 있었습니다.
여러 커뮤니티의 의견을 종합해보면, RSS로 인해 중복 페이지가 발생할 경우, robots.txt 파일을 통해 해당 페이지를 차단하고, 만약 검색 엔진에 노출되고 있다면 구글 서치 콘솔에서 삭제 요청을 하거나 원본 페이지로 리다이렉트하라는 내용이었습니다.
그렇다면 이 내용을 바탕으로 /feed/ 중복 페이지 문제를 어떻게 해결할 수 있는지 살펴보겠습니다.
목차
캐노니컬(Canonical) 적용
캐노니컬(Canonical) 태그는 구글과 같은 검색 엔진에게 특정 페이지가 주 콘텐츠임을 알려주는 역할을 합니다. 따라서 웹사이트에 글을 작성할 때, 중복 페이지가 원본으로 인식되지 않도록 캐노니컬 태그를 추가하는 것이 중요합니다.
워드프레스에서 SEO 플러그인을 사용하고 있다면 캐노니컬(Canonical) 태그가 자동으로 적용됩니다. 그러나 SEO 플러그인을 사용하지 않거나 워드프레스가 아닌 경우, 아래의 태그를 적용하면 검색 엔진에 원본 콘텐츠임을 알릴 수 있습니다.
<link rel="canonical" href="https://yourwebsite.com/original-page-url" />HTML 모드에서 위 코드를 상단에 추가하면 해당 콘텐츠가 원본임을 검색 엔진에 알릴 수 있습니다. 이 경우, 동일한 콘텐츠를 가진 다른 글이 색인될 경우 중복 페이지로 간주되어 검색 결과에서 제외됩니다.
Robots.txt 에서 /feed/ 차단
User-agent: *
Disallow: /feed/캐노니컬(Canonical)을 적용하더라도 /feed/ 중복 페이지 문제가 발생할 수 있습니다. 따라서 가장 확실한 방법은 Robots.txt 파일에서 해당 페이지를 차단하는 것입니다. 위의 코드를 추가하시면 됩니다.
위의 코드를 추가하면 구글 서치 콘솔에서 RSS 피드를 더 이상 읽을 수 없습니다. 따라서 RSS 피드를 유지하면서 적용하고 싶다면 아래의 코드를 추가하시면 됩니다.
Allow: /feed/atom/
Disallow: /*/feed/위 코드를 적용하면 /feed/ 주소가 있는 페이지는 차단되고, /feed/atom/ 주소는 허용됩니다. 따라서 RSS 제출 시 /feed/atom/을 제출하면 RSS를 정상적으로 사용할 수 있습니다.
여기서 중요한 점은 disallow보다 Allow가 위에 있어야 구글 서치 콘솔에 RSS를 등록할 때 차단이 되지 않습니다.
차단이 적용되었는지 확인하는 방법은 구글 서치 콘솔보다 빙 웹마스터 도구의 ‘도구 및 고급 기능’에서 제공하는 Robots.txt 테스터 도구를 사용하는 것이 더 편합니다. 이 도구를 통해 실시간으로 적용된 결과를 확인할 수 있습니다.
고유 주소 업데이트
플러그인, 테마 또는 기타 설정으로 인해 매개변수가 발생하여 중복 페이지가 생길 경우, 여러 가지 해결 방법이 있습니다. 그 중 하나는 워드프레스 관리자에서 설정 > 고유 주소로 이동한 후, 변경 사항 저장 버튼을 클릭하는 것입니다.
- Rewrite Rules 갱신: 워드프레스는 사용자 친화적인 주소를 만들기 위해서 내부적으로 Rewrite Rules 규칙을 사용합니다. 고유 주소 설정을 변경하거나 저장하게 되면 이 규칙들을 다시 생성하고 업데이트합니다.
- .htaccess 파일 갱신: 고유 주소를 저장하면, 워드프레스는 .htaccess 파일을 자동으로 업데이트하거나 필요한 경우 새로 생성합니다.
- URL 매개 변수 문제 해결: URL 매개 변수로 인한 문제는 주로 Rewrite Rules 규칙이 올바르지 않을 때 발생하게 되는데 고유 주소 변경을 누르게 되면 규칙을 다시 적용해서 매개 변수 관련 문제를 해결할 수 있습니다.
- 캐시 문제: 서버의 캐시나 플러그인 캐시가 규칙에 대해서 문제를 일으킬 수 있습니다. 그때 고유 주소를 저장하게 되면 이러한 캐시를 무효화하고 새로운 규칙을 적용합니다.
고유 주소 변경 사항을 저장하는 버튼을 클릭하면 Rewrite Rules 규칙이 갱신되고, .htaccess 파일이 업데이트되며, URL 매개 변수를 포함한 URL 처리가 정상화됩니다. 이 과정을 통해 매개 변수가 추가되어 발생한 문제를 해결할 수 있습니다.
구글에서 검색을 하게 되면 다양한 커뮤니티에서 해결 방법을 제시하는데 RSS 피드에 noindex 설정에 관한 방법도 추천을 합니다. 근데 저는 해당 방법은 적용을 해도 문제가 해결되지 않았습니다.
그래서 /feed/ 주소로 중복 페이지가 발생한다면 가장 확실한 방법은 robots.txt에서 차단을 하는 것입니다. 저도 해당 문제로 구글 서치 콘솔에 오류 페이지가 늘어나고 있었는데 차단을 한 후에는 줄어들고 있습니다.
