네이버 서치어드바이저 사이트맵 404 오류 해결
워드프레스 사이트를 네이버 서치어드바이저에 등록한 뒤 사이트맵을 제출했는데 다음과 같은 메시지가 나타나는 경우가 있습니다.
“접근 실패 — 네이버 검색 로봇이 수집 시도하였으나 실패하였습니다. Status 404”
더 혼란스러운 것은 같은 사이트맵 주소를 브라우저에서 직접 열면 XML 사이트맵이 정상적으로 보이는 경우입니다.
이 글에서는 wp-sitemap.xml은 정상적으로 열리는데 네이버 서치어드바이저에서는 404 오류가 나타날 때 확인할 사항을 순서대로 정리합니다.
1. 사이트맵 주소가 실제로 열리는지 확인
워드프레스는 기본적으로 다음 주소에 XML 사이트맵을 생성합니다.
https://내도메인/wp-sitemap.xml
먼저 이 주소를 브라우저의 새 탭에서 직접 열어봅니다.
정상이라면 ‘XML 사이트맵’이라는 제목과 함께 게시글·페이지 등의 하위 사이트맵 주소가 표시됩니다.
사이트맵 자체가 열리지 않는다면 네이버 문제가 아니라 워드프레스 또는 서버 설정부터 확인해야 합니다.
2. 워드프레스 검색엔진 가시성 확인
워드프레스 관리자에서 다음 경로로 이동합니다.
설정 → 읽기 → 검색 엔진 가시성
여기에서 ‘검색 엔진이 이 사이트를 검색하는 것을 차단’ 항목이 체크되어 있으면 체크를 해제하고 저장합니다.
검색엔진 차단이 설정되어 있으면 사이트맵이나 검색 수집 과정에 문제가 생길 수 있습니다.
3. 고유주소를 다시 저장
사이트맵 주소가 404로 나오거나 주소 규칙이 제대로 작동하지 않는다면 다음 작업을 해볼 수 있습니다.
설정 → 고유주소
아무 설정도 변경하지 않은 상태에서 맨 아래의 ‘변경 사항 저장’ 버튼을 한 번 누릅니다.
이 작업을 하면 워드프레스의 URL 재작성 규칙이 다시 생성됩니다.
실제로 사이트 구축 직후 wp-sitemap.xml이 제대로 작동하지 않다가 고유주소를 다시 저장한 뒤 정상적으로 사이트맵이 표시되는 경우가 있습니다.
저장한 뒤 다시 다음 주소를 열어 확인합니다.
https://내도메인/wp-sitemap.xml
4. robots.txt 확인
그다음 다음 주소를 브라우저에서 엽니다.
https://내도메인/robots.txt
검색을 허용하는 일반적인 워드프레스 사이트라면 다음과 비슷한 내용이 나타납니다.
User-agent: *
그리고 워드프레스 관리자 경로만 제한되어 있을 수 있습니다.
사이트맵 주소도 다음과 같이 표시될 수 있습니다.
Sitemap: https://내도메인/wp-sitemap.xml
네이버는 robots.txt 안에 기록된 사이트맵 주소를 이용해 사이트맵을 확인할 수 있습니다. 네이버 공식 가이드에서도 robots.txt에 사이트맵 위치를 기록할 수 있다고 안내합니다.
5. 네이버에서 robots.txt 수집 요청
네이버 서치어드바이저에서 사이트를 선택한 뒤 다음으로 이동합니다.
검증 → robots.txt
처음에는 “robots.txt가 수집되지 않았습니다”라고 표시될 수 있습니다.
이 경우 수집요청을 누릅니다.
정상적으로 수집되면 현재 robots.txt 내용이 화면에 표시됩니다.
그 아래의 robots.txt 검증 기능에 홈페이지 주소를 입력해 ‘수집이 가능합니다’라는 결과가 나오면 네이버 검색로봇 자체가 사이트에서 차단된 것은 아닙니다.
네이버 검색로봇의 이름은 Yeti이며, 네이버는 서버나 방화벽에서도 Yeti의 접근이 가능해야 한다고 안내합니다.
6. 사이트맵 수동 제출이 계속 404라면?
여기까지 모두 정상인데도 서치어드바이저의 요청 → 사이트맵 제출에서 계속 404가 나타날 수 있습니다.
이때 같은 주소를 계속 반복 제출하기보다는 robots.txt 상태부터 확인하는 것이 좋습니다.
네이버 공식 가이드에 따르면 웹마스터도구에서 사이트맵을 직접 제출하지 않았더라도 robots.txt에서 사이트맵이 확인되면 정상 상태로 표시될 수 있습니다.
따라서 다음 조건이 모두 맞다면 잠시 기다려 보는 것도 방법입니다.
- 사이트맵 주소가 브라우저에서 정상적으로 열린다.
- robots.txt가 네이버에 정상 수집됐다.
- robots.txt에 사이트맵 주소가 들어 있다.
- 네이버 robots.txt 검증 결과가 ‘수집 가능’이다.
7. RSS는 게시글을 만든 뒤 제출
새 워드프레스 사이트라 아직 실제 게시글이 하나도 없다면 RSS 제출도 서두를 필요가 없습니다.
네이버는 RSS 피드 안에 item이 최소 1개 이상 있어야 한다고 안내합니다. 따라서 첫 번째 게시글을 발행한 뒤 다음 RSS 주소를 제출하면 됩니다.
정리
wp-sitemap.xml이 브라우저에서는 열리는데 네이버 서치어드바이저에서 404가 뜬다면 무조건 서버 장애라고 판단할 필요는 없습니다.
먼저 워드프레스의 검색엔진 가시성, 고유주소 규칙, robots.txt, 네이버 검색로봇 접근 여부를 차례대로 확인하는 것이 좋습니다.
특히 새 사이트라면 검색엔진이 사이트 구조를 인식하는 데 시간이 필요할 수 있으므로 설정이 정상임을 확인한 뒤 실제 콘텐츠를 꾸준히 발행하는 것이 더 중요합니다.