Robots.txt / sitemap checker
내용은 브라우저에서만 처리됩니다. 민감한 token이나 비공개 데이터를 붙여 넣지 마세요.
사용 방법
브라우저에서 robots.txt 또는 사이트맵 URL로 직접 GET 요청을 보내고 HTTP 상태와 문자 그대로의 Sitemap: 줄 또는 <url> 태그 수를 표시합니다.
내 웹사이트가 구글이나 네이버 검색 결과에 나오지 않을 때 필수적인 SEO 진단 도구입니다. robots.txt의 수집 거부 설정과 sitemap.xml의 문법 오류를 점검하여 검색엔진 로봇이 사이트를 원활히 크롤링하도록 돕습니다.
💡 3단계 초간단 사용 가이드
검사하고자 하는 robots.txt 파일 내용이나 sitemap.xml 텍스트를 붙여넣습니다.
User-agent, Disallow, Allow 등 크롤러 접근 차단 규칙의 오류를 자동 분석합니다.
실수로 핵심 페이지가 검색 로봇으로부터 차단되어 있지 않은지 즉시 파악합니다.
활용 상황
사이트 URL을 입력하면 같은 출처 루트의 /robots.txt와 /sitemap.xml을 확인하고 robots.txt 또는 .xml URL을 입력하면 해당 주소만 확인합니다.
계산 또는 처리 방식
GoGo Tools 백엔드를 거치지 않고 브라우저 fetch를 사용합니다. XML은 대소문자를 구분한 문자 그대로의 <url>만 세고 robots.txt는 줄 시작의 Sitemap:을 대소문자 구분 없이 셉니다. XML, 사이트맵 색인, 압축 파일이나 robots.txt 규칙은 분석하지 않습니다.
구체적인 예시
예: https://example.com을 입력하면 https://example.com/robots.txt와 https://example.com/sitemap.xml을 차례로 요청합니다.
제한 및 데이터 처리
다른 출처 서버가 CORS를 허용하지 않으면 브라우저가 본문을 읽지 못하며 수동 링크 없이 오류 문구만 표시합니다. 별도 시간 제한이나 캐시는 없고 사이트맵 색인, 이름 공간, 압축 사이트맵 또는 robots.txt 규칙도 분석하지 않습니다.
브라우저가 대상 사이트로 직접 GET을 보내므로 대상 사이트는 사용자의 네트워크 요청을 받습니다. URL은 GoGo Tools 백엔드로 보내지 않으며 분석 이벤트에도 URL이나 응답 본문은 포함되지 않습니다.
Robots.txt 제외 프로토콜, Sitemap XML 규격 및 크롤링 최적화 가이드
1. Robots.txt 로봇 배제 표준(RFC 9309)
구글, 네이버 등 검색엔진 로봇의 웹페이지 접근을 제어하는 국제 표준 프로토콜입니다. Allow, Disallow, Sitemap 지시어의 올바른 작성법을 안내합니다.
2. XML 사이트맵 규격 및 다국어 Hreflang 태그
sitemaps.org 표준 XML 사이트맵 형식을 검증하고, 다국어 사이트의 검색엔진 색인 효율을 높이는 hreflang 연결 방식을 다룹니다.
3. 크롤링 예산(Crawl Budget) 관리와 SEO
검색로봇이 핵심 가치 페이지를 우선적으로 빠르게 수집할 수 있도록 크롤링 경로를 최적화하는 전략입니다.
Feedback
이 도구에 대한 피드백
도구 제안이나 오류 신고를 보내주세요.
자주 묻는 질문
Robots.txt/sitemap 검사기: 대상 URL은 어떻게 정하나요?
일반 사이트 URL은 경로를 무시하고 같은 출처 루트의 /robots.txt와 /sitemap.xml을 확인합니다. URL 경로가 robots.txt 또는 .xml로 끝나면 입력한 전체 URL만 확인합니다.
Robots.txt/sitemap 검사기: 결과에는 무엇을 표시하나요?
읽을 수 있는 각 응답의 대상 URL, HTTP 상태와 Sitemap: 줄 수 또는 문자 그대로의 <url> 태그 수를 표시합니다. 이 문자열 개수만으로 규칙, XML이나 수록 URL의 유효성을 확인할 수는 없습니다.
Robots.txt/sitemap 검사기: CORS와 형식에는 어떤 제한이 있나요?
다른 출처 서버가 CORS를 허용하지 않으면 브라우저가 본문을 읽지 못하며 수동 링크 없이 오류 문구만 표시합니다. 별도 시간 제한이나 캐시는 없고 사이트맵 색인, 이름 공간, 압축 사이트맵 또는 robots.txt 규칙도 분석하지 않습니다.
Robots.txt/sitemap 검사기: 입력 URL은 어디로 전송되나요?
브라우저가 대상 사이트로 직접 GET을 보내므로 대상 사이트는 사용자의 네트워크 요청을 받습니다. URL은 GoGo Tools 백엔드로 보내지 않으며 분석 이벤트에도 URL이나 응답 본문은 포함되지 않습니다.
