Robots.txt/sitemap 검사기

사용 방법

브라우저에서 robots.txt 또는 사이트맵 URL로 직접 GET 요청을 보내고 HTTP 상태와 문자 그대로의 Sitemap: 줄 또는 <url> 태그 수를 표시합니다.

공개 robots.txt나 sitemap의 HTTP 상태와 간단한 항목 수를 확인합니다.

💡 3단계 초간단 사용 가이드

1

공개 HTTP/HTTPS URL을 입력하세요. robots나 XML 내용을 붙여 넣는 방식이 아닙니다.

2

사이트 URL이면 루트 robots.txt와 sitemap.xml을 읽고 파일 URL이면 직접 읽습니다.

3

HTTP 상태를 확인하세요. XML은 정확한 <url> 출현 수, robots는 Sitemap: 선언 수만 셉니다.

활용 상황

사이트 URL을 입력하면 같은 출처 루트의 /robots.txt와 /sitemap.xml을 확인하고 robots.txt 또는 .xml URL을 입력하면 해당 주소만 확인합니다.

계산 또는 처리 방식

GoGo Tools 백엔드를 거치지 않고 브라우저 fetch를 사용합니다. XML은 대소문자를 구분한 문자 그대로의 <url>만 세고 robots.txt는 줄 시작의 Sitemap:을 대소문자 구분 없이 셉니다. XML, 사이트맵 색인, 압축 파일이나 robots.txt 규칙은 분석하지 않습니다.

구체적인 예시

예: https://example.com을 입력하면 https://example.com/robots.txt와 https://example.com/sitemap.xml을 차례로 요청합니다.

제한 및 데이터 처리

다른 출처 서버가 CORS를 허용하지 않으면 브라우저가 본문을 읽지 못하며 수동 링크 없이 오류 문구만 표시합니다. 별도 시간 제한이나 캐시는 없고 사이트맵 색인, 이름 공간, 압축 사이트맵 또는 robots.txt 규칙도 분석하지 않습니다.

브라우저가 대상 사이트로 직접 GET을 보내므로 대상 사이트는 사용자의 네트워크 요청을 받습니다. URL은 GoGo Tools 백엔드로 보내지 않으며 분석 이벤트에도 URL이나 응답 본문은 포함되지 않습니다.