Robots.txt / sitemap チェック

使い方

ブラウザからrobots.txtまたはサイトマップのURLへ直接GETし、HTTPステータスと、文字どおりのSitemap:行または<url>タグ数を表示します。

公開robots.txtやsitemapのHTTP状態と簡単な項目数を確認します。

💡 かんたん3ステップ利用ガイド

1

公開HTTP/HTTPS URLを入力します。robotsやXML本文の貼り付けではありません。

2

サイトURLならルートのrobots.txtとsitemap.xml、ファイルURLなら直接読みます。

3

HTTP状態を確認します。XMLは正確な<url>の出現数、robotsはSitemap:宣言数だけを数えます。

利用場面

サイトURLを入力すると同一オリジン直下の/robots.txtと/sitemap.xmlを確認し、robots.txtまたは.xmlのURLならそのアドレスだけを確認します。

計算・処理方法

GoGo Toolsのバックエンドを経由せず、ブラウザのfetchを使います。XMLは大文字・小文字を区別した文字列<url>だけ、robots.txtは行頭のSitemap:を大文字・小文字を区別せず数えます。XML、サイトマップインデックス、圧縮ファイル、robots.txtの規則は解析しません。

具体例

例：https://example.comを入力すると、https://example.com/robots.txtとhttps://example.com/sitemap.xmlを順に取得します。

制限とデータ処理

別オリジンのサーバーがCORSを許可しない場合、ブラウザは本文を読めず、手動リンクを作らずエラー文だけを表示します。独自のタイムアウトやキャッシュはなく、サイトマップインデックス、名前空間、圧縮されたサイトマップファイル、robots.txtの規則も解析しません。

ブラウザから対象サイトへ直接GETするため、対象サイトには利用者からのネットワーク要求が届きます。URLをGoGo Toolsのバックエンドへ送信せず、分析イベントにもURLや応答本文は含まれません。