Robots.txt / sitemap checker
内容はブラウザ内でのみ処理されます。機密tokenや非公開データを貼り付けないでください。
使い方
ブラウザからrobots.txtまたはサイトマップのURLへ直接GETし、HTTPステータスと、文字どおりのSitemap:行または<url>タグ数を表示します。
WebサイトがGoogleに正しくインデックスされているかを点検するためのSEO検証ツールです。robots.txtのブロック設定ミスやsitemap.xmlの構文エラーを素早く見つけ出し、検索順位の下落や登録漏れを防ぎます。
💡 かんたん3ステップ利用ガイド
自社サイトのrobots.txtのテキストまたはsitemap.xmlを貼り付けます。
User-agent、Disallow、Allowの記述に構文エラーや矛盾がないかをチェックします。
検索エンジンの巡回を誤って遮断していないか、重要な修正点を把握できます。
利用場面
サイトURLを入力すると同一オリジン直下の/robots.txtと/sitemap.xmlを確認し、robots.txtまたは.xmlのURLならそのアドレスだけを確認します。
計算・処理方法
GoGo Toolsのバックエンドを経由せず、ブラウザのfetchを使います。XMLは大文字・小文字を区別した文字列<url>だけ、robots.txtは行頭のSitemap:を大文字・小文字を区別せず数えます。XML、サイトマップインデックス、圧縮ファイル、robots.txtの規則は解析しません。
具体例
例：https://example.comを入力すると、https://example.com/robots.txtとhttps://example.com/sitemap.xmlを順に取得します。
制限とデータ処理
別オリジンのサーバーがCORSを許可しない場合、ブラウザは本文を読めず、手動リンクを作らずエラー文だけを表示します。独自のタイムアウトやキャッシュはなく、サイトマップインデックス、名前空間、圧縮されたサイトマップファイル、robots.txtの規則も解析しません。
ブラウザから対象サイトへ直接GETするため、対象サイトには利用者からのネットワーク要求が届きます。URLをGoGo Toolsのバックエンドへ送信せず、分析イベントにもURLや応答本文は含まれません。
Robots.txt・Sitemap XML仕様と検索エンジンクロール最適化ガイド
1. Robots.txt 仕様（IETF RFC 9309）の基本原則
検索エンジンのクローラー（Googlebotなど）に対して、サイト内のどのディレクトリのクロールを許可・制限するかを制御する国際標準プロトコルです。
2. XMLサイトマップ仕様と多言語Hreflangタグ
sitemaps.org 0.9規格に準拠し、正規URLのリストと更新日時（lastmod）、多言語展開用のhreflang情報を検索エンジンへ正確に通知します。
3. クロールバジェットの最適化とSEO効果
無駄なURLへのクローラー巡回を抑制し、重要なコンテンツのインデックス登録速度を高める設定テクニックを解説します。
Feedback
このツールへのフィードバック
ツールの提案や不具合報告を送れます。
よくある質問
Robots.txt / sitemap チェック：対象URLはどのように決まりますか？
一般のサイトURLではパスを使わず、同一オリジン直下の/robots.txtと/sitemap.xmlを確認します。URLのパスがrobots.txtまたは.xmlで終わる場合は、入力した完全なURLだけを確認します。
Robots.txt / sitemap チェック：結果には何を表示しますか？
読み取れた各応答について対象URL、HTTPステータス、Sitemap:行数または文字どおりの<url>タグ数を表示します。この文字列カウントだけでは規則、XML、記載URLの有効性を確認できません。
Robots.txt / sitemap チェック：CORSと形式にはどのような制限がありますか？
別オリジンのサーバーがCORSを許可しない場合、ブラウザは本文を読めず、手動リンクを作らずエラー文だけを表示します。独自のタイムアウトやキャッシュはなく、サイトマップインデックス、名前空間、圧縮されたサイトマップファイル、robots.txtの規則も解析しません。
Robots.txt / sitemap チェック：入力URLはどこへ送られますか？
ブラウザから対象サイトへ直接GETするため、対象サイトには利用者からのネットワーク要求が届きます。URLをGoGo Toolsのバックエンドへ送信せず、分析イベントにもURLや応答本文は含まれません。
