Robots.txt / sitemap 檢查器

瀏覽器會直接向輸入網站發出 GET 請求;網址及連線資訊會傳給該網站。CORS 或網路錯誤可能使讀取失敗。請只輸入公開網址。

使用說明

從瀏覽器直接 GET robots.txt 或 sitemap URL,顯示 HTTP 狀態並計算字面上的 Sitemap: 列或 <url> 標籤。

讀取公開網站的 robots.txt 或 sitemap HTTP 狀態及簡單項目數。

💡 3 步驟快速上手

1

輸入公開 HTTP/HTTPS 網址;不是貼上 robots 或 XML 內容。

2

一般網站網址會讀取根目錄 robots.txt 及 sitemap.xml,檔案網址則直接讀取。

3

查看 HTTP 狀態;XML 只計算精確 <url> 出現次數,robots 只計算 Sitemap: 宣告數。

適用情境

輸入網站首頁時會檢查同源根目錄的 /robots.txt 與 /sitemap.xml;輸入 robots.txt 或 .xml URL 時只檢查該網址。

計算或處理方式

工具使用瀏覽器 fetch,不經 GoGo Tools 後端。XML 只以區分大小寫的 <url> 字串計數;robots.txt 只以每行開頭的 Sitemap:(不分大小寫)計數。它不解析 XML、sitemap 索引、壓縮檔或 robots 規則。

具體範例

範例:輸入 https://example.com 會依序嘗試 https://example.com/robots.txt 與 https://example.com/sitemap.xml。

限制與資料處理

跨來源伺服器未允許 CORS 時,瀏覽器無法讀取內容,工具只顯示錯誤文字,不會產生手動連結。工具沒有自訂逾時或快取,也不解析 sitemap 索引、命名空間、壓縮 sitemap 檔或 robots 規則。

瀏覽器會直接向目標網站傳送 GET,因此目標站會收到來自你的網路請求;網址不會送到 GoGo Tools 後端。分析事件不包含輸入網址或回應內容。

Robots.txt / sitemap 檢查器使用指南

操作與限制

輸入公開 HTTP/HTTPS 網址;不是貼上 robots 或 XML 內容。

一般網站網址會讀取根目錄 robots.txt 及 sitemap.xml,檔案網址則直接讀取。

查看 HTTP 狀態;XML 只計算精確 <url> 出現次數,robots 只計算 Sitemap: 宣告數。

瀏覽器直接向該網站發出 GET;網址及連線資訊傳给該網站,CORS 或網路錯誤可能阻擋讀取。

不分析 Allow/Disallow 規則、不驗證 XML 語法或 Google 收錄狀態;爬取限制不保證移除索引,noindex 需允許爬取。

常見問題

Robots.txt / sitemap 檢查器:網址會如何選擇?

一般網站網址會忽略其路徑,改查同源根目錄的 /robots.txt 與 /sitemap.xml;網址路徑以 robots.txt 結尾或 .xml 結尾時,只查輸入的完整網址。

Robots.txt / sitemap 檢查器:結果會顯示什麼?

每個可讀取的回應會顯示目標網址、HTTP 狀態,以及 Sitemap: 行數或字面 <url> 標籤數。這只是文字計數,不代表規則、XML 或 URL 都有效。

Robots.txt / sitemap 檢查器:CORS 與格式有哪些限制?

跨來源伺服器未允許 CORS 時,瀏覽器無法讀取內容,工具只顯示錯誤文字,不會產生手動連結。工具沒有自訂逾時或快取,也不解析 sitemap 索引、命名空間、壓縮 sitemap 檔或 robots 規則。

Robots.txt / sitemap 檢查器:輸入網址會傳送到哪裡?

瀏覽器會直接向目標網站傳送 GET,因此目標站會收到來自你的網路請求;網址不會送到 GoGo Tools 後端。分析事件不包含輸入網址或回應內容。