抓取入口 · robots.txt 與 Sitemap 設定檢查
robots.txt / Sitemap 檢查
檢查 robots.txt 抓取規則、Sitemap 與 Sitemap Index 的可用性和基本結構,識別全站抓取阻擋、跨主機 URL、無效地址與網站地圖設定問題。
robots.txt檢查 HTTP 狀態、規則數量、全站 Disallow 和 Sitemap 宣告。
Sitemap檢查 sitemap.xml / Sitemap Index、有限子文件、URL 數量與跨主機/無效 URL。
安全邊界沿用統一安全對外連線策略、同主機限制與固定檢查上限。
檢查邊界不會逐一探活 Sitemap 中的頁面,不遞迴爬取,也不執行全站或批次掃描。