抓取入口 · robots.txt 与 Sitemap 配置检查

robots.txt / Sitemap 检查

检查 robots.txt 抓取规则、Sitemap 与 Sitemap Index 的可用性和基本结构,识别全站抓取阻断、跨主机 URL、无效地址与站点地图配置问题。

robots.txt检查 HTTP 状态、规则数量、全站 Disallow 和 Sitemap 声明。
Sitemap检查 sitemap.xml / Sitemap Index、有限子文件、URL 数量与跨主机/无效 URL。
安全边界沿用统一安全出站策略、同主机限制与固定检查上限。
检查边界不会逐个探活 Sitemap 中的页面,不递归爬取,也不执行全站或批量扫描。