Robots.txt

读取 /robots.txt 内容。

等待查询输入域名或 URL 后点击查询
使用说明

Robots.txt查看:读取站点 /robots.txt,检查爬虫规则与 Sitemap 声明。

查询结果仅供参考,请以官方或权威数据源为准。