SEO 百科

robots.txt 测试器

本页目录

robots.txt 测试器

robots.txt 测试器 是一类校验工具，用来检查 robots.txt 里的规则，输入一条网址和一个爬虫名字，就能看到该爬虫能不能抓取这条网址[3]。

规则写错是抓取问题里最常见的一类原因。测试器把匹配结果摊开，让人在上线之前先看出问题[1]。

它能做什么

测试器读入 robots.txt 的内容，再拿一条网址和指定的爬虫去比对，返回允许或者禁止。它能指出命中的是哪一条规则，也能列出文件里的解析错误。

Google 的 robots.txt 报告还会按文件给出抓取状态、抓取时间和大小，并把解析问题分成错误与警告两类[3]。错误会让对应规则失效，警告不会，两者要分开看。

官方提供的测试工具

各家站长平台都带测试入口，覆盖的爬虫和显示的信息不完全一样。

  • Google 搜索中心的 robots.txt 报告，按域名级资源列出前 20 个主机的 robots.txt 文件与抓取状态[3]；
  • Bing 网站站长工具的 Robots.txt Tester，用来验证文件，确认 bingbot 能访问关键内容[1]；
  • 百度搜索资源平台的 Robots 工具，能创建、校验、更新文件，也能查看文件在百度生效的情况[5]；
  • Yandex 提供 Robots.txt analysis 工具，用来检查文件里的指令是否正确[2]。

这些工具都要求先把文件放到网站根目录。放在子目录的文件，引擎不会去读[6]。

验证规则是否生效

上线前后都可以按几步核对：

  1. 在浏览器访问 域名/robots.txt，确认返回的内容是最新版；
  2. 在测试器里挑几条关键网址，分别测目标爬虫，看匹配结果是否符合预期；
  3. 打开平台的报告，把错误逐条改掉，警告看情况处理[3]；
  4. 看抓取统计与抓取频次，确认爬虫请求有没有按预期变化[5]。

改动不会立刻生效。引擎会缓存 robots.txt 一段时间，Google 报告里可以请求重新抓取，但这不保证被放行的网址马上被重新抓取[3]。

局限

测试器读的是引擎缓存的版本，不一定等于刚上传的文件。缓存没过期时，测出来的还是旧规则[3]。

它只判断抓取，不判断收录。测试器说允许抓取，页面照样可能因为别的原因不进结果[3]。

第三方工具也值得留个心眼。部分调试工具本身受 robots.txt 制约，被文件挡住时会直接失败，让人误以为服务器有问题[4]。行业年度报告里，robots.txt 的规模、命名的爬虫都在长期观测项中，可见这类文件的写法一直被关注[7]。

常见误用

一种误用是把测试结果当成收录结论。测试器只管能不能抓，抓到之后收不收是另一回事[3]。

另一种误用是只看单条网址的测试，不看报告里的解析错误。文件里一条坏规则可能让整组规则失效，报告中会单独列出[3]。

还有一种误用是改完文件就不管了。没请求重新抓取，也没等缓存过期，测出来的仍是旧规则，白测一场[3]。

附录

参见

参考资料

官方（境外）

  1. 《Start Using Bing Webmaster Tools to Improve Your Site Visibility》，Bing 网站站长博客，2025-06-17。
  2. 《How do I remove pages from the search?》，Yandex。
  3. 《robots.txt 报告》，Google 搜索中心。
  4. 《调试网页》，Google 搜索中心。

官方（国内）

  1. 《Robots 使用说明》，百度搜索资源平台。
  2. 《平台工具使用手册（robots）》，百度搜索资源平台，2020-08-14 更新。

第三方

  1. 《SEO》，HTTP Archive《Web Almanac》，2026-01-15 发布。

外部链接

无。