SEO 百科

验证爬虫

本页目录

验证爬虫指的是核对一个访问服务器的请求是否真的来自 Google[3]。

三类的划分

Google 的抓取工具和抓取器分成三类[3]。

类别 对 robots 规则的态度
常见抓取工具 用于 Google 产品，始终遵守 robots.txt[3]
特殊情况下的抓取工具 执行特定功能，是否遵守不确定[3]
用户触发的抓取器 由最终用户的操作引发，因此会忽略 robots 规则[3]

手动核对

偶尔查一次，用命令行就够[3]。

  1. 反向解析访问的 IP 地址，得到一个主机名。
  2. 正向解析主机名[2][3]。

两次得到的地址要能对得上，而且主机名必须以 Google 的固定域名收尾[3]。

自动核对

规模变大时，用手工逐个查不现实[3]。

更合适的做法，是与 Google 公布的地址段清单比对[1][3]。官方为不同类别分别提供了清单，按需要取用即可[3]。

核对的意义

这项工作针对的是一类冒充行为[3]。

有人会自称来自 Google，实际却是垃圾内容发布者或别的麻烦制造者[3]。核对来源能帮你判断该放行还是该拦截[3]。此外，不同类别的抓取工具对 robots 规则的态度不同，决定如何处理时也要一并考虑[3]。

附录

参见

参考资料

官方（境外）

  1. 《Verify Bingbot》，Bing 网站管理员工具。
  2. 《How to Verify Bingbot》，Bing 网站管理员工具。
  3. 《验证来自 Google 抓取工具和抓取器的请求》，Google 搜索中心。

外部链接

无。