SEO 百科
Googlebot
本页目录
Googlebot
Googlebot 是抓取器，Google 用它取回网页内容。这是个通用名字，下面分两种：智能手机版与桌面版[1]。日志里见到它，说明引擎正在按自己的节奏取回内容；这一路抓取工具的频率、上限和规则，都写在 Google 的抓取工具文档里。
两个版本各模拟一种设备
智能手机版模拟移动设备用户的访问，桌面版模拟桌面设备用户[1]。两个版本的用户代理字符串都带 Googlebot/2.1，后面还挂一条链接，指向 google.com/bot.html。区别在前面的设备描述[2]。
移动端占多数访问以后，Google 用移动版抓取工具作为网站默认抓取工具[3]。老式的两种字符串仍偶尔出现，判断时不能只按一种写法匹配[2]。
robots.txt 里的令牌
robots.txt 里给它的令牌写作 Googlebot[2]。Google 给的组示例分两半：user-agent: Googlebot 一行，allow 与 disallow 各一行。
图片、视频、新闻各有自己的令牌，Googlebot-Image、Googlebot-Video、Googlebot-News[2]。这三个令牌都能用 Googlebot 一并影响，Googlebot News 没有单独的 HTTP 用户代理字符串，抓取时借用各种 Googlebot 字符串[2]。
受影响的产品范围也写在这份表里。针对 Googlebot 的抓取偏好会影响 Google 搜索、Google 图片、Google 视频、Google 新闻和 Google 探索[2]。也就是说改一行 robots.txt，动的不是单一产品。
频率与负载
对大多数网站，Googlebot 的平均访问频率不会高于几秒钟一次[1]。因为存在延迟，一小段时间内这个频率可能略高一些[1]。
跟不上时站长有申诉的入口。Google 说明，如果网站跟不上 Google 的抓取请求频率，可以按流程把抓取速度调慢[1]。这条通道针对的是引擎抓得太快，不是站点自己希望少抓。
单个网址的字节上限
为 Google 搜索抓取时，Googlebot 取受支持文件类型中的前 2MB 内容，PDF 取前 64MB[1]。上限按未压缩的数据计算，达到上限就停止抓取，只把已下载的部分送去编入索引[1]。
HTML 里引用的资源单独算。CSS 和 JavaScript 各自抓取，各自受同样的文件大小限制约束[1]。Google 其他抓取工具可能另有限制[4]。
地址来源与时区
常用抓取工具的 IP 范围由 common-crawlers.json 公布[2]。主机名的反向 DNS 掩码有两种：crawl-* 开头、以 .googlebot.com 收尾，这是第一种；geo-crawl-* 开头、以 .geo.googlebot.com 收尾，这是第二种[2]。
从美国 IP 抓取内容时，Googlebot 的时区是太平洋时间[1]。核对日志里的时间戳要按这个时区换算，否则会把抓取节奏读错。
附录
参见
参考资料
官方（境外）
- 《Googlebot》，Google 搜索中心。
- 《Google 常用抓取工具列表》，Google 抓取工具文档。
- 《网站的 SEO 维护》，Google 搜索中心。
- 《Google 抓取工具和抓取器（用户代理）概览》，Google 抓取工具文档。