SEO 百科

抓取速率

本页目录

抓取速率指的是 Google 抓取工具在一段时间内向网站发出请求的数量[3]。抓取速率的目标是每次访问都尽量多抓，同时又不过多占用服务器带宽[3]。

速率的决定

抓取速率不是固定的，而是 Google 的抓取基础架构算出来的[2][3]。

抓取速率的目标有两头。一头是尽量多抓网页，另一头是不让网站带宽被过度占用[3]。所以速度会随着网站的响应状况浮动。

这一点和抓取容量上限是一回事的两面。服务器响应稳定，Google 就敢用更多连接；服务器变慢或报错，抓取量就会减少[4]。

速率上升的原因

抓取量突然升高，通常不是无缘无故的[3]。

官方总结过几类常见原因：

  • 网址配置效率低，其中最典型的是分面导航，以及其他排序和过滤功能[3]。
  • 日历，日历会生成大量带日期的网址[3]。
  • 动态搜索广告的定位条件[3]。

这些情况有个共同点：大量无用的组合把网址空间放大了。

减速的方式

如果抓取给服务器带来沉重负载，可以选择主动减速[1][3]。

做法是让服务器返回 500、503 或 429 这类状态代码，而不是 200[3]。

以返回 503 为例，一次抓取请求的应答如下：

GET /products/cnc-lathe HTTP/1.1
Host: www.example.com

HTTP/1.1 503 Service Unavailable

当 Google 遇到大量这类响应，就会放慢对网站的抓取[3]。

这种减速作用于整个主机名。也就是说，返回错误和正常返回的网址会一起放慢[3]。等错误减少，速度会自动回升[3]。

还有一种更温和的途径：向 Google 提交特殊请求，说明网站的合适速度[3]。但只能请求降速，不能请求提速，而且评估需要几天时间[3]。

与抓取预算的关系

抓取速率与抓取预算关系很近，但不是同一件事[4]。

速率关注的是快慢，预算关注的是总量[4]。前者主要受服务器承受能力的约束，后者还要看上层有多少抓取需求[4]。

也就是说，速率是抓取在时间上的表现，预算则是抓取在资源上的分配。

附录

参见

参考资料

官方（境外）

  1. 《Crawl Control》，Bing 网站管理员工具。
  2. 《bingbot Series: Maximizing Crawl Efficiency》，Bing 网站管理员博客。
  3. 《减慢 Google 抓取速度》，Google 搜索中心。
  4. 《优化抓取预算》，Google 搜索中心。

外部链接

无。