抓取统计

抓取统计是搜索引擎提供的抓取数据汇总，用来看引擎在某个站点上抓了多少次、抓了哪些页面、服务器给出什么响应^[2]。页面先能被抓取和索引，才谈得上排名^[5]。做 SEO 的人要关心它，因为抓取是收录的前一步，抓取数据异常往往先于收录问题出现。看懂这几组数据，能把排查方向从猜测收敛到具体环节。

数据在哪里看

• Google：Search Console 的抓取统计信息报告，提供抓取历史、响应码分布与主机可用性^[2]；
• Bing：网站管理员工具的 Crawl Information，给出抓取错误页面清单^[1]；
• 百度：搜索资源平台的抓取诊断与抓取频次两处^[3]。

百度抓取诊断用百度蜘蛛的视角查看抓取到的内容，每站每周有次数限制^[3]。抓取频次页给出频次曲线，并允许站长提出调整请求^[4]。

数据的读法

报告把请求分成几组，逐组看能定位问题：

1. 响应码：2xx 占比高说明抓取顺利，5xx 与 403 上升要查可用性；
2. 抓取目的：Google 按抓取目的与抓取工具类型分组^[2]；
3. 文件类型与下载体积：体积异常偏大，要查大文件是否被反复抓；
4. 主机可用性：请求超出红色上限线的时段，抓取被压制^[2]。

Google 说明，报告里的网址是实际请求的网址，重定向链上的每一跳各算一次请求^[2]。所以总量里混着重定向，不能直接当成收录数量。

异常数据的排查顺序

1. 看主机可用性，确认有没有 5xx 与超时；
2. 看响应码分布，区分服务器错误与封禁；
3. 看抓取目的，确认抓取是否花在低价值页面；
4. 看频次曲线，判断是骤降还是骤增。

常见误用

一个误用是把抓取次数当成收录量。抓取只是进入索引的前一步，抓得多不等于收录多。

另一个误用是只看请求总量，不看响应码。总量平稳，服务器却在大面积返回 5xx，问题会被总量掩盖。

还有一种误用是忽略重定向的重复计数。链上每一跳都算一次请求，把总量当成独立地址数会高估抓取覆盖^[2]。

最后一种误用是拿抓取统计逐页核对，忽略报告本身的口径限制。报告只覆盖当前域名，站外资源与同级子域的请求不在其中^[2]。

附录

参见

• 抓取需求
• 抓取容量
• 反向 DNS 验证

参考资料

官方（境外）

1. 《bingbot Series: Getting most of Bingbot via Bing Webmaster Tools》，Bing Webmaster Blog，2018-12-04。
2. 《抓取统计信息报告》，Google Search Console 帮助，2025 更新。

官方（国内）

3. 《平台工具使用手册（抓取诊断）》，百度搜索资源平台，2020-08-14 更新。
4. 《平台工具使用手册（抓取频次）》，百度搜索资源平台，2020-08-14 更新。

第三方

5. 《SEO》，The Web Almanac by HTTP Archive，2026-01-15。

外部链接

无。