SEO 百科

抓取容量

本页目录

抓取容量，指搜索引擎在不把服务器拖垮的前提下，能给一个网站分配的最大抓取强度，官方叫抓取容量上限^[2]。它和抓取需求一起决定抓取预算。页面先能被抓取和索引，才谈得上排名^[4]。做 SEO 的人要关心它，因为它决定了引擎一天能抓多少页面。服务器慢或者报错，引擎会主动降速。

抓取容量由什么决定

引擎按一套容量上限控制抓取，上限包含两件事：同时打开的并行连接数，以及两次抓取之间的等待时间^[2]。它想覆盖所有重要内容，又不想让服务器过载。

上限不是固定的。站点响应稳定、延迟和首字节时间不上升，上限会调高；站点变慢或返回服务器错误，上限会调低，抓取量随之下降^[2]。

Bing 提醒过，抓取速度由很多因素合成，页面总数、内容体积、更新频率和带宽都会写进这个速度^[1]。带宽越低，可供抓取的容量就越小。

百度说明，抓取压力既按 IP 控制，也按域名控制，因为一个域名可能对应多个 IP，多个域名也可能共用一个 IP^[3]。百度还提供频次调整入口，站长可以提出增加或减少抓取的请求。

容量是上限，需求是意愿，缺一边都不行。容量不足时，即使引擎很想抓，也只能排队；需求不足时，容量再高也不会被用满^[2]。

一个误用是以为容量越大抓取越多。容量只是允许的强度，愿不愿意抓由需求决定。

另一个误用是让服务器长期慢响应。响应慢会被判定为可用性问题，引擎下调上限，新页面收录随之变慢^[2]。

还有一种误用是把频次设置调到最高，指望抓取增加。Google 明确说过，调高上限并不会自动提高抓取^[2]。

无。