SEO 百科

站点抓取控制

本页目录

站点抓取控制

站点抓取控制指站长用 robots.txt、抓取频次、返回码和内链结构等手段，把引擎的抓取引到重要页面，同时减少浪费[3]。页面先能被抓取和索引，才谈得上排名[5]。做 SEO 的人要关心它，因为抓取时间有限，落在低价值页面上的时间多了，重要页面就排不上。控制的目标不是少抓，而是抓得准。

robots.txt 的引导作用

用 Disallow 挡住重复页面和无用参数页，能减少无效抓取[3]。但被挡住的地址不会被抓，如果这些地址还需要收录，就不该用 robots.txt 挡。

Google 说明，用 robots.txt 挡住网址，会明显降低它被编入索引的机会[3]。想让页面留在索引里，就不该把它挡在抓取之外。

robots.txt 只影响抓取，不负责移出已收录页面。页面想从结果里消失，要用 noindex 之类的办法。

# 挡住站内搜索结果页与筛选参数页，减少无效抓取
User-agent: *
Disallow: /search
Disallow: /*?sort=

抓取频次与返回码

  • 在 robots.txt 里写 Crawl-delay 放慢抓取，Bing 支持这条指令[1]；
  • 用 Bing 的 Crawl Control 按时段设置抓取速度，高峰慢、低谷快[2]；
  • 在百度抓取频次工具里提交调整抓取量[4]；
  • 对失效页面返回 404 或 410，不要长期返回 200。

Google 说明，返回 4xx 的页面不会浪费抓取预算，429 除外[3]。把已删除的页面改成正常返回，能省下被抓的时间。

内链结构的引导

内链决定引擎先发现哪些页面。重要页面要从首页或栏目页用普通 <a> 元素指向，不要藏在脚本点击事件后面[3]。链接文本要写清目标内容，写到两个标签之间。

<a href="https://www.example.com/guide">操作指南</a>

常见误用

一个误用是把该收录的页面挡在 robots.txt 之外。抓取被切断，收录机会随之降低[3]。

另一个误用是用 nofollow 阻止抓取。站外页面仍有链接指向时，这个网址照样会被抓[3]。

还有一种误用是只调抓取频次，不改内链结构。频次上去了，重要页面仍然没有被链接到，引擎发现不了。

附录

参见

参考资料

官方（境外）

  1. 《Crawl delay and the Bing crawler, MSNBot》，Bing Webmaster Blog，2009-08-10。
  2. 《bingbot Series: Getting most of Bingbot via Bing Webmaster Tools》，Bing Webmaster Blog，2018-12-04。
  3. 《面向大型网站所有者的抓取预算管理指南》，Google 搜索中心，2025 更新。

官方（国内）

  1. 《平台工具使用手册（抓取频次）》，百度搜索资源平台，2020-08-14 更新。

第三方

  1. 《SEO》，The Web Almanac by HTTP Archive，2026-01-15。

外部链接

无。