SEO 百科

抓取需求

本页目录

抓取需求，指搜索引擎有多大意愿来抓某个网站的页面。它和抓取容量一起，决定一个网站能拿到多少抓取预算^[2]。页面先能被抓取和索引，才谈得上排名^[4]。做 SEO 的人要关心它，因为页面能不能很快被收录，常常取决于引擎愿不愿意优先来抓。需求偏低时，服务器再快，抓取量也上不去。

抓取需求从哪里来

引擎先认识网址，再决定先抓哪些。它通过站内链接、外部链接和站点地图发现网址，形成一份已知网址清单^[2]。清单越长，它默认想抓的页面就越多。

发现之后要排优先次序。引擎按页面的热门程度、内容时效和整站价值，决定先抓谁、过多久重抓一次^[2]。热门页面抓得更勤，容易过期的内容重抓间隔更短。

百度把影响因素归成几条：内容更新频率快的网站抓取更频繁，更新质量低的内容会拖累整体抓取，站点连通度差也会减少抓取^[3]。

Bing 也说明，站点内容更新频繁，抓取就会更勤，页面越多越需要更深更频繁的抓取^[1]。

四个因素左右引擎愿意花多少时间来抓：

抓取量由需求和容量两头共同决定。需求高而容量低，多出来的页面只能排队等待；需求低而容量高，抓取量仍然上不去^[2]。

Google 说得很直接：增加抓取预算只有两条路，一是提高服务器承受抓取的能力，二是提高内容对搜索用户的价值^[2]。

一个误用是把服务器性能当成抓取量的来源。容量只决定上限，愿不愿意抓由需求决定。

另一个误用是把站内全部网址都提交上去。重复页面和无用参数页会占用抓取时间，重要页面反而排在后面^[2]。

还有一种误用是给链接加 nofollow 来减少抓取消耗。只要站外页面或站内其他页面还有链接指向它，且链接没加 nofollow，这个网址照样会被抓^[2]。

最后一种误用是只看抓取总量，不看抓的是哪些页面。总量没变，抓取却都落在低价值页面上，重要页面仍然缺抓。

无。