SEO 百科
抓取错误
本页目录
抓取错误指的是 Google 抓取工具在请求网页时遇到的问题[2]。也就是说，网页如果抓不到，后面的收录和排名都无从谈起。
可用性问题
有一类问题不在网页本身，而在服务器能不能应付抓取[2]。
Googlebot 请求超出主机上限时，就会出现这类问题[2]。这意味着 Googlebot 从网站抓到的网址，会少于网站里发现的网址[2]。
这类问题会影响整个网站。这类问题不区分网页好坏，服务器忙不过来时，重要和不重要的网址都会被落下[2]。
服务器错误
Google 抓取工具会把 5xx 当作服务器过载的信号，并暂时放慢抓取速度[3]。已经编入索引的网址会先留在索引里，但如果问题持续，最终会被丢弃[3]。
429 也属于同一类，表示请求过多，Google 会按服务器错误处理[3]。等服务器重新以 2xx 正常响应，抓取速度会逐渐回升[3]。
客户端错误
4xx 这类状态代码，代表请求本身有问题[3]。
Google 不会使用返回 4xx 的网址里的内容[3]。如果这个网址之前已经被收录，它会被从索引中移除[3]。
也就是说，4xx 在告诉搜索引擎：这个网址没有内容，不必再考虑[3]。
软 404
有一种错误比较隐蔽，带着成功的状态代码[2]。
软 404 指的是这样的网页：页面向用户表明内容不存在，返回的却是 200 状态代码[1][2]。空页面或缺少主要内容，都可能算作软 404[2]。
这种错误的代价是双重的。用户会以为页面正常，随后却发现出了问题；搜索引擎则会继续抓取这些页面，持续消耗抓取预算[2]。
附录
参见
参考资料
官方（境外）
- 《404 Page best practices》，Bing 网站管理员工具。
- 《排查 Google 搜索抓取错误》，Google 搜索中心。
- 《HTTP 状态代码对 Google 抓取工具的影响》，Google 搜索中心。
第三方
外部链接
无。