SEO 百科
抓取的常见误区
本页目录
抓取的常见误区
抓取的常见误区 指几件事，站长在抓取这一环上反复判错。错的根源多半是把抓取当成收录，或者把抓取当成排名，这三件事在 Google 的说明里分得很清楚，各自的判定条件和失败点都不一样[1]。
交了站点地图就等于交完作业
站点地图管的是发现和优先级。Google 的说明是，虽然它不会只抓取站点地图中列出的网页，但会优先抓取这些网页[2]。
反过来说，链接得当的话，Google 通常能发现网站上大多数网页[3]。所以站点地图不是收录的申请单。页面有没有被抓、有没有进索引，都要另外核对[1]。
抓得越勤越好
频率不是越高越划算。Google 对自家抓取工具的定位是：它的主要任务是抓取网站，同时确保抓取操作不会导致网站的用户体验下降[4]。对大多数网站，平均访问频率不会高于几秒钟一次[5]。
跟不上时才有申请调慢的入口，这条通道是给服务器压力准备的，不是给希望多抓的站点准备的[5]。指望改服务器配置引诱引擎多抓，方向本身就不对。
屏蔽抓取就等于屏蔽索引
robots.txt 挡的是抓取动作。Google 明确说，robots.txt 不是拿来挡索引的，要挡索引得改用 noindex 标记或者登录要求[2]。
这一点还牵出一个反效果：被屏蔽的网页不太可能出现在搜索结果中，但起作用的不是这条规则本身[6]。用 robots.txt 挡敏感页，结果可能是页面仍被收录、只有内容没了。
文件太大只是丢结尾
字节上限按未压缩的数据计。Googlebot 到 2MB 停止抓取，只把已下载的部分送去编入索引，PDF 的限额是 64MB[5]。Google 抓取工具的默认上限是前 15MB，各项目另设自己的值[6]。
丢的未必是结尾。内容排在文件后段时，那一段在引擎看来根本不存在[5]。页面引用的 CSS 与 JavaScript 单独抓，也各自受同样的限制[5]。
抓不到就是被封了
抓不到的原因分两种：站点自己挡的和网站出毛病。Google 列出的常见抓取问题就三条：服务器在处理网站时出现问题、网络问题、robots.txt 规则阻止访问[1]。
先按这三条排查再谈其他。把服务器超时读成对手做了负向 SEO，会拖久真正的问题。
花钱能换来更多抓取
Google 的说法没有余地：它不会通过收取费用来提高网站抓取频率或网站排名，任何与此不符的消息均是子虚乌有[1]。这一条同时否掉两类报价，一类是付费加快抓取，一类是付费提高名次。
附录
参见
参考资料
官方（境外）
- 《关于 Google 搜索运作方式的深度指南》，Google 搜索中心。
- 《网站的 SEO 维护》，Google 搜索中心。
- 《了解站点地图》，Google 搜索中心。
- 《解决与 Google 搜索相关的 JavaScript 问题》，Google 搜索中心。
- 《Googlebot》，Google 搜索中心。
- 《Google 抓取工具和抓取器（用户代理）概览》，Google 抓取工具文档。