3. 抓取与索引编制

让网页被找到、被收录的技术手段，以及变更、迁移和移除的处理。

本章各节

• 3.1 抓取管理 —— 抓取预算、抓取速率与因此产生的抓取问题。
• 3.2 robots.txt —— robots.txt 的规则、解读与提交更新。
• 3.3 站点地图 —— 站点地图的各类形态与提交方式。
• 3.4 变更通知 —— 把网址变更告诉搜索引擎的几种渠道。
• 3.5 规范化与重复内容 —— 同一内容有多个网址时如何指定规范版本。
• 3.6 收录控制 —— 控制网页是否进入索引的几种标记。
• 3.7 内容移除 —— 从搜索结果里移除自有内容、图片与个人信息。
• 3.8 渲染与 JavaScript —— JavaScript 页面的抓取与渲染问题。
• 3.9 网址与重定向 —— 网址的写法，以及重定向与状态码的含义。
• 3.10 站点迁移 —— 换域名、换托管、临时停站与实验的处理。
• 3.11 验证与安全 —— 爬虫验证、HTTPS 与站点被入侵的应对。