3.1 抓取管理

抓取预算、抓取速率与因此产生的抓取问题。

本节词条

• 分面导航 —— 分面导航指让访问者改变内容显示方式的网站功能，比如按产品或价格筛选和排序，问题出在常见的实现方式上。
• 抓取速率 —— 抓取速率指搜索引擎抓取工具在一段时间内向网站发出请求的数量，目标是在尽量多抓的同时不过多占用服务器带宽。
• 抓取错误 —— 抓取错误指搜索引擎抓取工具在请求网页时遇到的问题，网页抓不到，后面的收录和排名都无从谈起。
• 抓取预算 —— 抓取预算指的是搜索引擎能分配在一个网站上的抓取时间和资源，由抓取容量上限和抓取需求两部分共同决定。