2.2 爬虫与抓取器

各类爬虫的职责、识别方式与验证方法。

本节词条

• AI 爬虫 —— AI 爬虫是人工智能产品运营、用来收集网页内容的抓取工具，用途分成训练模型、服务搜索和替用户取回内容三类。
• 其他引擎爬虫 —— 其他引擎爬虫指 Google 之外各家搜索引擎自己的抓取工具，它们做的事情与 Googlebot 类似，命名、变体和控制方式却各成一套。
• 常用爬虫（Googlebot） —— Googlebot 是 Google 搜索使用的网页抓取工具的通用名称，分模拟移动设备的智能手机版和模拟桌面的桌面版。
• 抓取器总览 —— 抓取工具是泛指自动发现和扫描网站的任何程序。
• 特殊爬虫 —— 特殊爬虫是 Google 在常见抓取工具之外使用的另一类爬虫，前提是被抓取网站与 Google 产品之间就抓取过程达成协议。
• 用户触发的抓取器 —— 用户触发的抓取器是由用户启动、在 Google 产品里执行抓取功能的那类工具，它不是引擎按计划去扫网页，而是某个人在产品里发起动作后它才出发。