爬虫

这一节收录 9 篇，按下面的顺序看。

• Googlebot　是抓取器，Google 用它取回网页内容
• 特殊爬虫　在 Google 的三类抓取工具里排第二，为某个产品的特定功能服务
• 用户触发的抓取器　是第三类抓取工具，这一分类出自 Google 的划分，由最终用户启动，用来在 Google 的产品里执行一次抓取动作
• 其他引擎爬虫　指 Google 以外的搜索引擎派出的抓取程序
• 验证爬虫　指核对来访问网站的请求，确认它真的出自某家搜索引擎
• 抓取器总览　是一张清单，由 Google 汇总，把会访问网站的程序都归进去
• Web Bot Auth　是一套实验性协议，给自动化请求做密码学签名，让网站能判断漫游器是否真实可靠
• 抓取的常见误区　指几件事，站长在抓取这一环上反复判错
• 朗读用户代理　指 Google-Read-Aloud 这一串标识，它是用户代理，对应的服务是 Google Read Aloud