robots.txt

这一节收录 3 篇，按下面的顺序看。

• robots.txt　是一个文本文件，放在网站根目录
• robots.txt 规范　讲 Google 如何读这份文件
• robots.txt 测试器　是一类校验工具，用来检查 robots.txt 里的规则，输入一条网址和一个爬虫名字，就能看到该爬虫能不能抓取这条网址