SEO 百科
robots.txt 屏蔽
本页目录
robots.txt 屏蔽
robots.txt 屏蔽 用禁止规则把内容挡在抓取之外，规则就写在这个文件里。从搜索结果里撤下图片或整段路径时，它也算一条通道[1]。它的定位要先说清：这条通道挡的是抓取，不是索引，也不是显示[2]。
图片移除上的两条路
站上的图片要从 Google 的搜索结果里撤下来，非紧急情况下 Google 给了两种方法[1]。一种是 robots.txt 的禁止规则，另一种是带 noindex 的 X-Robots-Tag 标头[1]。两种效果相同，按站点更方便的那一种选。
两条不要同时上。Google 提醒 Googlebot 必须能抓取网址才提得到 HTTP 标头，所以同时实现这两种方法并不合理[1]。
拿不到托管图片那一侧的权限时，比如图片在 CDN 上，或者 CMS 不给配标头和规则的地方，剩下的办法是把图片从站上彻底删掉[1]。
这条通道的长处
时间上要提前有准备。用 robots.txt 把图片从结果里移除，比用移除工具花的时间更长[1]。
换来的是控制范围更细。通配符和子路径这两种屏蔽方式给出更灵活的范围控制[1]。另一条好处是覆盖面：robots.txt 的规则对所有搜索引擎都适用，移除工具只管 Google[1]。
文件要放在托管这些图片的那台网站的根目录，例子的形状是 yoursite.example.com/robots.txt[1]。要挡单张图就写完整路径，要挡一批就用通配符或目录前缀[1]。
挡网页时的反效果
这条通道作用在网页上时，结果和站长的期望经常不一致。Google 说明，被 robots.txt 屏蔽的网页仍可能被编入索引：它不抓取被屏蔽的内容，但网上别处有链接指向这些地址时，地址仍会被发现并收录[2]。
出现的形态是半截结果。网址会显示，说明文字缺失[2]。要修掉这种结果，Google 给的做法是把屏蔽这一页的条目撤掉；要让这一页彻底不出现，改用别的移除方法[2]。
连带影响还在文件上。内嵌在被屏蔽网页里的图片、视频、PDF 与其他非 HTML 文件都会被排除在抓取之外，除非有允许抓取的页面引用它们[2]。
什么时候用它
在 Google 的说明里，robots.txt 的用途是管理抓取流量，处理两种情况：抓取工具的请求会让服务器超负荷，或者站上有些不重要网页和相似网页不想被抓住[2]。挡住索引不属于这两种用途，它另指 noindex 与密码保护[2]。
资源文件那一类也要分情况。加载网页时跳掉不重要的图片、脚本和样式没影响时才能屏蔽；缺了这些会让抓取工具读不懂这一页， Google 就没法有效分析依赖它们的页面[2]。
附录
参见
参考资料
官方（境外）
- 《从搜索结果中移除您网站上托管的图片》，Google 搜索中心。
- 《robots.txt 简介》，Google 搜索中心。