robots meta

robots meta 指的是放在网页 head 部分的一类 meta 标记，用来对单个网页做精细的索引和展示控制^[3]。

作用层级

robots meta 提供网页级的控制^[3]。

robots meta 要放在网页的 head 部分^[3]。标记里的 name 和 content 两个属性都不区分大小写^[3]。比如 <meta name="robots" content="noindex">，name 的值是 robots，content 的值就是这条规则。

用户代理的指定

robots meta 默认作用于所有抓取工具，也可以指定具体对象^[2][3]。

name 写成 robots，表示适用于所有抓取工具^[3]。Google 另外支持两个用户代理写法：一个面向普通文本结果，一个面向新闻结果^[3]。除此之外，Google 会忽略其他写法^[3]。

常见规则

这套规则覆盖面很广，从是否收录到摘要长度都能管^[3]：

• 有的规则针对收录，比如何时不让网页出现在结果里^[3]。
• 有的针对内容展示，比如是否显示摘要、图片预览能有多大、视频预览能有多长^[1][3]。
• 还有的针对图片收录和译文^[3]。

规则可以合并，写成一条逗号分隔的列表，或者拆成多个标记^[3]。全部规则都不区分大小写，而默认值意味着没有任何限制^[3]。

以限制摘要长度、放宽图片预览的机床产品页为例：

<head>
  <title>数控机床 · Example 机械</title>
  <meta name="robots" content="max-snippet:20, max-image-preview:large">
</head>

这一条把文字摘要限制在 20 个字符以内，同时允许较大的图片预览。

与 X-Robots-Tag 的关系

能在 robots meta 里用的规则，基本都能写成另一种形式^[3]。

那就是 X-Robots-Tag 响应标头^[3]。两者区别在于适用对象：网页用 meta 标记即可，而 PDF、视频、图片这类非 HTML 资源，要依赖响应标头^[3]。

附录

参见

• noindex
• X-Robots-Tag
• meta 标记与属性

参考资料

官方（境外）

1. 《Robots meta tags and attributes that Bing supports》，Bing 网站管理员工具。
2. 《Meta tags》，Yandex 网站管理员。
3. 《Robots meta 标记、data-nosnippet 和 X-Robots-Tag 规范》，Google 搜索中心。

外部链接

无。