X-Robots-Tag

X-Robots-Tag 是 HTTP 响应里的一种标头，用来表达与 robots meta 相同的规则^[3]。

与 robots meta 的关系

能在 robots meta 里写出的规则，基本都能写成这种标头^[3]。也就是说，两者表达同一套控制，只是载体不同。

适用对象

这种标头最大的价值，在于能覆盖非 HTML 资源^[3]。

PDF、视频文件和图片文件不能用 meta 标记，但可以在响应里带上这个标头^[1][3]。比如 X-Robots-Tag: noindex，就是一条这样的标头。HTML 网页同样可以用这种标头^[3]。

组合方式

• 一个响应里可以出现多个这样的标头^[3]。
• 也可以把多条规则写在同一个标头里，用英文逗号隔开^[3]。
• 规则前面还能加上用户代理，用来针对特定抓取工具^[3]。

多条规则可以叠加使用。比如既禁止收录图片，又约定某个时间之后不再展示，这两条可以同时写上^[3]。

以一张机床图片为例，响应里写上这两条：

HTTP/1.1 200 OK
X-Robots-Tag: noimageindex
X-Robots-Tag: unavailable_after: 25 Jun 2027 15:00:00 PST

第一条禁止收录图片，第二条约定该日期之后不再展示。

大小写与默认

这套标头的书写比较宽松^[3]。

标头本身、用户代理名称和规则值，都不区分大小写^[3]。如果规则前没有指定用户代理，那么对所有抓取工具都有效^[2][3]。

有一条隐含的要求需要注意。规则如果写得不规范，不会报错，而是直接被忽略^[3]。所以设了限制却没有生效时，可以先检查写法能不能解析。

附录

参见

• robots meta
• noindex
• meta 标记与属性

参考资料

官方（境外）

1. 《Robots meta tags and attributes that Bing supports》，Bing 网站管理员工具。
2. 《Meta tags》，Yandex 网站管理员。
3. 《Robots meta 标记、data-nosnippet 和 X-Robots-Tag 规范》，Google 搜索中心。

外部链接

无。