GPTBot 与各家令牌

GPTBot是 OpenAI 的抓取工具，用来收集可能用于训练生成式 AI 模型的内容^[1]。OpenAI 按用途把抓取拆成多个令牌，训练、搜索呈现、用户触发各有一套^[1]。站长要按用途分别写规则，因为拦下一个令牌不会连带拦下另一个^[1]。

用途的三种分法

这些令牌按用途可以分三类。

1. 训练抓取，收集内容用于训练或改进模型；
2. 搜索抓取，为 AI 搜索建立索引，决定站点会不会出现在答案里；
3. 用户触发的抓取，用户提问时代表他去打开某个网址。

各家令牌对照

公司	训练	搜索呈现	用户触发
OpenAI	GPTBot	OAI-SearchBot	ChatGPT-User
Anthropic	ClaudeBot	Claude-SearchBot	Claude-User
Perplexity	无	PerplexityBot	Perplexity-User
Google	Google-Extended	Googlebot	无
Apple	Applebot-Extended	Applebot	无

Anthropic 把三个机器人分别命名为 ClaudeBot、Claude-SearchBot 与 Claude-User，并说明三者共用同一套排除规则，也尊重反规避技术，例如不去绕开验证码^[2]。

Google 的训练开关不发起独立请求，Google-Extended 只写在 robots.txt 里^[5]。Apple 也是这个做法，Applebot-Extended 不抓取网页，只决定 Applebot 抓到的数据怎么用^[4]。

在 robots.txt 里的写法

下面这组先拒绝训练，再放行搜索。

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Google-Extended
Disallow: /

每一条规则只对写出的令牌生效。要放行搜索、拒绝训练，就把训练类写成 Disallow，把搜索类写成 Allow。

允许与拒绝的后果

拒绝训练类，站点退出未来的训练数据集，对当下的回答没有直接影响^[1]。

拒绝搜索类，页面不再出现在该产品的搜索答案里，可能只剩用户直接输入网址时的导航链接^[1]；Perplexity 也有对应项，管的是搜索结果里的呈现与链接^[3]。

允许搜索类，页面才有机会被引用，引用会带回访问。

用户触发一类的例外

用户触发的抓取通常忽略 robots.txt。OpenAI 说明，这类行为由用户发起，规则可能不适用^[1]。

Perplexity 也写明，Perplexity-User 一般忽略 robots.txt 规则^[3]。

要限制这一类，只能从登录鉴权或按 IP 限流入手。robots.txt 只是约定，真正的拦截要放在防火墙或内容分发网络上^[6]。

常见误用

一个误用是只写 User-agent: *，把训练与搜索一起拦掉。通配规则无法按用途区分。

另一个误用，是拦下 GPTBot 就以为 ChatGPT 搜索里再也看不到自家页面。两者是不同的令牌，各管一件事^[1]。

第三个误用，是以为 robots.txt 能拦住一切请求^[3]。用户触发的那类读取由用户发起，规则往往不适用。

附录

参见

• AI 爬虫管理
• 训练数据
• AI 爬虫的 IP 与验证

参考资料

官方（境外）

1. 《Overview of OpenAI Crawlers》，OpenAI。
2. 《Does Anthropic crawl data from the web, and how can site owners block the crawler?》，Anthropic，2026-04-08。
3. 《Perplexity Crawlers》，Perplexity。
4. 《About Applebot》，Apple，2026-09-04。
5. 《Google 常用抓取工具列表》，Google 搜索中心。

第三方

6. 《Declaring your AIndependence: block AI bots, scrapers and crawlers with a single click》，Cloudflare。

外部链接

无。