Google-Extended

Google-Extended是一个产品令牌，只写在 robots.txt 里。它用来决定 Google 抓到的内容能不能用于训练 Gemini 模型，以及能不能给 Gemini 应用建立依据^[3]。它不发起独立的抓取请求，抓取仍由 Googlebot 等现有代理完成^[3]。站长要分清它和搜索的关系：它管训练与接地，不决定页面在 Google 搜索里的收录与排名^[3]。

管什么用途

Google 的文档把 Google-Extended 定义成独立令牌，供发布商管理站点内容能否训练未来的 Gemini 模型^[3]。这些模型为 Gemini 应用与 Vertex AI 接口提供支持。

用途包含两件事。一是训练 Gemini 系列模型；二是在 Gemini 应用里做接地，也就是提问时把搜索索引里的内容提供给模型，提高事实性与相关性^[3]。

Google 同时说明，Google-Extended 不影响站点列入搜索结果，也不会在搜索中当作排名信号^[3]。

与其他 Google 令牌的分工

Google 的常用抓取工具中，只有 Google-Extended 没有独立用户代理^[3]。

令牌	管什么	有没有独立代理
Googlebot	为搜索抓取，决定收录	有
Google-Extended	训练与接地	没有
GoogleOther	通用抓取，不影响特定产品	有

Google-Extended 对应的用途和搜索完全分开，所以它的规则与 User-agent: Googlebot 互不影响^[3]。

在 robots.txt 里的写法

要拒绝训练与接地，写这一组。

User-agent: Google-Extended
Disallow: /

只拒绝某个目录时，用 Allow 与 Disallow 组合。

User-agent: Google-Extended
Allow: /
Disallow: /premium/

规则写在站点根目录的 robots.txt 里，和别的令牌并列即可。

允许与拒绝的后果

允许时，站点内容可能进入 Gemini 的训练与接地，未来模型对品牌的描述可能更完整。

拒绝时，Google 不再把该站内容用于这两个用途，Gemini 回答里也就少了这份材料^[3]。

两种选择都不改动 Google 搜索的收录与排名^[3]。

与搜索呈现分开设置的原因

搜索呈现由另一套开关控制。Google 说明，AI 已经内建于搜索，管理搜索抓取要用 Googlebot 的 robots.txt 规则。要限制页面内容在搜索里的展示，就用 nosnippet、data-nosnippet、max-snippet 或 noindex^[4]。

两套开关分开，站长才能只拒绝训练而保留搜索曝光，或者反过来。同样的思路也出现在别家：OpenAI 用 GPTBot 管训练、OAI-SearchBot 管搜索呈现^[1]；Apple 也是这个做法，Applebot-Extended 不抓取网页，只决定抓回的数据怎么用^[2]。

常见误用

一个误用，是以为拒绝 Google-Extended 会让页面从 Google 搜索里消失。它不影响收录，也不参与排名^[3]。

另一个误用是以为它在日志里有独立的访问记录。它不发起请求，日志里看不到这个名字^[3]。

第三个误用是只写 Google-Extended，忘了 Googlebot 的规则仍然决定收录与展示^[4]。

附录

参见

• AI 爬虫管理
• 训练数据
• robots.txt

参考资料

官方（境外）

1. 《Overview of OpenAI Crawlers》，OpenAI。
2. 《About Applebot》，Apple，2026-09-04。
3. 《Google 常用抓取工具列表》，Google 搜索中心。
4. 《AI features and your website》，Google 搜索中心，2025-12-10 更新。

外部链接

无。