SEO 百科

数据授权与协议

本页目录

数据授权与协议

数据授权与协议指网站内容被 AI 抓取、使用和商业利用时的两层许可：一层是写在 robots.txt 里的技术开关，只表达允不允许抓取；另一层是双方签下的商务协议，约定使用范围与费用[1][2]。做 SEO 的人需要分清这两层，因为关掉技术开关只挡得住抓取，挡不住已经取得的授权，也换不来收入；反过来，签了协议也不能替站长决定抓不抓。两层混在一起，常见的后果是要么白白开放了内容，要么挡住了本可以带来引荐流量的搜索型抓取[1]。

技术开关与商务授权是两层

技术开关的作用是表达意愿，它通过 robots.txt 里的令牌逐个点名爬虫。OpenAI 写明，对于不希望用于潜在训练的网站和页面，发布者应当禁止 GPTBot 用户代理访问[1]。谷歌的做法是一组指定的产品令牌，其中 Google-Extended 独立于 Googlebot，用来决定抓到的内容能不能用于训练 Gemini 模型[3]。

令牌表达的是“允许不允许抓”，不表达“允许怎么用、用在哪里、付多少钱”。谷歌说得直接，使用 Google-Extended 既不影响站点出现在搜索里，也不会被当作搜索的排名信号[2]。也就是说，关掉这个令牌只改一件事，就是内容能不能进训练；搜索收录和排名不受它管。

商务授权落在协议上，管的是使用范围与费用。同样一份内容，可以只允许出现在搜索摘要里，也可以允许进入训练语料，两者对应的条款和价格不一样。站长手里能谈的项包括：允许的用途、能用的时间、是否署名、是否可转授给下游、结算方式与费用[4]。技术开关给不了这些，它只有开与关。

技术开关的写法

点名爬虫的规则写在 robots.txt 里，用 User-agent 指定对象，用 Disallow 表示不抓。要挡住用于训练的两个令牌，写成下面这样：

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

两段规则各管一件事。GPTBot 对应 OpenAI 训练抓取[1]，Google-Extended 管的是训练与接地，它和负责搜索的 Googlebot 是两个令牌[3]。只想拦住训练、保住搜索，就把这两段写上，别顺手把 Googlebot 也封掉。

搜索型抓取是另一个令牌，用途也不同。OpenAI 另有一个 OAI-SearchBot，它负责让内容出现在 ChatGPT 的搜索与摘要里。站主要想被引用和链接，就得放它进来[1]。这类抓取带来的是引荐和曝光，和训练抓取分开对待更稳妥。

协议里要写清什么

协议的条款要能对应技术开关，否则两边会打架。一份能落地的授权协议，通常要把下面几项写全：

  1. 使用范围：只做搜索展示，还是也进训练语料；
  2. 是否允许下游转授，以及转授后谁负责；
  3. 署名与链接的形式，比如是否保留来源链接；
  4. 使用期限与终止条件，到期后已抓内容怎么处理；
  5. 费用与结算方式，按次、按量还是按年。

上游一侧，国内法规也设了底线。《生成式人工智能服务管理暂行办法》要求，服务提供者在预训练和优化训练时，应当使用具有合法来源的数据和基础模型；涉及知识产权的，不得侵害他人依法享有的知识产权[4]。这条把“可以抓”和“可以用”分得更细：抓到了不等于能用，用了还要来源合法、不侵权。

与抓取和收录的关系

技术开关影响的是抓取，不是收录的全部。关掉训练令牌后，谷歌仍会正常抓取和收录站点，因为 Googlebot 没被拦[2]。站长若想连搜索一起退出，要动的是搜索用的那个令牌，代价是页面不再出现在结果里。

反过来，只想被引用、不想被训练，就保留搜索型抓取、只关训练令牌。OpenAI 说明，允许 OAI-SearchBot 的站点可以出现在摘要和内容片段里，还能通过引荐链接拿到流量[1]。两种诉求对应的开关不同，配错就把机会让了出去。

常见误用

一个误用是把 Disallow 当成授权。robots.txt 只是技术请求，它不构成版权许可，也不替代协议[2]。内容已经进了训练语料，事后补一条 Disallow 也追不回来，能谈的是以后和补偿。

另一个误用是以为关掉训练令牌会影响排名。谷歌明确说 Google-Extended 不是排名信号，用它不影响搜索收录[2]。因为怕掉排名而不敢关，是把两件事当成了一件。

还有一种误用是签了协议就不管技术开关。协议约定了允许抓取的语料范围，机器人却仍按老规则抓全站，实际进料的范围就和协议不一致。把条款落到 robots.txt 的令牌上，两边才对得上[1]。

附录

参见

参考资料

官方（境外）

  1. 《发布商和开发者 - 常见问题》，OpenAI Help Center。
  2. 《Things to know about Google's web crawling》，Google 抓取基础设施。
  3. 《Google 的常见爬虫》，Google 抓取基础设施。

官方（国内）

  1. 《生成式人工智能服务管理暂行办法》，国家互联网信息办公室，2023-07-13。

外部链接

无。