11.3 给模型的数据

面向大模型提供的站点说明、爬虫管理与授权。

本节词条

• AI 内容许可 —— AI 内容许可指网站就自己的内容能否被 AI 使用的授权安排。
• AI 爬虫管理 —— AI 爬虫管理是通过 robots.txt 设置决定各类 AI 爬虫能否访问自己网站的做法。
• llms.txt —— llms.txt 是一份放在网站上的纯文本文件，用来告诉 AI 模型抓取时优先看哪些页面，这是社区约定而非强制标准。
• 训练数据 —— 训练数据是被用来训练生成式 AI 基础模型的内容。