llms.txt

llms.txt 是一份放在网站上的纯文本文件，用来告诉 AI 模型在抓取时应该优先看哪些页面^[1]。

这是社区提出的约定，而不是搜索引擎强制的标准^[1]。

与 robots.txt 的区别

robots.txt 告诉爬虫哪些内容可以访问，用的是允许与禁止这类指令^[1]。

llms.txt 建议 AI 模型优先看哪些页面，不控制访问，只提供挑选过的清单^[1]。也就是说，前者管能不能来，后者管来了先看什么。

llms.txt 本身是一份 Markdown 文件，放在网站根目录，标题、摘要和分节的链接清单依次排开。以一家数控机床厂商为例：

# 数控机床厂商官网

> 本站提供数控车床、数控铣床的产品参数、选型指南与维护文档。

## 产品

- [数控车床](https://example.com/products/cnc-lathe.md)：行程、主轴转速与加工精度
- [数控铣床](https://example.com/products/cnc-milling.md)：三轴到五轴的加工范围

## 文档

- [选型指南](https://example.com/guides/selection.md)：按材料与批量选择机型

## Optional

- [公司简介](https://example.com/about.md)：生产基地与服务网点

模型先读标题和摘要，再顺着分节的链接去取具体页面。

现行的采用状况

截至目前，还没有主流 AI 平台确认自己在使用这份文件，也没有证据表明主流模型在抓取时会读它^[1][2]。

Google 搜索中心已明确表示，llms.txt 文件对其 AI 搜索界面并非必要^[1][3]。也就是说，这份文件的作用目前仍停留在可能性上。

与 AI 爬虫管理的关系

真正决定内容能否被取用的，仍是 robots.txt 那一层的设置^[1]。

llms.txt 想解决的是发现与理解，而不是许可^[1]。两层配合，才谈得上既被理解、又守住边界。

存在的意义

业内普遍预期 AI 流量会继续增长，因此一些站长愿意提前准备^[1]。

robots.txt 当年也是可选项，后来才成为管理爬虫的必备^[1]。也就是说，llms.txt 更像提前占位。

附录

参见

• AI 爬虫管理
• 训练数据
• AI 内容许可

参考资料

第三方

1. 《Does Your Website Need an LLMs.txt File?》，Backlinko。
2. 《97% Of llms.txt Files Got No Requests, Ahrefs Data Shows》，Search Engine Journal。
3. 《Google Confirms LLMs.txt Has No Current Implementation》，Search Engine Journal。

外部链接

无。