文心一言

文心一言是百度推出的生成式对话产品，用户提问后由大模型生成回答^[2]。它在 2024 年 9 月升级为「文小言」，定位为百度旗下的新搜索助手^[4]。做 SEO 的人要关心它，因为它的回答连着百度的抓取与索引。站点的百度收录如何，会影响它能不能讲到你的页面。

来历与更名

文心一言在 2023 年 2 月官宣，3 月开放邀请测试，8 月 31 日向公众开放^[4]。入口包括网页与手机应用，官网是 yiyan.baidu.com^[2]。

2024 年 9 月 4 日，百度把文心一言 App 升级为「文小言」，把它定义成「新搜索」智能助手^[4]。

名称换了，抓取体系没有换。文小言的回答仍依赖百度搜索抓回的内容，站长熟悉的百度收录规则照旧适用。

内容来源与检索方式

文小言回答前会联网检索，检索的底子来自百度搜索。百度把自己的工作原理概括为「从互联网抓取网页、建立索引数据库、将索引库中数据展现给用户」^[3]。

网页抓取由 Baiduspider 完成。百度把规则集中在搜索资源平台，站长可以在那里提交站点、查看抓取诊断，核对爬虫拿到的是什么内容^[3]。

文小言是否另有一套专用爬虫，官方没有公开说明。第三方日志观测到 YiyanBot 与 ERNIEBot 两个 UA，前者按用户提问抓取单页，不批量爬站^[5]。这两个名字属于观测结果，不是官方令牌。

站长的控制手段

站长能控制的，是百度搜索这一层。百度搜索资源平台提供抓取诊断，站长用它核对抓取结果与预期是否一致^[3]。

在 robots.txt 里对 Baiduspider 表态，会同时影响百度搜索与其 AI 回答。禁止它抓取，等于让页面从百度系入口里一并消失。

文小言专用的抓取令牌官方没有公开，站长没法只针对 AI 用途开关。想在保留百度搜索的前提下拒绝 AI 取用，目前找不到官方的做法。

与 Google 系入口的差别

Google 把训练用途单独拎出来，用 Google-Extended 令牌控制，它不发起独立请求，也不影响搜索收录^[1]。

百度没有公开对等的令牌。要拒绝 AI 取用，只能连 Baiduspider 一起拦，搜索曝光会同时归零。这一层差别决定了取舍的成本。

Google 侧可以按用途分开表态，百度侧只能整体表态，这是两个入口在控制粒度上的主要区别。

常见误用

一个误用是把百度搜索的收录等同于文小言的可见。百度收录是前提，回答里会不会引用你的页面，还要看内容是否对得上问题。

另一个误用是以为拦下 Baiduspider 就能只挡 AI 用途。百度的搜索与 AI 共用同一层抓取，拦下去搜索也会一起丢。

第三个误用是把第三方列出的 YiyanBot 当成官方令牌照抄。官方没有发布这份清单，写进 robots.txt 只是照约定试探^[5]。

附录

参见

• 百度
• 百度搜索资源平台

参考资料

官方（境外）

1. 《Google 抓取工具和抓取器（用户代理）概览》，Google 搜索中心，2025-09-11 更新。

官方（国内）

2. 《文心一言》，百度。
3. 《百度搜索的工作原理》，百度搜索资源平台，2023-12-21 更新。

第三方

4. 《文心一言》，百度百科。
5. 《What Is YiyanBot? User Agent & Robots.txt Blocking》，Known Agents，2026-09-28 更新。

外部链接

无。