Grok

Grok是 xAI 推出的对话式人工智能助手，网页入口为 grok.com^[2]。它既读 X 平台上的实时内容，也会到网页上取资料^[5]。做 SEO 的人要认识它，因为它的爬虫令牌没有官方说明，站长判断来源只能回到日志^[6]。

产品归属与入口形态

Grok 由 xAI 研发，官网为 x.ai^[1]。它通过网页、移动应用与 X 平台提供服务^[2]。

Grok 提供深度搜索模式，把一个问题拆成多步，先检索多个页面再综合成答案^[3]。

内容来源与检索方式

Grok 的内容有两条通道。

第一条是 X 平台。Grok 与 X 深度整合，能读取平台上的帖子与讨论。这条通道与网页抓取无关，站长在 robots.txt 里管不到^[5]。

第二条是网页。Grok 的实时检索按问题取回网页，并把出处列在回答里^[3]。

第三方目录把 xAI 的抓取工具记为 GrokBot 与 xAI-Grok，分别对应训练与检索^[6]。xAI 没有公布对应的说明页，这些名字只作参考。

站长的控制手段

按第三方目录的记法，可以写成下面这样。

# 令牌名未经官方确认，写完要用日志核对
User-agent: GrokBot
Disallow: /

User-agent: xAI-Grok
Allow: /

令牌名未经官方确认，日志里若出现别的名称，再把规则补上。

X 平台上的内容不受 robots.txt 约束。别人在 X 上怎么谈品牌，站长改不了^[5]。

与 Google 系入口的差别

Google 把训练用途和搜索用途分开管。站长用 Google-Extended 说明内容能不能用于训练，它不发起独立请求，也不影响搜索收录^[4]。

xAI 这一侧没有官方公布的令牌表。Google 侧按用途分好，xAI 侧的用途区分要从第三方目录和日志推断^[6]。

常见误用

一个误用，是以为拦下网页抓取，品牌就不会出现在 Grok 的回答里。Grok 还能从训练数据与 X 帖子描述品牌^[5]。

另一个误用是把第三方目录给出的令牌名当成官方值。没有官方说明页，名字就只是观测^[6]。

第三个误用是只盯着自己的站点，忽略 X 平台上的讨论。这套体系里，社交渠道的内容权重较高^[5]。

附录

参见

• 其他入口
• AI 爬虫

参考资料

官方（境外）

1. 《xAI》，xAI。
2. 《Grok》，xAI。
3. 《xAI 文档》，xAI。
4. 《Google 抓取工具和抓取器（用户代理）概览》，Google 搜索中心，2025-09-11 更新。

第三方

5. 《Grok Crawlers Explained: User Agents, robots.txt and Access Control》，Menra。
6. 《xAI Crawlers: User Agents & robots.txt Rules》，AI Crawler Check。

外部链接

无。