豆包

豆包是字节跳动推出的 AI 智能助手，用户向它提问，它检索网页后给出回答^[2]。它已经是一个独立的内容入口，网站能不能被它讲到，取决于字节的爬虫有没有抓到页面。豆包的抓取与头条搜索共用一套爬虫，站长在 robots.txt 里做一次设置，会同时影响头条和抖音的收录。

产品与入口形态

豆包的运营方是字节跳动，官网把它标成「抖音旗下 AI 智能助手」^[2]。它面对普通用户，中文为主，可以对话、写作和查资料。

入口以网页版与手机应用为主，也通过 API 开放给开发者^[2]。同一个问题可能从抖音里问出来，也可能从独立应用里问出来。站长要面对的，是这些入口背后同一份抓取结果。

与头条、抖音生态的关系

字节把搜索、推荐与问答放在同一套内容体系里。头条搜索站长平台说明，为该搜索建索引的爬虫 UA 是 Bytespider，首字母大写^[3]。

第三方研究指出，Bytespider 抓回的网页同时供搜索索引、推荐系统和模型训练使用^[4]。豆包是这套体系里的问答出口，它取用的网页，起点常是头条搜索已经抓回来的那一份。

这个关系决定了拦截的后果。封锁 Bytespider 不只挡住豆包，也会让站点从头条和抖音的搜索与推荐里一起消失^[4]。

内容来源与检索方式

豆包在回答前会联网检索。官方没有公开它按什么规则挑页面，也没有列出固定的来源站点。

能核对的是抓取入口。头条搜索站长平台公布了 UA 写法与 6 个 IP 段，抓取方叫 Bytespider^[3]。站长可以拿这两项在服务器日志里确认来的是谁。

豆包专用的抓取 UA 只在第三方日志里出现过，官方没有为它单独出过说明^[5]。所以那些名字目前属于观测，不是官方令牌。

站长的控制手段

第一项控制写在站点根目录的 robots.txt 里。想放行公开内容、只挡后台，可以这样写。

# 放行字节爬虫，只挡住后台目录
User-agent: Bytespider
Disallow: /admin/
Allow: /

头条搜索站长平台另外提供抓取频次设置，改动在 1 天内生效^[3]。抓取量过大影响服务器时，可以通过平台邮箱反馈^[3]。

字节没有公开面向站长的快速收录或内容合作入口。想让内容进入这套体系，能做的只有 robots.txt 与抓取频次这两项。

与 Google 系入口的差别

Google 把训练用途和搜索用途分开管。站长用 Google-Extended 这个令牌说明内容能不能用于训练，它不发起独立请求，也不影响搜索收录^[1]。

字节这一侧没有对等的令牌。豆包的抓取与头条搜索共用 Bytespider，拦下它，搜索收录会一起丢。Google 侧可以按用途分开表态，字节侧目前只能整体表态。

这个差别落到决策上很直接。站点只想拒绝训练时，用 Google 的做法就够了；面对字节，得先想清楚要不要连头条的流量一起放弃。

常见误用

第一个误用是把 Bytespider 当纯 AI 爬虫一封了事。它同时承担头条搜索的索引工作，封掉等于放弃头条与抖音的流量^[4]。

第二个误用是以为拦住爬虫就能让豆包答不出自家内容。豆包还可能从训练语料和第三方转载里得到信息，这些不在站长的控制范围内。

第三个误用是照抄网上的爬虫清单。清单里的名字多半来自日志观测，官方并未确认，照抄会产生误封^[5]。

附录

参见

• 头条搜索
• AI 爬虫

参考资料

官方（境外）

1. 《Google 抓取工具和抓取器（用户代理）概览》，Google 搜索中心，2025-09-11 更新。

官方（国内）

2. 《豆包》，字节跳动。
3. 《头条搜索 spider 介绍》，头条搜索站长平台。

第三方

4. 《Explaining Bytespider》，PPC Land。
5. 《Doubao user agents》，xSeek Docs，2026-04 更新。

外部链接

无。