robots.txt 更新

robots.txt 更新指的是对已有的 robots.txt 文件做修改，并让抓取工具用上修改后的版本^[3]。关键不在改动本身，而在让缓存里的旧版本尽快失效。

缓存的节奏

Google 会把 robots.txt 的内容缓存起来，并在自动抓取时每 24 小时更新一次^[3]。

也就是说，改动上传之后，未必立刻生效。抓取工具可能还会按旧版本行事一段时间^[3]。

缓存还有两个特点。不同的抓取工具共用同一份缓存副本；缓存时长也不是固定的，Google 会参考响应头里的缓存策略来决定缩短或延长^[1][4]。

请求重新抓取

如果需要让改动更快生效，可以用一个专门的途径^[3]。

它叫请求重新抓取，作用是促使 Google 尽快刷新缓存里的副本^[3]。

版本的替换

从过程上看，更新与新建很接近。都要先拿到现有内容，改动之后再重新上传，用新版本替换旧版本^[3]。

这也意味着，改动是整份文件一起生效的。新版本里没有出现的旧规则，就等于去掉了。

新建与更新的共同点

无论新建还是更新，有几项要求始终不变^[3]：

• 文件要沿用正确的语法
• 按 UTF-8 编码保存
• 继续放在网站根目录^[2][3]

这几项任何一项没做到，规则都可能失效。

也就是说，更新只是在旧内容上做修改，其他前提与第一次创建时没有区别。

附录

参见

• robots.txt 编写与提交
• robots.txt 简介
• 请求重新抓取

参考资料

官方（境外）

1. 《How to create a robots.txt file》，Bing 网站管理员工具。
2. 《RFC 9309: Robots Exclusion Protocol》，RFC 编辑部。
3. 《更新 robots.txt 文件》，Google 搜索中心。
4. 《Google 如何解读 robots.txt 规范》，Google 搜索中心。

外部链接

无。