3.2 robots.txt

robots.txt 的规则、解读与提交更新。

本节词条

• robots.txt 更新 —— robots.txt 更新指对已有 robots.txt 文件做修改，并让抓取工具用上修改后的版本，关键是让缓存的旧版本尽快失效。
• robots.txt 简介 —— robots.txt 是放在网站上的文本文件，用来规定搜索引擎抓取工具可以访问哪些网址，它管的是抓取，管不了收录。
• robots.txt 编写与提交 —— robots.txt 编写与提交指准备并上线这份规定抓取范围的纯文本文件。
• robots.txt 规范解读 —— robots.txt 规范解读指理解抓取工具读取 robots.txt 的约定，正式名称是 REP，定义在 RFC 9309。