SEO 百科

sitemap 指令

本页目录

sitemap 指令 是一条指令，写在 robots.txt 里，用来给出站点地图文件的地址^[1]。

它不划抓取范围，也不管收录，只把站点地图的位置告诉引擎。写对了，引擎抓到 robots.txt 时会顺带找到站点地图^[1]。

指令的写法

指令名是 Sitemap，值是一个完整网址。下面这行指向站点根目录下的 sitemap.XML^[1]：

Sitemap: https://www.example.com/sitemap.xml

值要用绝对网址，带上协议和域名。相对路径引擎读不出来。同一个文件可以写多行，能指出的站点地图数量没有上限^[1]。

引擎每次抓站都会先读 robots.txt，站点地图地址写在这里，就多了一条被发现的路子。Google 的说法是，它会在下次抓取 robots.txt 时找到这个站点地图^[1]。

Bing 把 robots.txt 和网站站长工具并列为两种提交方式，并说明从 robots.txt 读到地址后会立刻抓取，之后至少每天查看一次^[2]。Yandex 也支持这条指令，在 robots.txt 里指出文件位置^[3]。

写在这里还有一处便利：站点地图不必和网站同域。Google 允许指向另一台主机上的站点地图，多站共用一份时省一次提交^[1]。

对外部研究来说，这条指令也有观测价值。HTTP Archive 发布年度报告，把 robots.txt 的文件大小、命名的爬虫列为常规观测项^[5]。

robots.txt 里的 Sitemap 指令、各家后台的提交入口，效果不完全一样。Google 和 Bing 会主动读 robots.txt，写在这里就能被发现^[1]^[2]。百度没有把这条指令写进官方说明，向百度提交站点地图要走搜索资源平台^[4]。

所以稳妥做法是两头都做：robots.txt 写一行 Sitemap，再去各家站长平台提交一次。后台能看到抓取状态和处理错误，只写 robots.txt 看不到这些^[1]。

robots.txt 整体只阻止抓取，不阻止收录^[1]。Sitemap 指令更轻，它连抓取都不拦，只是给出一条线索。

引擎读到站点地图，不代表页面一定被下载，或者一定进结果。Google 说提交站点地图只是给一个提示，不保证一定下载或者使用^[1]。百度也写明，提交只是提供通道，不保证收录^[4]。

想让页面不进结果，要用 noindex 或者密码保护；想让页面早点被抓到，才用得上 Sitemap 指令。

一种误用是把站点地图文件本身屏蔽掉。Disallow 里写了 /sitemap.xml，引擎读不到文件，Sitemap 指令就白写了^[3]。

另一种误用是只写 robots.txt 就以为提交完成。百度要单独在平台提交，Google 和 Bing 也建议再在后台确认一次抓取状态^[4]。

还有一种误用是把 Sitemap 当成收录开关。它只提供网址线索，收录还要看内容质量和抓取结果^[1]。

无。