目录层级

目录层级指网址里表示内容归属的各级目录，比如 /blog/seo/url-structure，其中 blog 与 seo 就是两段目录^[1]。它决定爬虫沿哪条路径理解页面之间的关系，也决定深页能不能被顺利发现^[2]。层级过深会把重要页面埋进去，层级过浅又难以表达内容分组，站长要按内容自身的结构去分。

分组逻辑

按主题分组，让同一主题的页面挂在同一段目录下。Google 建议把内容按主题组织，网址结构要合乎逻辑、便于人读^[1]。比如教程类内容统一放在 /guide/ 之下，再按子主题分下一层，爬虫看到路径就能判断这段内容讲什么。

层级深度

一般两到三层够用。爬虫从首页出发，一层层跟进内链，层级越深，页面离首页越远，被抓到的机会越小^[2]。Bing 很早就提醒站长，站点结构会直接影响爬虫走得多深、抓得多全^[2]。行业统计方面，HTTP Archive 的 Web Almanac 每年汇总网页结构相关数据，可用于对照^[4]。

网址的写法

用描述性词语代替编号，用连字符分词，文字统一小写：

推荐：/blog/url-structure/
不推荐：/p?id=1287&cat=3

参数尽量少用。筛选、排序这类参数会派生出大量近似网址，让爬虫在重复版本上打转^[1]。

内部链接与面包屑

层级要由内链走通。首页链到栏目页，栏目页链到内容页，爬虫顺着这些链接逐层进入。面包屑把当前页在层级中的位置显示出来，用户与爬虫都能看清上下级关系^[1]。

改动带来的代价

调整目录会换掉网址，旧链接失效。改之前要先想清楚哪些页面会被影响，改完用 301 跳转把旧地址指到新地址，内外链也要跟着更新^[2]。层级并不是越浅越好，把不相关的内容硬塞进同一层，反而让主题变模糊。

与抓取和收录的关系

目录层级影响爬虫发现页面的效率，但不决定页面能否被抓。百度把搜索分成抓取、建立索引、展现三步^[3]，层级合理能让更多深页进入抓取队列。层级混乱则会让爬虫在参数网址上消耗配额，新页面被发现的时间推后。

附录

参见

• 大小写与尾斜杠
• 多域名与多站点
• 面包屑
• 站内链接
• 抓取

参考资料

官方（境外）

1. 《网址结构最佳实践》，Google 搜索中心。
2. 《Making links work for you (SEM 101)》，Bing 网站管理员博客，2009-07-01。

官方（国内）

3. 《百度搜索的工作原理》，百度搜索资源平台，2023-12-21 更新。

第三方

4. 《Web Almanac》，HTTP Archive，2025。

外部链接

无。