语言区域自适应页

语言区域自适应页是根据检测到的访问者所在国家或地区，或者访问者的首选语言，返回不同内容的网页^[2]。

它把版本选择交给服务器实时判断，而不是交给网址来区分^[2]。因为判断依据来自访问者一侧，抓取工具看到的那一版未必是全部^[2]。

抓取工具的默认面貌

Googlebot 的默认 IP 地址看起来位于美国境内^[2]。

它在发送 HTTP 请求时，也不会在请求标头里设置 Accept-Language^[2]。比如浏览器发出的请求里带 Accept-Language: zh-CN，Googlebot 发出的请求里没有。所以自适应逻辑如果依赖这两项，抓取工具拿到的往往只是默认版本或美国版本^[2][1]。也就是说，网站里其他语言区域的变体可能一直进不了抓取、索引和排名范围^[2][3]。

基于地理位置的抓取

除了美国境内的 IP，Googlebot 也会用美国境外的 IP 地址抓取^[2]。

当它看起来来自某个国家或地区时，应当像对待当地其他用户那样对待它^[2]。所以如果服务器允许澳大利亚用户访问、却不允许美国用户访问，那么来自澳大利亚的 Googlebot 也应放行，来自美国的则应拦下^[2]。

与其他抓取规则的一致性

Googlebot 对所有抓取配置使用相同的用户代理字符串^[2]。

如果网站使用 robots 协议，还要确保它在所有语言区域里一致应用^[2]。也就是说，robots meta 标记和 robots.txt 文件，必须为每个语言区域指定相同的规则^[2]。

附录

参见

• 多语言与多地区
• hreflang
• 验证爬虫

参考资料

官方（境外）

1. 《Going international: considerations for your global website》，Bing 网站站长博客。
2. 《Google 如何抓取语言区域自适应网页》，Google 搜索中心。

第三方

3. 《Common International SEO Challenges & How to Prevent Them》，Search Engine Journal。

外部链接

无。