SEO 百科

Yandex

本页目录

Yandex 指的是 Yandex 搜索引擎，它通过自己的抓取工具把网页载入数据库，并以此给出搜索结果[1]。也就是说，抓取工具要先访问网页，网页才有可能出现在结果里[1]。

爬虫群

Yandex 的抓取工具不止一个，其中最核心的叫 YandexBot，负责主要的索引工作[2]。

除了 YandexBot，还有一批分工不同的机器人，分别负责这几件事[2]：

  • 索引图片
  • 索引视频
  • 生成页面截图
  • 检查广告落地页等

有一部分并不遵守 robots.txt 的通用规则[2]。

这里有一处与 Google 类似的提醒。抓取工具的标识可以被冒充，所以带 Yandex 名字的请求未必真的来自 Yandex[2]。官方建议用反向 DNS 查询来核对来源[2]。

收录的路径

让网页进入 Yandex 的索引，有几条常见路径[1]。

途径 做法
站点地图 把站内网址一次性告知抓取工具
重新索引 单独提示抓取工具去访问某个重要页面
IndexNow 批量上报新增、更新和删除

不过这些都不是保证。抓取工具也可能从外部链接发现网页，但那要花时间，而且不保证抓到你希望展示的全部页面[1]。

面向 AI 的答案

Yandex 也提供了一个 AI 搜索功能，用来给出简洁的回答[3]。

这些回答由已经收录的页面自动生成[3]。页面的信息越结构化、越有信息量、语法越规范，就越容易被采用[3]。

如果不想让内容进入这类回答，可以通过 robots.txt 对特定的抓取工具设置禁止[3]。

语言范围

Yandex 的抓取工具里，有一个专门面向俄语之外的语言，叫 YandexComBot[2]。

它会索引这类内容，前提是网站没有对它单独设限[2]。也就是说，面向非俄语地区的内容，也在这套收录体系的覆盖范围里[2]。

附录

参见

参考资料

官方（境外）

  1. 《How can I add a site to search?》，Yandex 网站管理员帮助。
  2. 《How to check that a robot belongs to Yandex》，Yandex 网站管理员帮助。
  3. 《Search with Yandex AI》，Yandex 网站管理员帮助。

外部链接

无。