SEO 百科

可索引文件类型

本页目录

可索引文件类型，指的是能被搜索引擎编入索引的那些文件格式。官方给出的范围是大多数文本文件，以及某些经过编码的文档格式[5]。这里的类型由 HTTP 响应声明的媒体类型认定，是判断一个文件能不能被处理的起点。

判定依据

属于哪一种类型，由抓取文件时返回的 Content-Type 标头确定[5]。这个标头用来说明资源或数据的媒体类型[4]。比如 Content-Type: text/html，就把这份文件标成了 HTML 网页。

判据会有例外。如果标头缺失或者不正确，搜索引擎可能会改用文件扩展名来判断，也可能换一个解析器重新解析[5]。也就是说，类型判断并不只看一个信号。

媒体类型的构成

媒体类型写成「类型/子类型」的形式，斜杠两侧没有空白字符[3]。类型是大的分类，例如 text 或 video，子类型进一步指明是哪一种，例如 text/plain 与 text/html[3]。

类型和子类型都由 IANA 登记[1]。登记表列出的顶层类型包括这些[2]：

  • application
  • audio
  • font
  • image
  • message
  • model
  • multipart
  • text
  • video

在这套命名之下，一种格式有明确的类型，解析器才知道按哪套规则读取它。

参数可以额外交代信息。text 主类型的媒体类型，可以加 charset 参数指明字符集；不写的话，默认按 ASCII 处理[3]。

这个参数就写在响应的标头里：

HTTP/1.1 200 OK
Content-Type: text/html; charset=utf-8

平面文件

第一类是平面文件。这类文件的内容以未编码的纯文本形式存放，可能带标记[5]。

这类里包括这些[5]：

  • CSV
  • KML 与 KMZ
  • GPX
  • HTML
  • SVG
  • TeX 与 LaTeX
  • 纯文本
  • 常见编程语言的源代码
  • 无线标记语言
  • XML

范围比想象中宽，代码文件也在其中。

按媒体类型看，这些文件大多落在 text 这一大类下面。纯文本是 text/plain，网页是 text/html，逗号分隔值也有自己的类型[3]。没有明确子类型的文本文档，按约定使用 text/plain[3]。

编码文件

第二类是编码文件。这类文件是二进制文件或者复杂的容器，需要专门的解析器才能提取出人能读的文本[5]。

常见的几种是这些[5]：

  • PDF
  • PostScript
  • EPUB
  • HWP
  • 微软和 OpenOffice 系的文档格式，例如 Word、Excel、PowerPoint、ODT、ODS、ODP
  • 富文本格式

这类文件在媒体类型里多归入 application。

文件 媒体类型
PDF application/pdf
压缩包 application/zip
子类型未知的二进制文件 application/octet-stream

application 这一大类，指的是一切不明确属于其他类型的二进制数据[3]。

媒体格式

除了文档，图片和视频也能被编入索引[5]。

类别 格式
图片 BMP、GIF、JPEG、PNG、WebP、SVG、AVIF
视频 3GP、AVI、MKV、MOV、MP4、WebM、WMV 等

它们在媒体类型里分别归入 image 和 video 两大类[2]。

判定失败的情况

标头缺失或者写错时，判断就要依靠别的线索。

一个办法是看扩展名。名称后缀有时可以推断类型，但并非所有系统都认，也不能担保判断正确[3]。另一个办法是看文件内容，不同格式有各自的起始字节，例如 GIF 文件的头几个字节是 GIF89，PNG 文件以固定的四个字节开头[3]。并非每种格式都有这样的特征，所以它也不是百分之百可靠[3]。

字符集同样影响读取。text 类媒体类型如果不注明 charset，就按 ASCII 处理，除非用户代理另有设定[3]。字符集写错，提取出的文本就会乱码。

按类型检索与范围变化

这份清单并不是固定不变的。官方用「大多数」和「某些」描述范围，本身就说明它随解析能力而变[5]。所以判断某种格式能不能被收录，最好看官方当下的说明，而不是沿用旧的印象。

在检索一侧，还可以用 filetype: 运算符把结果限制到某一种扩展名，例如 filetype:rtf galway 只返回以 .rtf 结尾且含该词的网页[5]。这说明文件类型是引擎认得的一个维度，它既参与收录判断，也参与结果筛选。

附录

参见

参考资料

官方（境外）

  1. 《Media Types》，IANA。
  2. 《Top-Level Media Types》，IANA。
  3. 《MIME 类型（IANA 媒体类型）》，MDN Web Docs。
  4. 《Content-Type》，MDN Web Docs。
  5. 《Google 编入索引的文件类型》，Google 搜索中心。

外部链接

无。