SEO 百科

访问日志

本页目录

访问日志

访问日志 是一行记录，Web 服务按请求逐条写下：来源地址、时间、方法与路径、协议、状态码、响应字节，以及请求里的 Referer 与用户代理。Nginx 与 Apache 都按格式模板输出，日志格式指令可以自定义字段与顺序[1][2]。

SEO 侧的四种用途

判断抓取分布。按用户代理与路径统计，能看出引擎主要抓了哪些目录、哪些被反复抓而无收益，这是抓取预算分析最直接的数据来源[3]。

核对新内容的抓取时延。页面发布时间与它第一次被引擎请求的时间之差，是发现速度的度量。

定位异常返回。状态码按路径分布，能立刻暴露改版后没做跳转的一批老地址。

识别滥用。异常高频的来源、可疑用户代理与不正常的请求路径，都靠这一层发现[4]。

格式上的三条

要带请求处理耗时与上游响应时间，只有状态码时无法定位慢在哪一段。

要能区分协议与主机，多站与 HTTP/HTTPS 混跑时按虚拟主机分开统计。

真实来源要透传。前面有代理时，日志里默认记的是代理地址，配置后才是访客 IP[1]。

与 Search Console 的分工

日志记的是所有到达的请求，包括抓取失败的连接尝试；抓取统计来自 Search Console，是抽样后的结果，只覆盖 Google 处理过的那部分[5]。两边对不上时，先核对时间窗与过滤条件，再判断是不是网络层被挡。

常见误用

第一种是按用户代理字符串认定访客身份，伪造成本低，判断爬虫真伪要走域名反查[3]。第二种是日志不留历史，事后无法回溯。第三种是把整份日志放在可下载的公开路径上[4]。

附录

参见

参考资料

官方（境外）

  1. 《nginx module ngx_http_log_module》，NGINX。
  2. 《Apache mod_log_config》，Apache HTTP Server Project。
  3. 《优化抓取预算》，Google 搜索中心。
  4. 《防止网站和平台存在用户生成的垃圾内容》，Google 搜索中心。
  5. 《排查抓取问题》，Google 搜索中心。

外部链接