SEO 百科

日志分析工具

本页目录

日志分析工具

日志分析工具 是读取网络服务器访问日志、从中还原爬虫行为的软件[6]。站长用它，是因为日志记的是服务器真实收到的请求，搜索后台只给汇总数字[3]。它能回答爬虫来过几次、抓了哪些页面、拿到什么返回码。

日志里记录的字段

访问日志一行记一条请求。每行由服务器按格式串拼出，字段之间用空格或引号分开。

Nginx 的默认格式叫 combined，写法是[1]：

log_format combined '$remote_addr - $remote_user [$time_local] '
                    '"$request" $status $body_bytes_sent '
                    '"$http_referer" "$http_user_agent"';

Apache 把同一组信息拆成格式符，%h 是客户端地址，%r 是请求行，%s 是状态码，%b 是响应字节数[2]。一行真实的记录长这样：

203.0.113.7 - - [07/Oct/2026:10:12:33 +0800] "GET /article/1024.html HTTP/1.1" 200 18432 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

对 SEO 有用的字段有四个：

  • 客户端地址，用来核验爬虫身份；
  • 用户代理，写明是哪个爬虫；
  • 请求网址，写明抓了哪个页面；
  • 状态码，写明这次抓取的结果。

爬虫身份核验

用户代理可以伪造。只按用户代理筛请求，会把冒充 Googlebot 的访问算成真爬虫。

Google 给出三种核对方式：用户代理请求标头、请求的源 IP 地址、源 IP 的反向 DNS 主机名[3]。三项一起看才算核验完成。

Google 的抓取工具分布在全球多个数据中心，日志里会看到来自多个 IP 的访问[3]。主要请求来自美国境内的地址，看到别国地址不等于伪造。

抓取频次与返回码

频次是日志能算出来的一项。百度给出的定义是：搜索引擎在单位时间内抓取网站的总次数，按天统计[4]。

频次由爬虫自己调节。Baiduspider 根据内容更新频率和服务器压力等因素自动调整抓取频次[4]。服务器响应慢，频次就会被调低。

返回码决定页面在索引里的去留。Google 提示，向它的抓取工具返回不适当的 HTTP 响应代码，可能影响网站在搜索结果里的呈现[3]。常见的几个返回码含义如下：

  • 200，正常返回，页面内容被读取；
  • 301，永久跳转，权重传给新地址；
  • 404，页面不存在，反复抓取无果会退出索引；
  • 503，服务暂时不可用，爬虫稍后再来。

与搜索后台对照

日志和搜索后台量的是两件事，要并排看。

搜索后台给的是汇总数字。百度在抓取诊断里提供单次抓取的记录[5]，在抓取频次里给出天级的抓取总量[4]。日志给的是每一行原始请求。

两边的数字对不上，通常有三种原因：

  • 日志里混着其它爬虫和扫描器，后台只统计自家爬虫；
  • 日志时间戳用服务器本地时间，后台按自己的时区切分；
  • 日志保留期短，后台能回溯更长时间。

工具与取数方式

小站用命令行就够了。按用户代理筛出 Googlebot 的行，再按状态码分组计数，就能看出抓取结构。

大站得用工具。Screaming Frog 的日志分析器支持两种日志格式，能读 Apache、IIS 和 Nginx 的日志[6]。它会自动核验爬虫身份，并把伪造 IP 的请求单列出来[6]。

工具能给的三类结论：

  1. 哪些网址被抓过、多久抓一次；
  2. 哪些网址返回了 4XX 和 5XX；
  3. 站内有哪些网址从未被抓过。

第三类结论最有价值。把站点地图里的网址和日志比对，就能找出从没被爬虫访问的页面[6]。

常见误用

一个误用是只按用户代理筛爬虫。伪造的请求会混进统计，把抓取量算大[3]。

另一个误用是拿抓取频次当收录量。频次只说明爬虫来过，收录由页面质量和索引规则决定。

还有一个误用是看到 404 就立刻删页面。地址写错或参数缺失也会产生 404，先核对链接再动手。

附录

参见

参考资料

官方（境外）

  1. 《Module ngx_http_log_module》，NGINX。
  2. 《Apache Module mod_log_config》，Apache HTTP Server。
  3. 《Google 抓取工具和抓取器（用户代理）概览》，Google 搜索中心，2025-03-14 更新。

官方（国内）

  1. 《平台工具使用手册（抓取频次）》，百度搜索资源平台，2020-08-14 更新。
  2. 《平台工具使用手册（抓取诊断）》，百度搜索资源平台，2020-08-14 更新。

第三方

  1. 《SEO Log File Analyser》，Screaming Frog。

外部链接

无。