日志与排查

日志与排查 是把系统日志、访问日志、错误日志这三类记录串成一条追查路径的工作。它的价值在于把猜测换成证据：页面变慢、抓取失败、内容被人改动，都要能回溯到具体请求与时间点。防滥用建议里，Google 也要求查看日志中的流量激增迹象^[1]。

三类记录各回答什么

系统日志回答机器发生了什么：服务重启、磁盘写满、内核报错、认证失败。

访问日志回答谁请求了哪个地址、返回什么码、传了多少字节、用了哪个用户代理与来源 IP。判断爬虫有没有来过、抓了哪些路径，主要靠它^[2]。

错误日志回答请求失败的原因，语言运行时的报错、重写规则死循环、上游超时都落在这里^[3]。

排查路径的走法

先定范围：影响全站、单站、还是某类页面。

再看时间：从现象发生的时刻向前推几分钟，异常往往在故障点之前已经出现。

然后交叉三类记录。访问日志给出异常的状态码与 URL，错误日志给原因，系统日志给那段时间机器的负载与限制^[1]。

最后与搜索引擎侧对表：抓取统计与网页索引报告在 Search Console 里，能确认引擎看到的结果，也能对照用户那边看到的是不是同一份^[4]。

两件配套的事

日志要留得住。不设轮转与压缩，磁盘会被写满，反而制造新故障^[3]。

日志要能查。集中收集或至少保留可 grep 的按天分片，多站环境里逐台翻文件不现实。

常见误用

第一种是只盯访问日志判断抓取情况，忽略了引擎可能压根没抓成功，那部分要在抓取统计里看^[4]。第二种是故障处理完不留下记录，同类问题重复发生。第三种是把日志文件长期挂在可访问路径上，等于把内部信息交出去^[1]。

附录

参见

• 系统日志
• 访问日志
• 错误日志
• 日志轮转
• 抓取预算
• 服务器监控

参考资料

官方（境外）

1. 《防止网站和平台存在用户生成的垃圾内容》，Google 搜索中心。
2. 《优化抓取预算》，Google 搜索中心。
3. 《nginx documentation》，NGINX。
4. 《排查抓取问题》，Google 搜索中心。

外部链接

• logrotate 项目，logrotate 维护组。