日志分析

日志分析 是把 Web 服务器的请求日志一条条读出来，看抓取与访问实际发生了什么。它是 SEO 里少数直接反映引擎行为的原始数据。对比在于颗粒度：Search Console 的报告是抽样与汇总，日志留下每一次请求。

官方把日志列在监控项里

Google 在防滥用的指南里直接要求看日志：留意 Web 服务器日志文件中是否突然出现流量激增^[1]。这一条本来针对垃圾内容的攻击，同样适用于发现异常抓取。

能读出来的五类事

第三方整理的读法集中在抓取预算这一层，因为它直接影响搜索引擎把注意力放在哪些页面上^[2]：

• 抓取集中在哪些路径上，重要的页面是否真的被频繁访问。
• 哪些重复地址被反复请求，浪费掉的配额流向哪里。
• 出现 4xx、5xx 响应的抓取有多少，失败的原因分布。
• 新页面从上线到被首次抓取隔了多久，发现速度是否够快。
• 爬虫的用户代理与来源 IP，是否与官方公布的一致，异常者要单独核。

改善抓取预算的好处被列了三项：降低服务器与带宽成本、提高有价值页面的抓取频率、加快新页面的发现速度^[2]。

与抓取报表的分工

抓取统计报告来自 Search Console，给的是抽样数据，Google 提醒过它只反映一部分^[3]。日志是全量，两者对不上时，要检查日志里过滤与解析的方式，而不是先怀疑报告。

判断爬虫真伪要走验证流程，不能只看用户代理字符串，所有抓取配置共用同一字符串^[4]。

做法上的两条

数据量大时先看聚合：按状态码、按路径前缀、按用户代理分组计数，找出量最大的几类再细看。原始行级数据留着给具体网址的追查用。

时间窗要固定。对比时段长度不同，请求数没法比。

常见误用

第一种是把日志当流量报表用，混进爬虫与人工访问。第二种是靠字符串里出现 bot 字样判定来源^[4]。第三种是一次性分析完就归档，抓取行为会随站点改版变化。

附录

参见

• 抓取预算
• 抓取速率
• 抓取错误
• 灵活抽样
• 验证爬虫
• 访问日志

参考资料

官方（境外）

1. 《防止网站和平台存在用户生成的垃圾内容》，Google 搜索中心。
2. 《5 Ways to Get Better Log File Insights for Crawl Budget Optimization》，Search Engine Journal。
3. 《优化抓取预算》，Google 搜索中心。
4. 《验证 Googlebot》，Google 搜索中心。

外部链接

• Google 抓取工具与抓取器概览，Google 搜索中心。