日志与抓取数据对照

日志与抓取数据对照 是把两类记录放进同一条时间轴：服务器上的访问日志，以及后台里的抓取报告^[1]。用途是看清抓取停在哪一环。两边各说一半事实，合起来才看得出漏在哪一环。

对照要问的四个问题

日志里有没有来？没有就是 DNS、防火墙或 robots 的问题。来了请求什么？按路径分组看抓取集中在哪一批地址^[1]。返回什么状态？成片的 5xx 与 429 会让抓取降速，Google 说明这类响应会被当作服务器过载信号^[2]。抓完之后有没有被处理？这一步只能在 Search Console 里看。

三个典型结论

第一种是抓取被参数页吃满：日志里同一模板的变体被反复请求，对应抓取预算指引要收敛这类地址^[1]。第二种是 429 与 5xx 成批出现，抓取节奏被自动放慢，处理方向在服务端容量与限流阈值^[2]。第三种是 robots 屏蔽与索引状态冲突，被拦的页面看不见 noindex。

抓取的分类计数

按 user-agent 分组时要区分搜索抓取、AI 抓取与用户代取三类，AI 爬虫的令牌与地址由各家公布^[3]。把 AI 抓取算进搜索抓取会高估发现量^[3]。

频率与验证

对照前先把请求真伪核一遍，user-agent 可以伪造，Google 与 Perplexity 都给了验证方法或地址清单^[4][3]。

附录

参见

• 日志文件的来源
• 抓取预算
• 日志分析
• Search Console
• Googlebot

参考资料

官方（境外）

1. 《优化抓取预算》，Google 搜索中心。
2. 《HTTP 状态代码对 Google 抓取工具的影响》，Google 搜索中心。
3. 《Perplexity Crawlers》，Perplexity 文档。
4. 《验证 Googlebot》，Google 搜索中心。

外部链接

• Common Log Format，Nginx 文档。