SEO 百科
服务器监控
本页目录
服务器监控
服务器监控 按固定间隔观测服务器状态，检查站点能不能打开、响应要多久、处理器和内存占用多少[1]。监控本身不参与网页生成，但它能在宕机影响抓取之前先发出通知。判断一套监控值不值得用，看它测什么、多久测一次、报警发给谁。
监控测得的三类指标
站点监控大致测三件事。
- 可用性：站点能不能打开。UptimeRobot 这类服务按 HTTP 请求判断端点是否在线[3]。
- 响应时间：从发出请求到收到首字节要多久。时间变长说明后端变慢。
- 资源占用：处理器、内存、磁盘和流量的使用量。Prometheus 把这类数值当作时序数据，连同记录的时间戳一起保存[1]。
| 指标 | 看什么 | 异常的含义 |
|---|---|---|
| 可用性 | 站点能否打开 | 宕机或返回错误码 |
| 响应时间 | 首字节耗时 | 后端处理变慢 |
| 资源占用 | CPU、内存、磁盘 | 容量不足 |
这三类指标常常一起看。HTTP Archive 的年度报告基于近 1700 万个站点，其中一章专门统计页面性能[7]。响应时间和资源占用这两项，正好对应性能好坏的两个来源。
自建监控与在线监控的分工
自建监控把采集、存储和展示分成几块。Prometheus 负责定时抓取并保存数值，Grafana 负责把数据画成图表[2]。两者配合能看到长期趋势，代价是这套服务也要自己维护。
在线监控前期投入更小。UptimeRobot 从多个地区发起检查，免费版每 5 分钟测一次[3]。它测不到服务器内部的指标，适合盯可用性。
两类可以并用。在线监控盯外网能不能访问，自建监控盯机器内部。机器整台断网时，自建监控自己也会停，外面的检查才发得出报警。
监控数据与抓取的联系
站点能不能被抓取，先看它是否在线。百度把抓取失败的一类成因写成：“服务器响应过慢或您的网站屏蔽了百度 spider”[6]。响应过慢和主动屏蔽，都会让爬虫空手而回。
响应时间的变化会直接改抓取量。Google 说明，站点响应时间稳定或缩短时，抓取容量上限会升高；一旦响应变慢，抓取量就会减少[5]。所以响应时间的告警，就是抓取量下降的前兆。
宕机时，爬虫拿不到页面。Google 说明，5xx 和 429 会让抓取工具暂时减慢抓取速度，已经编入索引的网址最终会被丢弃[4]。监控要能在宕机几分钟内报警，晚了就等于没有。
告警与误报
告警要落到人能看到的地方。邮件、短信或聊天工具都行，关键是有人收得到。
告警也会误报。测一次失败不等于宕机，网络抖动同样会让请求超时。UptimeRobot 会在多个检查节点和地区复核失败，再开启事件，用来压低误报[3]。自建监控也常把连续几次失败才算作宕机。
阈值要留余量。把响应时间的阈值设在日常峰值附近，天天报警的监控等于没有。
常见误用
- 只测首页。首页正常时，商品页或搜索页仍可能报错。
- 只做自建监控。机器整台不通时，自建监控自己也停了，报警发不出来。
- 把监控当收录工具。监控只说服务器通不通，收录由内容和抓取结果决定。
- 阈值过严。频繁误报会让人忽略真正的宕机。
附录
参见
参考资料
官方（境外）
- 《Overview》，Prometheus。
- 《About Grafana》，Grafana Labs。
- 《UptimeRobot》，UptimeRobot。
- 《How HTTP status codes affect Google's crawlers》，Google。
- 《面向大型网站所有者的抓取预算管理指南》，Google 搜索中心。
官方（国内）
- 《平台工具使用手册（抓取诊断）》，百度搜索资源平台，2020-08-14 更新。
第三方
- 《2024 Web Almanac》，HTTP Archive。
外部链接
无。