故障复盘案例库
故障复盘是运维最稀缺、谷歌最认的「经验证据」形态——不是讲原理,而是完整还原一次事故:什么时候、发生了什么、怎么查出来、怎么修、怎么防再发。这里每篇都是一线运维视角的实操复盘。
📌 诚实说明:本库文章按「代表性故障复盘」写作——还原的是该类故障的典型形态与完整排查流程,用第一人称运维操作视角讲透诊断思路;不虚构特定公司、当事人或具体日期,重点是可复用的排查方法论。
复盘固定模板
每篇都按同一结构,保证「查得着、看得懂、能复用」:
- 故障概述 —— 一句话说清现象与规模
- 影响 —— 谁被影响、影响多大、持续多久
- 时间线 —— 从首次告警/用户反馈到恢复的关键节点
- 根因 —— 真正的触发点(不是表面现象)
- 诊断里最容易踩的几个坑 —— 拖慢恢复的不是查不到,而是顺序与干扰
- 修复 —— 怎么一步步定位、临时止血、彻底解决
- 防再发 —— 该加的监控、告警、演练、护栏
- 复盘结论 —— 一句话经验教训
首批案例(5 篇)
| 案例 | 一句话价值 | 关联栏目 |
|---|---|---|
| DNS 解析故障复盘:上游故障 + TTL 缓存叠加 | 全站突然解析不了,dig 链路逐级定位到上游 DNS | 网络 |
| 日志分区写满复盘:/var/log 100% 服务静默失败 | 日志把盘写满,服务「没报错却坏了」的排查 | 监控 |
| 证书过期未被监控复盘:Let's Encrypt 续期失败 | 到期当天才被发现,openssl 拉链排查 + 补告警 | 网络 |
| HA MQTT 自动发现失败复盘:主题漂移/重名 | 设备莫名消失,mosquitto_sub 抓主题定位 | HA |
| LLM 推理服务 OOM 复盘:vLLM 显存泄漏 + 并发超配 | 推理服务反复重启,nvidia-smi 定位显存撑爆 | AI |
为什么单独做案例库
教程讲「怎么用」,复盘讲「出事了你怎么办」。故障永远有新案例、写不完,是内容站最持久的第二引擎;而且事故复盘天然高 E-E-A-T,比泛泛教程更容易拿到搜索精选与 AI 概览。
[浏览全部文章 →../../archive.md)