跳转至

故障复盘案例库

故障复盘是运维最稀缺、谷歌最认的「经验证据」形态——不是讲原理,而是完整还原一次事故:什么时候、发生了什么、怎么查出来、怎么修、怎么防再发。这里每篇都是一线运维视角的实操复盘。

📌 诚实说明:本库文章按「代表性故障复盘」写作——还原的是该类故障的典型形态与完整排查流程,用第一人称运维操作视角讲透诊断思路;不虚构特定公司、当事人或具体日期,重点是可复用的排查方法论。

复盘固定模板

每篇都按同一结构,保证「查得着、看得懂、能复用」:

  1. 故障概述 —— 一句话说清现象与规模
  2. 影响 —— 谁被影响、影响多大、持续多久
  3. 时间线 —— 从首次告警/用户反馈到恢复的关键节点
  4. 根因 —— 真正的触发点(不是表面现象)
  5. 诊断里最容易踩的几个坑 —— 拖慢恢复的不是查不到,而是顺序与干扰
  6. 修复 —— 怎么一步步定位、临时止血、彻底解决
  7. 防再发 —— 该加的监控、告警、演练、护栏
  8. 复盘结论 —— 一句话经验教训

首批案例(5 篇)

案例 一句话价值 关联栏目
DNS 解析故障复盘:上游故障 + TTL 缓存叠加 全站突然解析不了,dig 链路逐级定位到上游 DNS 网络
日志分区写满复盘:/var/log 100% 服务静默失败 日志把盘写满,服务「没报错却坏了」的排查 监控
证书过期未被监控复盘:Let's Encrypt 续期失败 到期当天才被发现,openssl 拉链排查 + 补告警 网络
HA MQTT 自动发现失败复盘:主题漂移/重名 设备莫名消失,mosquitto_sub 抓主题定位 HA
LLM 推理服务 OOM 复盘:vLLM 显存泄漏 + 并发超配 推理服务反复重启,nvidia-smi 定位显存撑爆 AI

为什么单独做案例库

教程讲「怎么用」,复盘讲「出事了你怎么办」。故障永远有新案例、写不完,是内容站最持久的第二引擎;而且事故复盘天然高 E-E-A-T,比泛泛教程更容易拿到搜索精选与 AI 概览。


[浏览全部文章 →../../archive.md)