随机故障注入与韧性测试实战：主动破坏，才能被动免疫

去年一个客户，系统做了高可用：多副本、读写分离、跨AZ部署。该有的都有了。大促前做了一次混沌测试，主动杀了一个缓存节点。结果出乎意料：缓存集群触发了rebalance，大量请求穿透到数据库，数据库连接池瞬间打满，整个链路雪崩。

问题出在缓存客户端配置了“节点变更时重建连接池”。这个逻辑在单节点测试时没问题，但随机杀节点时暴露了。

他们只测了“固定节点故障”，没测“随机节点故障”。真实世界的故障是随机的，不是按你剧本来的

今天聊聊随机故障注入与韧性测试。不是那种“混沌工程很重要”的入门课，而是帮你理清楚：怎么让系统提前“打疫苗”，主动暴露弱点。

01 固定故障测不出真韧性

很多人做混沌测试，习惯按固定剧本：周三下午3点，杀掉订单服务的Pod。测完发现系统扛住了，信心满满上线。

但真实故障不按剧本走。它可能发生在凌晨、发生在你从没想过要杀的那个服务、同时杀两个节点、或者只是让某个服务慢一点点——不是挂掉，是变慢。

固定故障只能验证已知场景。随机故障才能发现未知盲区。

那家客户只测了“杀掉缓存节点”。缓存挂了，应用有降级逻辑，直接从数据库读，扛住了。但他们没测“缓存节点变慢”。变慢比挂了更隐蔽——连接池没爆，但每个请求都卡几百毫秒，整个系统响应时间翻倍。

随机故障注入，就是要模拟这种不可预测的真实世界。

02 故障类型：不只“挂掉”一种

很多人理解的故障就是“服务挂了”。真实世界的故障远不止这一种。

延迟类故障：网络延迟增加、磁盘IO变慢、数据库查询变慢。比直接挂掉更隐蔽，更难发现。

资源类故障：CPU跑满、内存吃光、磁盘写满、连接池耗尽。系统还活着，但基本废了。

依赖类故障：下游服务超时、返回错误码、返回脏数据、响应格式变了。

网络类故障：丢包、乱序、重复、分区。比单纯延迟更复杂。

配置类故障：错误的配置被动态加载、证书过期、限流阈值被意外调低。

那家客户后来增加了随机延迟故障：在缓存节点上随机注入50-200ms延迟。结果发现，缓存客户端没有熔断机制，延迟一高，线程池快速耗尽。

03 注入策略：随机时间、随机目标、随机类型

故障注入不是“跑一次就行”，要持续、随机、无规律。

随机时间：不要只在工作日下午测。凌晨、周末、大促前夕，不同时段系统状态不同。

随机目标：不要只杀你“觉得”重要的服务。边缘服务挂了会不会波及核心？不知道就测一下。

随机类型：今天是延迟，明天是丢包，后天是CPU飙高。每次不一样，才能暴露更多问题。

随机组合：同时杀两个节点、同时延迟+丢包、同时CPU高+磁盘慢。真实故障往往是复合的。

那家客户后来把故障注入做成了每周自动运行的作业。随机选时间、随机选目标、随机选故障类型。每次跑完自动生成报告，列出系统表现和不通过的指标。

04 爆炸半径：控制伤害范围

随机故障注入不是乱搞。要控制影响面。

按服务隔离：先在非核心服务上练手，稳定了再扩大到核心服务。

按用户比例：只影响1%的流量。出问题了最多1%用户受影响。

按时间窗口：设置故障持续时间，比如60秒后自动恢复。

按状态回滚：故障注入前后记录系统状态，结束后自动清理残留。

那家客户刚开始做随机注入时，有一次误伤了生产环境，影响了3%的用户。后来加了“爆炸半径自动检测”：当错误率超过5%时，自动停止所有故障注入，并回滚到最后健康状态。

05 观测什么：不是看“挂了没”，是看“恢复得怎样”

韧性测试的核心不是“系统会不会挂”，而是“挂了能不能恢复”。

MTTD（平均发现时间）：故障发生后，监控多久发现？告警多久发出？从故障注入到收到告警的时间。

MTTR（平均恢复时间）：从故障发生到系统完全恢复，用了多久？自动恢复还是人工介入？

恢复期间的表现：降级了哪些功能？用户影响面多大？有没有数据丢失？

恢复后的状态：系统恢复后，是否有残留问题？连接池有没有漏？缓存有没有热起来？

那家客户把MTTD和MTTR作为韧性测试的核心通过指标。MTTD目标<1分钟，MTTR目标<5分钟。不达标就不允许发布新版本。

06 一个真实案例：随机延迟暴露了熔断短板

一个金融客户，做了完善的混沌测试，固定故障全部通过。我们加了随机故障注入：在支付依赖服务上，随机注入100-500ms延迟。

第一次测试，系统扛了10分钟，然后崩溃。原因是下游超时设了3秒，延迟在范围内，没触发超时。但请求积压导致线程池耗尽。

修复方案：缩短超时到500ms，增加熔断器——连续5次慢调用就熔断，走降级返回“系统繁忙”。

再测一次，系统稳定运行1小时，MTTR从15分钟降到2分钟。

写在最后

韧性不是设计出来的，是练出来的。

那家客户的运维负责人后来总结：“以前我们只测‘系统能不能扛住’。现在我们知道，还要测‘系统扛不住的时候，能不能优雅地不扛’。主动破坏多了，被动免疫就强了。”

你的系统，打过几种“疫苗”了？
随机延迟、随机丢包、随机杀节点、随机CPU飙高。练过，才不怕。