ICISELFLAB / RELIABILITY

围绕故障机制构建可靠性测试

ICI Reliability 检验修正能否在条件变化后继续有效,而不是把一次成功的重新运行当作故障机制已经消失的证明。

01

问题

系统可能因为原始症状消失而看似已修复,但因果机制仍然存在。当上下文、负载、工具顺序、数据质量或操作行为变化时,回归就会重新出现。

02

ICI 如何处理

ICI 保存故障机制、支持和反对证据、修正动作以及获得结果时的条件,然后生成有针对性的反测试,系统改变因果因素,寻找隐藏复发、交互控制和缓解失效边界。

03

运行示例

某个工作流在调整一个参数后不再失败。Reliability 恢复原负载,并单独改变遥测质量或依赖控制。如果故障再次出现,修正会被识别为依赖具体上下文,而不是持久修复。

04

证据纪律

结果区分已验证缓解、回归、隐藏复发、未解决交互和证据不足。置信度跟随测试证据,而不是跟随结果是否“看起来整齐”。