← 事件库 / Developer Tools

Chronicle 把 agent 故障运行变成确定性回归测试

Chronicle 把模型与工具边界记录为不可变 envelope,并在回放时固定其中一部分、让另一部分用新代码实时执行。这个 cut-point replay 能把非确定性的 agent 事故变成 CI 回归测试。在 6 个已记录故障上,完整回放不调用模型,连续 20 次结果保持 bit-stable;cut-point 测试也能在全部案例中区分故障、已加护栏和无害变更。实现与 benchmark 已公开。

可用状态:代码与 benchmark 公开

本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。

对你意味着什么

对运行 tool-using agent 的团队来说,trace 可以从被动观测记录变成可执行测试。当前 benchmark 只有 6 个案例,更合适的下一步是挑一个代价高的真实事故做 POC,而不是直接全面采用。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

背景材料 · 历史记录,未重新核验

Chronicle 把模型与工具边界记录为不可变 envelope,并在回放时固定其中一部分、让另一部分用新代码实时执行。这个 cut-point replay 能把非确定性的 agent 事故变成 CI 回归测试。在 6 个已记录故障上,完整回放不调用模型,连续 20 次结果保持 bit-stable;cut-point 测试也能在全部案例中区分故障、已加护栏和无害变更。实现与 benchmark 已公开。

技术细节与六维评分
方法 不可变边界 envelope + cut-point replay
Benchmark 6 个带模拟模型边界的已记录故障
完整回放 零模型调用;20 次重复 bit-stable
记录开销 每次边界跨越 23 微秒
可用性 代码与 benchmark 公开
技术影响 4
工程价值 5
采用信号 1
成熟度 2
验证成本 2
风险 2