ParaRecover 不只看最终任务是否成功,而是评测 agent 能否定位并修复并行工具分支中的中间故障。10,626 个样本覆盖依赖规划、工具选择与参数匹配等 14 类错误。SDE rubric 分别衡量结构完整性、诊断推理与重新规划策略。对十多个模型的测试显示,多轮错误传播、隐式工具失败和精确重规划仍是普遍弱项;MIT 代码与数据已公开。
ParaRecover 评测并行工具调用的故障恢复
2026-09-14前沿观察TRIAL
ParaRecover 不只看最终任务是否成功,而是评测 agent 能否定位并修复并行工具分支中的中间故障。10,626 个样本覆盖依赖规划、工具选择与参数匹配等 14 类错误。SDE rubric 分别衡量结构完整性、诊断推理与重新规划策略。对十多个模型的测试显示,多轮错误传播、隐式工具失败和精确重规划仍是普遍弱项;MIT 代码与数据已公开。
可用状态:MIT GitHub 仓库,含数据与评测代码
本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。
对你意味着什么
对运行并行或 multi-agent workflow 的团队,最终通过率会掩盖恢复是可靠能力还是偶然结果。ParaRecover 可作为定位与重规划的回归测试,再把这些路径带入生产。由于评分仍较依赖研究 rubric,仓库也没有可见采用,应把它作为环境内故障注入的补充,而不是替代。
前沿观察
公开材料与效果验证,分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 数据集 | 10,626 个样本,两个难度等级 |
|---|---|
| 错误分类 | 14 类,覆盖依赖规划、工具选择与参数匹配 |
| Rubric | SDE:结构完整性、诊断推理、演化/重规划策略 |
| 模型覆盖 | 十多个主流 LLM |
| 可用性 | MIT GitHub 仓库,含数据与评测代码 |
| 采用情况 | 扫描截止时 GitHub stars 为 0 |
技术影响 3
工程价值 4
采用信号 1
成熟度 2
验证成本 2
风险 2