← 事件库 / Research

ParaRecover 评测并行工具调用的故障恢复

ParaRecover 不只看最终任务是否成功,而是评测 agent 能否定位并修复并行工具分支中的中间故障。10,626 个样本覆盖依赖规划、工具选择与参数匹配等 14 类错误。SDE rubric 分别衡量结构完整性、诊断推理与重新规划策略。对十多个模型的测试显示,多轮错误传播、隐式工具失败和精确重规划仍是普遍弱项;MIT 代码与数据已公开。

可用状态:MIT GitHub 仓库,含数据与评测代码

本文来自既有扫描档案。迁移保留原判断,不代表在迁移时重新核验。

对你意味着什么

对运行并行或 multi-agent workflow 的团队,最终通过率会掩盖恢复是可靠能力还是偶然结果。ParaRecover 可作为定位与重规划的回归测试,再把这些路径带入生产。由于评分仍较依赖研究 rubric,仓库也没有可见采用,应把它作为环境内故障注入的补充,而不是替代。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

背景材料 · 历史记录,未重新核验

ParaRecover 不只看最终任务是否成功,而是评测 agent 能否定位并修复并行工具分支中的中间故障。10,626 个样本覆盖依赖规划、工具选择与参数匹配等 14 类错误。SDE rubric 分别衡量结构完整性、诊断推理与重新规划策略。对十多个模型的测试显示,多轮错误传播、隐式工具失败和精确重规划仍是普遍弱项;MIT 代码与数据已公开。

技术细节与六维评分
数据集 10,626 个样本,两个难度等级
错误分类 14 类,覆盖依赖规划、工具选择与参数匹配
Rubric SDE:结构完整性、诊断推理、演化/重规划策略
模型覆盖 十多个主流 LLM
可用性 MIT GitHub 仓库,含数据与评测代码
采用情况 扫描截止时 GitHub stars 为 0
技术影响 3
工程价值 4
采用信号 1
成熟度 2
验证成本 2
风险 2