MSI-Bench 用 1,152 个多人多轮音频场景评测语音 agent，中英文各占一半。每个用例都包含参与者背景、预期工具调用，以及记忆、指令遵循和推理的原子评分项。最强配置只有 66.8% 的英文用例和 54.5% 的中文用例通过全部评分项；最佳开源权重配置只有 34.0% 和 19.3%。系统还经常在没人叫它时主动回答。
MSI-Bench：语音 agent 常分不清说话者与权限
2026-09-22前沿观察WATCH
MSI-Bench 用 1,152 个多人多轮音频场景评测语音 agent，中英文各占一半。每个用例都包含参与者背景、预期工具调用，以及记忆、指令遵循和推理的原子评分项。最强配置只有 66.8% 的英文用例和 54.5% 的中文用例通过全部评分项；最佳开源权重配置只有 34.0% 和 19.3%。系统还经常在没人叫它时主动回答。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
对会议、家庭和协作型语音 agent 来说，转写准确率不能说明系统是否知道谁在说话、谁的指令有权限，以及什么时候应该保持沉默。验收测试应加入按说话者划分的工具权限和“不要回应”的负例。MSI-Bench 已公开，但它评测的是通用多人语音交互，不是某个翻译模型的专项测试。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 用例 | 共 1,152 个；英文 576 个、中文 576 个 |
|---|---|
| 能力 | 多人记忆、多人指令遵循与多人推理 |
| 最佳前沿配置 | 英文全部评分项通过率 66.8%，中文 54.5% |
| 最佳开源权重配置 | 英文 34.0%，中文 19.3% |
| 失误分布 | 开源权重主要受说话者感知限制；前沿系统仍会错判按说话者划分的决策，也缺少对话克制 |
| 公开产物 | Hugging Face 数据集和 GitHub 代码已公开 |
技术影响 3
工程价值 4
采用信号 2
成熟度 2
验证成本 3
风险 2