Omni Interaction Agent 技术报告发布 Gander：一个统一全模态感知、实时交互与 agent 能力的端到端模型——持续接收视频、语音、文本的流式输入，在日常对话与工作流 agent 场景中实现全双工交互，支持用户随时打断、模型主动给中间反馈与追问。两个关键设计：Cerebellum-Brain 协作框架（Cerebellum 负责实时交互与全模态对话，Brain 负责复杂推理与高层 agent 任务，两者经工具调用与 agent 编排运行时持续交互）与流式 Thinker-Talker 的 Cerebellum（把用户输入与模型输出展平为一个按 chunk 排序的统一 token 流，支撑低延迟连续交互）。内部人工评测：保持 SOTA 开源口语对话的自然与表现力，omni 交互具竞争力，在背景噪声、多方对话、backchannel 场景下稳健。模型、代码、数据一并发布。
Gander：模型、代码、数据一并开放的全双工全能 agent
2026-09-11前沿观察WATCH
Omni Interaction Agent 技术报告发布 Gander：一个统一全模态感知、实时交互与 agent 能力的端到端模型——持续接收视频、语音、文本的流式输入，在日常对话与工作流 agent 场景中实现全双工交互，支持用户随时打断、模型主动给中间反馈与追问。两个关键设计：Cerebellum-Brain 协作框架（Cerebellum 负责实时交互与全模态对话，Brain 负责复杂推理与高层 agent 任务，两者经工具调用与 agent 编排运行时持续交互）与流式 Thinker-Talker 的 Cerebellum（把用户输入与模型输出展平为一个按 chunk 排序的统一 token 流，支撑低延迟连续交互）。内部人工评测：保持 SOTA 开源口语对话的自然与表现力，omni 交互具竞争力，在背景噪声、多方对话、backchannel 场景下稳健。模型、代码、数据一并发布。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
全双工语音 agent 本周刚以商业 API 形态上线（GPT-Live 1 GA）；Gander 是开放权重一侧的对应物，还附带编排运行时——首个把实时全模态交互与 agent 工具使用打包在一起的开源发布，其快/慢双层 + 统一 token 流的参考架构，适合所有想做自己能审查的语音 agent 的团队。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| ArXiv | 2609.08977（9 月 10 日周四 digest，2026-09-11T00:00Z 宣告） |
|---|---|
| 架构 | Cerebellum-Brain 分工（实时全模态对话 vs 复杂推理 + agent 任务；经工具调用与编排运行时交互）；流式 Thinker-Talker Cerebellum；chunk 级有序统一 token 流 |
| 能力 | 全双工、用户打断、主动中间反馈、追问；视频+语音+文本流式输入 |
| 评测 | 内部人工评测：SOTA 开源口语对话自然度；omni 交互具竞争力；噪声 / 多方 / backchannel 稳健 |
| 发布 | 模型 + 代码 + 数据一并发布 |
技术影响 4
工程价值 4
采用信号 3
成熟度 2
验证成本 3
风险 2