← 事件库 / AI Engineering

Microsoft 重构 Agent Lightning,让真实 harness 直接参与 RL

Microsoft Research 开源重构后的 Agent Lightning v1.0。它通过 OpenAI 兼容代理观察现有 agent harness 的模型调用,不要求把执行循环重写进训练框架。约 3,500 行控制面支持本地进程与 Kubernetes rollout;作者报告用约 6,000 个样本把 Qwen3.5-9B 在 SWE-bench Verified 的 Pass@1 从 41.8% 提升到 56.4%。

对你意味着什么

对训练真实 coding agent 的团队来说,部署用的 harness 可直接进入 RL,减少训练与线上行为不一致。结果仍是作者报告,且训练会记录 prompt、response 与 log probability;试用前要验证隔离、脱敏、失败恢复和成本。

证据与关联材料

技术细节与六维评分
代码规模 约 3,500 行;已开源
接入方式 OpenAI 兼容 LLM 代理观察无需改写的真实 agent harness
控制面 API Gateway、Rollout Controller 与基于 verl 的自定义 trainer
执行 本地进程或原生 Kubernetes job;不依赖付费 sandbox
调度 同机异步 RL 在模型更新时暂停新请求;作者报告端到端较同步 RL 约快 2 倍
Coding 结果 Qwen3.5-9B,约 6,000 个 SWE-smith 样本,SWE-bench Verified Pass@1 从 41.8% 升至 56.4%
许可证 仓库为 MIT
技术影响 4
工程价值 5
采用信号 3
成熟度 3
验证成本 4
风险 3