SWE-Flux 包含 480 道仓库级动态执行题，来自 12 个真实 Python 仓库的插桩测试。标准答案从运行轨迹自动采集，不依赖 LLM judge 编写。题目覆盖控制流、循环、程序状态、数据流、异常与不变量，并同时考查单测试和多测试场景。五个受测 LLM 的最佳准确率只有 37%，最难的是跨过程数据流、精确状态推理和整套测试聚合。
SWE-Flux 测试 coding 模型是否真正理解运行时行为
2026-09-24前沿观察TRIAL
SWE-Flux 包含 480 道仓库级动态执行题，来自 12 个真实 Python 仓库的插桩测试。标准答案从运行轨迹自动采集，不依赖 LLM judge 编写。题目覆盖控制流、循环、程序状态、数据流、异常与不变量，并同时考查单测试和多测试场景。五个受测 LLM 的最佳准确率只有 37%，最难的是跨过程数据流、精确状态推理和整套测试聚合。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
对 coding agent 团队来说，测试通过不代表模型理解程序为什么这样运行。基于真实执行的题目能在上线前暴露脆弱补丁和薄弱的调试推理。可以先从自家仓库的插桩测试做小规模试验，并持续生成新变体，避免模型记住固定答案。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 数据集 | 12 个真实 Python 仓库的 480 道题 |
|---|---|
| 标准答案 | 从插桩测试执行中自动采集 |
| 覆盖 | 控制流、循环、状态、数据流、异常、不变量；单测试与多测试 |
| 模型 | 五个 LLM |
| 最佳准确率 | 37% |
| 新鲜变体 | 接近 90% 的选中题目可生成有效扰动变体 |
技术影响 3
工程价值 4
采用信号 1
成熟度 2
验证成本 3
风险 1