Modelun 把冻结的公开 prompt 封装成低成本行为测试，每个模型只需几美元或更少，因此可以随每次 release 重跑。根据行为类型，它使用精确匹配、带逐标签人工一致性报告的 LLM codebook，或独立记录实际动作的插桩环境。研究覆盖四年、44 个模型，并发现同一个模型放进不同 coding-agent harness 后也会改变行为。代码、转录、标签与复核数据已经公开。该论文由 overlap 补漏。
Modelun 把跨版本行为检查做成低成本重复测试
2026-09-24前沿观察TRIAL
Modelun 把冻结的公开 prompt 封装成低成本行为测试，每个模型只需几美元或更少，因此可以随每次 release 重跑。根据行为类型，它使用精确匹配、带逐标签人工一致性报告的 LLM codebook，或独立记录实际动作的插桩环境。研究覆盖四年、44 个模型，并发现同一个模型放进不同 coding-agent harness 后也会改变行为。代码、转录、标签与复核数据已经公开。该论文由 overlap 补漏。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
对验收模型更新的团队来说，一组小而稳定的测试可以在昂贵 benchmark 周期之间捕捉模型或 harness 漂移。应从真实事故相关行为开始，冻结刺激材料，并报告 judge 一致性，而不是用一个总分掩盖分歧。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 成本 | 每个模型几美元或更少 |
|---|---|
| 范围 | 四年版本；44 个模型 |
| 读数 | 精确匹配、带人工一致性的 LLM codebook，或插桩记录动作 |
| 发现 | coding-agent 行为同时受模型与 harness 影响 |
| 产物 | MIT 代码；CC-BY-4.0 数据；转录、标签与本地查看器 |
技术影响 3
工程价值 4
采用信号 2
成熟度 3
验证成本 2
风险 1