《Where the Verifier Fails》（arXiv 2609.01354，9 月 2 日周三 digest，独立作者 Esther Xin）审计了 RLVR 与基准评测共同依赖的自动验证器，方法是对验证器做蜕变测试：生成构造上保证数学等价的答案改写，因此任何拒绝都是可证明的假阴性。覆盖四个广泛使用的验证器、307,420 条判定：同一验证器对相同输入的自验证率在 53.8% 到 95.2% 之间（相差 41.3 个百分点）；同一库的两种配置在 49.9% 的样本对上判定不一致；在默认 LaTeX 配置下，空白与标点占「契约内失败」的 93.0%（尾随句号与换行为主）；某个数值级联会按数量级阶跃式接受差一位数的错误答案——低于 10^4 时 0%、达到及以上 100%——根源是尺度不变的相对容差。代码、变换套件、契约矩阵与逐样本判定记录均已公开。
验证器审计：RLVR 奖励判错集中在空白与标点
2026-09-03前沿观察TRIAL
《Where the Verifier Fails》（arXiv 2609.01354，9 月 2 日周三 digest，独立作者 Esther Xin）审计了 RLVR 与基准评测共同依赖的自动验证器，方法是对验证器做蜕变测试：生成构造上保证数学等价的答案改写，因此任何拒绝都是可证明的假阴性。覆盖四个广泛使用的验证器、307,420 条判定：同一验证器对相同输入的自验证率在 53.8% 到 95.2% 之间（相差 41.3 个百分点）；同一库的两种配置在 49.9% 的样本对上判定不一致；在默认 LaTeX 配置下，空白与标点占「契约内失败」的 93.0%（尾随句号与换行为主）；某个数值级联会按数量级阶跃式接受差一位数的错误答案——低于 10^4 时 0%、达到及以上 100%——根源是尺度不变的相对容差。代码、变换套件、契约矩阵与逐样本判定记录均已公开。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
每条 RLVR 流水线、每个基准榜单都压在这些验证器上，而失效模式偏偏是最无聊的那几种：尾随句号、换行、容差规则。对跑 RLVR 的团队，在自己的奖励栈上复现这套审计的成本很低，却能在相信奖励曲线之前先排掉雷——验证器判错会同时扭曲训练信号和评测排名，而同一库两种配置对一半样本判定不一致，意味着验证器配置本身就是实验变量。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| ArXiv | 2609.01354，2026 年 9 月 2 日周三 digest 宣告（9/1 提交） |
|---|---|
| 方法 | 对验证器做蜕变测试：构造性等价的答案改写，任何拒绝都是可证明的假阴性 |
| 规模 | 4 个广泛使用的验证器，307,420 条判定 |
| 发现 | 自验证不一致率 53.8%-95.2%（相差 41.3 个百分点）；同库两种配置 49.9% 样本对不一致；空白 + 标点占默认 LaTeX 配置契约内失败的 93.0%（尾随句号 / 换行为主）；某数值级联按数量级阶跃接受差一位数的错误答案（低于 10^4 时 0%、达到及以上 100%），根源为尺度不变的相对容差 |
| 代码 | github.com/ethxin0011/verifier-error-budget（代码、变换套件、契约矩阵、逐样本判定记录） |
技术影响 3
工程价值 4
采用信号 2
成熟度 2
验证成本 2
风险 1