研究发现,固定回答开头的 token cue,可以唤出训练数据中已经形成关联的推理行为。
固定开场 token 能唤出基础模型的推理能力
2026-10-06前沿观察TRIAL
研究发现,固定回答开头的 token cue,可以唤出训练数据中已经形成关联的推理行为。`.\n\nOkay` 让 OLMo-3-7B 在 MATH-500 上从 42% 提升到 78%,`Alright,` 让 Qwen3-14B 从 72% 提升到 87%。通过因果修改训练数据,研究者还能创建或消除某个 cue;类似影响也出现在拒答行为中。代码已公开,结果仍待独立复现。
对你意味着什么
对部署基础模型或轻量对齐模型的团队来说,开场 token 可能成为低成本但脆弱的推理与安全控制面。纳入提示策略前,应先测试不同随机种子、解码参数和任务领域下是否稳定。
前沿观察
公开材料与效果验证,分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 报告的 MATH500 | OLMo-3-7B:42% 到 78%;Qwen3-14B:72% 到 87% |
|---|---|
| 机制 | 固定开场 token 与训练数据中的文档类型相关;因果数据修改可以创建或消除这种效果 |
| 安全案例 | 不同 cue 会引出不同的拒答与遵从行为 |
| 公开材料 | 公开 MIT 许可代码仓库 |
技术影响 4
工程价值 3
采用信号 1
成熟度 2
验证成本 3
风险 3