← 事件库 / Research

固定开场 token 能唤出基础模型的推理能力

研究发现,固定回答开头的 token cue,可以唤出训练数据中已经形成关联的推理行为。`.\n\nOkay` 让 OLMo-3-7B 在 MATH-500 上从 42% 提升到 78%,`Alright,` 让 Qwen3-14B 从 72% 提升到 87%。通过因果修改训练数据,研究者还能创建或消除某个 cue;类似影响也出现在拒答行为中。代码已公开,结果仍待独立复现。

对你意味着什么

对部署基础模型或轻量对齐模型的团队来说,开场 token 可能成为低成本但脆弱的推理与安全控制面。纳入提示策略前,应先测试不同随机种子、解码参数和任务领域下是否稳定。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

技术细节与六维评分
报告的 MATH500 OLMo-3-7B:42% 到 78%;Qwen3-14B:72% 到 87%
机制 固定开场 token 与训练数据中的文档类型相关;因果数据修改可以创建或消除这种效果
安全案例 不同 cue 会引出不同的拒答与遵从行为
公开材料 公开 MIT 许可代码仓库
技术影响 4
工程价值 3
采用信号 1
成熟度 2
验证成本 3
风险 3