目标冲突训练改进大模型指令层级

Sizhe Chen 等人发布 arXiv 论文，揭示现有指令层级（IH）训练缺失“目标-目标冲突”类型。研究发现，仅基于单一目标或用户-模型冲突的训练，在目标相互矛盾的场景下模型表现不佳。 该研究通过微调 Qwen3.5-9B 和 Gemma4-12B-it 模型，引入目标冲突示例进行训练。实验表明，在训练集未包含的广泛真实世界任务中，模型在指令层级遵循度上获得显著提升。 验证显示，新增此类冲突示例后，八个基准测试中无冲突任务的平均效用变化极小。这证实了该方法能有效改进冲突场景下的表现，而未损害常规场景能力，支持将此类冲突纳入 IH 训练。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。