发布 WhoWins 基准研究 LLM 指令冲突

研究团队 Anish Laddha 等人发布论文《Position, Role or Label? A Controlled Study of Instruction Conflicts in LLM Agents》及配套基准 WhoWins。该基准包含 1,080 个由代码评分的场景，涵盖五类任务，每个场景设有至多五个互斥指令，旨在通过七项受控实验分析指令交付方式对结果的影响。 在 14 个开源模型（0.6B 至 122B 规模）产生的 188 万条回复中，研究发现指令位置显著影响胜出率。单条消息内，首个冲突指令的胜出率介于 72.42% 至 94.66% 之间；而跨消息场景下，该比例降至 22.95% 至 62.65%。数据显示，Qwen 系列模型在系统消息中表现较弱，gpt-oss 则在行动类任务中占优，仅有 2.92% 的冲突回复被明确标记。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。