arXiv · NLP· Mingyang Song, Mao Zheng, Zhiyuan Ma, Xinpeng Zhou·· 4 小时前AI 评分28
理解 Jev 风格系统一模型：结构是否能减少选择偏差？
Understanding Jev-Style System One Models: Does Structure Reduce Selection Bias?
AI 导读
Jev 风格模型在 1700 道题目测试中准确率波动小于 2 个百分点，但相比固定顺序，其累计失败集扩大 27%–29%，未能减少选择偏差。 测试覆盖两个 Jev 版本、12 个复现模型及 6 个生成式 LLM，通过打乱选项顺序发现，即使高度可重复的模型，在等价呈现下首次正确回答仍大量丢失。 结果显示可重复决策与跨等价呈现的正确性存在脱节，仅靠准确率稳定无法证明模型具备抵抗选择偏差的能力。
来源：arXiv · NLP · arxiv.org