arXiv · ML· Xinze Shi, Litian Zhang, Zhenjie Su, Zelong Yu, Yuting Zhang, Qihua Feng, Zifeng Kang, Chaozhuo Li, Zhengxuan Hu·· 17 小时前AI 评分32
Bradley-Terry 训练会扭曲语言世界模型的初始准确结果概率
Bradley-Terry Training Can Distort Outcome Probabilities of Initially Accurate Language World Models
AI 导读
Bradley-Terry 目标训练语言世界模型时,会将原本准确的概率分布扭曲,使 33-43 个百分点的概率质量转移到条件枚举分支不产生的结果上。 这种扭曲源于优化目标本身而非比较数据,即使移除物理不可能事件,仍剩余约 29 个百分点的偏差。 在包含物理不可能事件的情况下,该偏差导致每次决策效用损失约 3 个百分点,表现为错误拒绝;移除这些事件后,平均效用损失低于 1 个百分点。
来源:arXiv · ML · arxiv.org