arXiv · NLP· Yun Li, Ehsan Javanmardi, Simon Thompson, Jiachen Gong, Qunli Zhang, Zifan Zeng, Shiming Liu, Peng Wang, Zixuan Guo, Manabu Tsukada·· 16 小时前AI 评分35
ECHO：偏好优化中出现的共模隐藏偏移导致词表坍缩
ECHO: Emergent Common-Mode Hidden Offsets Drive Vocabulary Collapse in Preference Optimization
AI 导读
研究发现，偏好优化中隐藏状态里出现的共模偏移（common-mode offset）会导致生成坍缩。该偏移在17个基础模型系列中的14个里引发词表坍缩，且即使未形成坍缩，它已在标准DPO和SimPO运行中存在。
来源：arXiv · NLP · arxiv.org