arXiv · NLP· Arman Nik Khah, Arvin Bahreini·· 4 小时前AI 评分38
OLMo-2 和 Zephyr 后训练使写作更预测性但评测偏好几乎未变
Is the Judge Its Twin? Post-training makes a model's writing more predictable but barely moves its taste, as a judge, toward predictable writing
AI 导读
研究者对两个 7B 参数开源模型族 OLMo-2 和 Zephyr 进行后训练发现，模型写作在 10 个提示词下比基座模型更有预测性，Zephyr 每 token 惊讶度降低 24% 至 25%。 然而作为故事评审时，模型偏好更预测性故事的概率增加不超过 1 个点，95% 置信上界约为 5 个点。 训练导致评审更易受故事长度和展示顺序影响，且对乱序文本不再可靠偏好原文。
来源：arXiv · NLP · arxiv.org