DNO对齐语言模型：Llama与Mistral实证研究发布

针对大语言模型通用偏好对齐，研究团队开展了 Direct Nash Optimization (DNO) 实证研究。该研究选择在 Llama 3.1 8B Instruct 和 Mistral 7B Instruct 两个模型上验证 DNO-Prct 算法的有效性，旨在探索更高效的偏好对齐方法。 评估结果显示，使用 AlpacaEval 2.0 基准测试，Llama LC 的胜率从 31.7% 提升至 45.3%，而 Mistral 的胜率也从 6.8% 上升至 18.4%。这表明 DNO 方法在提升模型通用偏好表现方面具有显著作用。 研究发现，若使用同家族的开源标注器，可以保留 62% 至 82% 的性能增益。这一结果进一步证实了该算法的鲁棒性，表明其在不同标注资源条件下均能维持较好的性能表现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。