跳到正文
Hugging Face Blog·· 2024-01-18AI 评分31

DPO、IPO 与 KTO:基于 7B 模型无强化学习对齐方法的实证对比

Preference Tuning LLMs with Direct Preference Optimization Methods

AI 导读

Hugging Face 团队实证评估了 DPO、IPO 和 KTO 三种无需强化学习的 LLM 对齐方法。实验在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个 7B 模型上进行,发现 IPO 与 DPO 效果持平且优于 KTO。相关代码已开源,关键超参数 β 对结果影响显著。

来源:Hugging Face Blog · huggingface.co