arXiv · ML· Siliang Zeng, Luca Viano, Chenliang Li, Jiaxiang Li, Volkan Cevher, Markus Wulfmeier, Stefano Ermon, Alfredo Garcia, Mingyi Hong·· 5 小时前AI 评分36
LLM 人类反馈对齐的数学基础与算法设计
Aligning Large Language Models with Human Feedback: Mathematical Foundations and Algorithm Design
AI 导读
该教程系统阐述了 LLM 与人类意图对齐的数学基础与算法框架，涵盖 SFT、RLHF 及 DPO 等主流技术。 文中连接了逆向强化学习（IRL）与离散选择模型，解析了学习人类偏好的理论依据，并探讨了当前算法的优劣。 作为针对研究者与实践者的综合资源，该框架旨在支撑更稳健、可扩展的对齐技术开发。
来源：arXiv · ML · arxiv.org