arXiv · AI· Yanxing Huang, Bingzhang Yan, Zihan Tang, Wenzhe Li, Peng Li, Yang Liu·· 1 天前AI 评分36
基于分布匹配视角的大语言模型训练算法
A Distribution-Matching Perspective on LLM Training Algorithms
AI 导读
该研究提出基于分布匹配的大语言模型训练统一框架，将语言模型训练算法解释为最小化当前模型与目标分布之间散度的过程。 当目标分布依赖被优化模型时，估计方差的累积会导致目标分布确定性退化，因此设计了条件KL（CKL）正则化以缓解该退化。 CKL能在保留模式多样性的同时放宽经典KL正则化对奖励改进的约束，为理解语言模型长期行为提供理论解释。
来源：arXiv · AI · arxiv.org