arXiv · ML· Xunlan Zhou, Yuzhe Zhao, Xuhong Huang, Feng Chen, Xuanlin Chen, Lang Feng, Bo An·· 10 天前AI 评分23
BRAT:用于稳定多轮LLM后训练 的有界残差对齐训练
BRAT: Bounded Residual-Aligned Training for Stable Multi-Pass LLM Post-Training
AI 导读
针对LLM后训练中复用采样rollout导致的训练崩溃或梯度截断问题,提出有界残差对齐训练(BRAT)。 BRAT通过线性衰减的token梯度权重和归一化组中心奖励,避免额外超参并保持优势有界。 在四轮复用下,BRAT避免了训练崩溃,在多数基准上实现了更低的种子方差和更高的平均准确率。
来源:arXiv · ML · arxiv.org