跳到正文
arXiv · ML· Xunlan Zhou, Yuzhe Zhao, Xuhong Huang, Feng Chen, Xuanlin Chen, Lang Feng, Bo An·· 10 天前AI 评分23

BRAT:用于稳定多轮LLM后训练 的有界残差对齐训练

BRAT: Bounded Residual-Aligned Training for Stable Multi-Pass LLM Post-Training

AI 导读

针对LLM后训练中复用采样rollout导致的训练崩溃或梯度截断问题,提出有界残差对齐训练(BRAT)。 BRAT通过线性衰减的token梯度权重和归一化组中心奖励,避免额外超参并保持优势有界。 在四轮复用下,BRAT避免了训练崩溃,在多数基准上实现了更低的种子方差和更高的平均准确率。

来源:arXiv · ML · arxiv.org