跳到正文
arXiv · ML· Hang Chen, Jiaying Zhu, Wenya Wang·· 16 天前AI 评分39

基于特征干扰的LLM后训练SFT普遍能力退化(PCD)统一理论及AEGIS损失方法

Unifying and Beyond the Theory of Pervasive Capability Degradation in LLM Post-training SFT from Feature Interference

AI 导读

针对LLM监督微调(SFT)引发的普遍能力退化(PCD),论文构建了基于特征干扰的几何理论,并提出了AEGIS损失来抑制干扰。 该理论将现有方法统一为六种范式,并证明交叉熵损失无法单独解决PCD。在3个模型族和14个SFT任务上,AEGIS在目标任务和普遍能力上均优于现有方法。 该方案计算成本仅为标准SFT的约1.3倍,具备通用性和机制可解释性,为彻底解决PCD提供了新视角。

来源:arXiv · ML · arxiv.org