arXiv · AI· Yuhan Huang, Huanran Chen, Yinpeng Dong·· 5 小时前AI 评分25
大语言模型微调中的一致性动态分析
Alignment Dynamics in LLM Fine-Tuning
AI 导读
研究引入可计算的一致性评分,推导大语言模型微调时一致性的闭式更新,建立参数空间与函数空间一致性的统一框架。 将一致性更新分解为受分布窄度影响的反冲力与受训练分布对齐度影响的驱动力,并预测重曝时会因潜在后验印记加速再一致。在安全对齐、涌现不一致和情绪场景中验证了一致性反转与重曝加速现象。
来源:arXiv · AI · arxiv.org