跳到正文
arXiv · ML· Yue Wang, Qizhou Wang, Zizhuo Zhang, Gang Niu, Bo Han, Masashi Sugiyama·· 2026-10-14AI 评分39

理解大语言模型微调中的负向学习

Understanding Negative Learning in Large Language Model Fine-tuning

AI 导读

研究揭示大语言模型微调中的负向学习在不同算法和阶段扮演不同角色,如正则化或维持探索。 该研究引入了基于梯度的端点探测框架,并在不同任务中通过调节负向更新强度改善了微调性能。

来源:arXiv · ML · arxiv.org