arXiv · ML· Yue Wang, Qizhou Wang, Zizhuo Zhang, Gang Niu, Bo Han, Masashi Sugiyama·· 2026-10-14AI 评分39
理解大语言模型微调中的负向学习
Understanding Negative Learning in Large Language Model Fine-tuning
AI 导读
研究揭示大语言模型微调中的负向学习在不同算法和阶段扮演不同角色,如正则化或维持探索。 该研究引入了基于梯度的端点探测框架,并在不同任务中通过调节负向更新强度改善了微调性能。
来源:arXiv · ML · arxiv.org