跳到正文
arXiv · ML· Yangrong Hu, Xueyu Zhou, Yue Wu, Jian Huang·· 2 天前AI 评分28

Self-Privileged Fine-Tuning (SPFT) 提出

Self-Privileged Fine-Tuning

AI 导读

研究者提出 SPFT 方法,通过冻结模型作为先验指导 token 级加权优化。 SPFT 利用贝叶斯分解重新加权静态先验,在数学推理和代码生成实验中优于标准 SFT。

来源:arXiv · ML · arxiv.org