arXiv · ML· Simon Matrenok, Nicolas Menet, Nicolas Flammarion, Andreas Krause·· 21 小时前AI 评分25
KAPPO：通过提示自适应正则化控制 LLM 后训练中的锐化现象
Controlling Sharpening in LLM Post-Training
AI 导读
KAPPO 框架通过提示自适应正则化或奖励转换，将标准 @1 策略优化方法无缝适配至 @k 目标，直接控制 LLM 后训练中的锐化现象。 该框架在一次性参考校准后无需改变训练流程，实验表明单补全训练即可达到多补全 @k 优化器的性能，且成本仅为后者的一小部分。
来源：arXiv · ML · arxiv.org