arXiv · ML· Akiyoshi Tomihari, Issei Sato·· 1 天前AI 评分34
研究揭示功率分布（Power Distribution）统一采样、自奖励强化学习与自蒸馏
Power Distribution Bridges Sampling, Self-Reward RL, and Self-Distillation
AI 导读
该研究证明功率分布作为功率采样的目标分布，构成了自奖励 KL 正则化强化学习与自蒸馏之间的理论桥梁。 作者提出“功率自蒸馏”方法，利用监督训练摊销采样成本，并证明在推理任务中，其性能可匹敌甚至超越直接采样，且推理成本大幅降低。 这项发表于 NeurIPS 2026 的工作通过理论分析与实验，为理解 LLM 推理能力中强化学习与蒸馏的关系提供了新视角。
来源：arXiv · ML · arxiv.org