跳到正文
arXiv · NLP· Cong Jiang, Xiaofeng Zhang, Tom Ko, Zheng Zhang·· 10 天前AI 评分31

AES自适应熵保留方法在8项推理基准中提升大语言模型效率

Adaptive Entropy-Sparing for Efficient Reasoning

AI 导读

大语言模型(LRMs)常因过度思考生成冗长推理链,强化学习惩罚机制易导致信用混淆。AES方法通过选择性保留高效参考前的高熵token并惩罚冗余后缀,解决了抑制与探索的权衡问题。 在8个推理基准测试中,AES将推理长度减少最多52.9%,平均准确率提升最多3.8%,持续优于现有效率导向方法。代码已开源,该研究已被NeurIPS 2026接收。

来源:arXiv · NLP · arxiv.org