arXiv · NLP· Cong Jiang, Xiaofeng Zhang, Tom Ko, Zheng Zhang·· 10 天前AI 评分31
AES自适应熵保留方法在8项推理基准中提升大语言模型效率
Adaptive Entropy-Sparing for Efficient Reasoning
AI 导读
大语言模型(LRMs)常因过度思考生成冗长推理链,强化学习惩罚机制易导致信用混淆。AES方法通过选择性保留高效参考前的高熵token并惩罚冗余后缀,解决了抑制与探索的权衡问题。 在8个推理基准测试中,AES将推理长度减少最多52.9%,平均准确率提升最多3.8%,持续优于现有效率导向方法。代码已开源,该研究已被NeurIPS 2026接收。
来源:arXiv · NLP · arxiv.org