arXiv · NLP· Wei Xia, Haoqing Wang, Zhi-Hong Deng, Yehui Tang·· 4 小时前AI 评分36
基于熵动力学的 LLM 自适应推理路由:EDRM 框架实现 16-55% Token 节省
When Should LLMs Reason? Adaptive Inference Routing via Entropy Dynamics
AI 导读
研究提出轻量级框架 EDRM(熵动力学推理流形),通过早期解码熵动态识别何时需要显式推理。在 15 个基准和 7 个大语言模型上,该框架实现 16-55% 的 Token 节省,且准确率相当。
来源:arXiv · NLP · arxiv.org