跳到正文
arXiv · NLP· Wei Xia, Haoqing Wang, Zhi-Hong Deng, Yehui Tang·· 4 小时前AI 评分36

基于熵动力学的 LLM 自适应推理路由:EDRM 框架实现 16-55% Token 节省

When Should LLMs Reason? Adaptive Inference Routing via Entropy Dynamics

AI 导读

研究提出轻量级框架 EDRM(熵动力学推理流形),通过早期解码熵动态识别何时需要显式推理。在 15 个基准和 7 个大语言模型上,该框架实现 16-55% 的 Token 节省,且准确率相当。

来源:arXiv · NLP · arxiv.org