arXiv · NLP· Mingyu Zhao, Shuhang Lin, Ligong Han, Xiaojing Yu, Zhenting Wang, Yifei Pang, Yang Zhou, Dimitris N. Metaxas·· 5 小时前AI 评分25
扩散语言智能体高效推理：元认知解码器减少20.6%推理计算量
Metacognitive Decoding: Efficient Inference for Diffusion Language Agents
AI 导读
针对扩散语言模型智能体，提出元认知解码控制器。该轻量级插件在五个基准测试中，平均减少20.6%推理FLOPs，同时保持竞争力任务准确率。 控制器引导扩散生成，学习何时最终化token及生成延伸程度。通过平衡正确性与生成成本，连接智能体生成过程及其交互，消融实验验证了方法有效性。
来源：arXiv · NLP · arxiv.org