arXiv · NLP· Yukai Jin, Zhankai Ye, Jiayue Yang, Fangyi Li, Shuoqiu Li, Xu Gao, Shibo Li, Xin Liu, Shangqian Gao·· 4 小时前AI 评分22
TraceQuery：扩散语言模型中基于全去噪轨迹的按需重计算学习
TraceQuery: learning what to recompute from full-denoising trajectory in diffusion language models
AI 导读
TraceQuery 提出基于全去噪轨迹的查询引导解码，在扩散大语言模型推理中通过稀疏计算显著降低重计算开销。 该轻量级框架预测近期轨迹相关位置并仅对其执行查询，在质量与计算量权衡上优于现有缓存方法，可跨任务与模型泛化。
来源：arXiv · NLP · arxiv.org