arXiv · NLP· Paul J\"unger, Justin Lovelace, Linxi Zhao, Dongyoung Go, Kilian Q. Weinberger·· 9 小时前AI 评分38
SARDI：扩散语言模型的自增强检索框架
Self-Augmenting Retrieval for Diffusion Language Models
AI 导读
SARDI 提出一种免训练的动态 RAG 框架，利用推测 token 预测在扩散模型去噪过程中引导检索。 该框架检索器无关，适用于具备推理能力的离散扩散语言模型。 在五个多跳 QA 基准测试中，SARDI 吞吐量最高提升 4 倍，优于免训练扩散及自回归检索基线。
来源：arXiv · NLP · arxiv.org