跳到正文
arXiv · ML· Xinrui Zhong, Fanjiang Ye, Yuke Wang·· 2 天前AI 评分25

RISA:面向块扩散语言模型的可恢复稀疏注意力方法

RISA: Recoverable Sparse Attention for Block-Diffusion Language Models

AI 导读

针对块扩散语言模型(Block-diffusion LMs)长上下文推理中的内存瓶颈,提出 RISA 可恢复稀疏注意力方法,通过共享读取计划和分层缓存机制解决稀疏注意力导致的读集膨胀及信息丢失问题。

来源:arXiv · ML · arxiv.org