arXiv · NLP· Yan-Cheng Li, Chun-Yi Lee·· 10 天前AI 评分29
CVSA实现闭环质量控制,加速LLM长上下文解码
Coverage-Verified Sparse Attention: Closed-Loop Quality Control for Long-Context LLM Decoding
AI 导读
提出CVSA方法,通过验证-修正循环实现LLM长上下文解码的闭环质量控制,无需采样或推测解码基础设施。 CVSA在7B和70B模型上,LongBench评分距密集注意力仅差1.13分,128K上下文中位解码速度达6.21倍。 该方法被NeurIPS 2026接收,为提升长上下文处理效率提供新方案。
来源:arXiv · NLP · arxiv.org