跳到正文
arXiv · NLP· Zhuokun Chen, Xi Lin, Xiyu Wu, Jiahao He, Jianfei Cai, Bohan Zhuang·· 2026-10-06AI 评分33

HLA:通过块级动态混合实现表达性混合线性注意力

HLA: Expressive Hybrid Linear Attention via Chunk-Wise Dynamic Mixing

AI 导读

研究人员提出 Hybrid Linear Attention (HLA),一种应用于 Gated DeltaNet 的查询依赖块级注意力机制。该机制通过计算内容相关的路由门,对历史状态进行动态插值,并采用有效支撑正则化以促进稀疏推理。

来源:arXiv · NLP · arxiv.org