HiSA:通过稀疏化RoPE隐层维度优化LLM推理
热点事件持续更新
HiSA:通过稀疏化RoPE隐层维度优化LLM推理
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
一篇于2026年11月20日发布在arXiv(cs.lg)的论文正式介绍了隐层稀疏注意力机制HiSA。该机制由Ambroise Borbely、Mathieu Salzmann和Olivier Verscheure提出,核心思路是在保持查询(Query)和键(Key)投影完整的前提下,仅计算部分点积,从而实现稀疏化。通过这种设计,该机制在从头训练大语言模型时表现优于完整的点积计算。 该方法的实现依赖于基于RoPE结构的具体分解,通过静态且无参数的规则在隐层维度进行稀疏化。为了进一步提升效率,研究人员将该机制扩展至FlashAttention-3内核,不仅加速了推理过程,还显著缩减了内存占用,为提升大模型在推理阶段的表现提供了一套新的优化方案。
AI 根据报道生成 · 1 小时前更新
最新进展11月20日 13:00
HiSA:通过稀疏化 RoPE 注意力隐层维度优化 LLM报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv · MLHiSA:通过稀疏化 RoPE 注意力隐层维度优化 LLM
HiSA 提出隐层稀疏注意力,基于 RoPE 结构仅计算约三分之一的 Query-Key 点积,且在从头训练 LLM 时性能优于完整点积。 方法将键和查询分解,按静态无参数规则在隐层维度实现稀疏化,并扩展至 FlashAttention-3 内核以加速推理并缩减内存占用。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。