ActTail基于重尾自正则化理论的LLM全局激活稀疏方法发布

2026年10月27日，arXiv（cs.CL）发布论文，正式提出ActTail方法。该方法是一种基于TopK幅值的全局激活稀疏技术，其核心创新在于利用重尾自正则化（HT-SR）理论进行稀疏度分配。 ActTail通过计算特征投影的经验谱密度，为模型中各部分确定独立的稀疏预算，从而替代传统的均匀分配策略。这种方法旨在更精准地匹配模型不同层或通道的激活分布特性，实现全局最优的稀疏控制。 在实验评估方面，该方法在LLaMA和Mistral系列模型上表现优于均匀分配方案。以LLaMA-2-7B模型为例，在80%的激活稀疏度设置下，ActTail将模型困惑度降低了21.8%，验证了基于理论指导的稀疏分配策略在保持模型性能方面的有效性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。