arXiv · NLP· Wenwen Hou, Xinyuan Song, Wenqian Weng, Shiwei Liu·· 4 小时前AI 评分28
ActTail: 基于重尾自正则化理论的大语言模型全局激活稀疏方法
ActTail: Global Activation Sparsity in Large Language Models
AI 导读
ActTail提出了一种基于Heavy-Tailed Self-Regularization理论的全局激活稀疏方法，通过计算投影的经验谱密度来确定各投影的稀疏预算。 该方法在LLaMA和Mistral模型上优于均匀分配，在80%稀疏度下将LLaMA-2-7B的困惑度降低了21.8%。
来源：arXiv · NLP · arxiv.org