研究者提出无训练结构化剪枝方法DIET
热点事件持续更新
研究者提出无训练结构化剪枝方法DIET
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
研究者 Jimyung Hong 和 Jaehyung Kim 提出了名为 DIET 的无训练结构化剪枝方法。该方法结合了维度级粒度与任务感知选择，旨在优化大语言模型的效率。最新报道详细描述了该方法的运作机制与初步结果。在 Gemma-2 2B 模型 20% 稀疏度下，DIET 的平均准确率较 SliceGPT 提升 2.1 个百分点，较 PuDDing 提升 9.2 个百分点。 该剪枝方法的具体实现依赖于使用每个任务 100 个样本的激活幅值，通过多数投票机制构建全局掩码。研究团队在 7 个零样本基准测试上，分别对 2B 和 9B 规模的模型进行了有效性验证。相关代码已公开，供后续研究与复现使用。
AI 根据报道生成 · 1 小时前更新
最新进展10月20日 12:00
DIET：通过合并任务级重要性分数实现 LLM 的无训练维度级全局剪枝报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv · MLDIET：通过合并任务级重要性分数实现 LLM 的无训练维度级全局剪枝
DIET 是一种无需训练的结构化剪枝方法，在 Gemma-2 2B 模型 20% 稀疏度下，平均准确率较 SliceGPT 提升 2.1 个百分点，较 PuDDing 提升 9.2 个百分点。 该方法使用每个任务 100 个样本激活幅值，通过多数投票构建全局掩码，并在 7 个零样本基准测试上验证了其在 2B 和 9B 模型上的有效性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。