LEMS 与 KFAC-SVD 提升 LLM SVD 压缩精度
热点事件持续更新
LEMS 与 KFAC-SVD 提升 LLM SVD 压缩精度
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Moritz Thoma 等学者提出 LEMS 与 KFAC-SVD 方法，旨在解决 LLM SVD 压缩中全局秩分配困难与分解质量低下的瓶颈。 LEMS 通过层级误差模型搜索实现更优秩分配，KFAC-SVD 优化分解过程。该方法在 Mistral、Qwen3 及 Llama 3 等模型上验证有效。 测试显示，LEMS 使零样本准确率最高提升 4.8 个百分点，且可泛化至 70B 参数模型；KFAC-SVD 使平均困惑度改善 15%。 该方法兼顾秩分配与分解质量，同时提升了低秩 SVD 压缩的效率与精度，为 LLM 压缩提供新路径。
AI 根据报道生成 · 3 小时前更新
最新进展10月26日 12:00
LEMS 与 KFAC-SVD 推进基于 SVD 的 LLM 压缩报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv · AILEMS 与 KFAC-SVD 推进基于 SVD 的 LLM 压缩
LEMS 和 KFAC-SVD 解决 LLM SVD 压缩中全局秩分配与分解质量瓶颈，基于层级误差模型搜索与 KFAC-SVD。 在 Mistral、Qwen3 和 Llama 3 上，LEMS 零样本准确率提升最高达 4.8 个百分点，可泛化至 70B 参数模型；KFAC-SVD 平均困惑度改善 15%。 方法兼顾秩分配与分解质量，提升低秩 SVD 压缩的效率与精度。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月26日 13:00
- 近 24 小时变化
- –
02.557.510
13:0014:0015:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。