跳到正文
arXiv · AI· Alessandro Beatini, Marco Maronese, Emanuele Rodol\`a·· 2026-10-08AI 评分25

提出激活感知权重张量化(AWT)改进 LLM 张量网络压缩

Activation-Aware Weight Tensorization: A Calibration-Time Preconditioner for Tensor-Network LLM Compression

AI 导读

研究人员提出激活感知权重张量化(AWT),一种免训练的校准前置处理器,通过激活导出的对角缩放改进 LLM 的 TT/TTN 压缩。 在 Llama 3.1 8B、Ministral 8B 和 Qwen2.5 7B 上,AWT 在 2-6 倍压缩率下闭合了 12-35% 的 WikiText 困惑度差距,且增益可迁移至 HellaSwag 等下游任务。

来源:arXiv · AI · arxiv.org