arXiv · AI· Ofek Avivi, Eliron Rahimi, Avi Mendelson, Chaim Baskin·· 4 小时前AI 评分29
T 2Quant 实现扩散语言模型的时间感知量化
Different Tasks, Different Timesteps: Temporal Task-Aware Quantization for Diffusion Language Models
AI 导读
T 2Quant 提出一种任务与时间感知的混合精度量化框架，专为解决扩散语言模型（DLMs）的量化挑战。 该框架利用无标签敏感度信号，在固定位宽预算下优化去噪步骤中的激活精度分配。 在 3 个 DLM 和 6 个基准测试中，T 2Quant 在相同预算下将平均准确率提升高达 6.7 个百分点。
来源：arXiv · AI · arxiv.org