arXiv · ML· Tianqi Chen, Zhe Li, Weixiang Xu, Zeyu Zhu, Dong Li, Lu Tian, Emad Barsoum, Peisong Wang, Jian Cheng·· 2026-10-12AI 评分28
TernaryLLM: 基于三元量化的大语言模型方法
TernaryLLM: Ternarized Large Language Model
AI 导读
summary_zh: TernaryLLM提出双可学习三元量化(DLT)与抗离群特征知识蒸馏(OFF)方法,解决大语言模型量化中的权重与激活离群值问题。 实验表明,其W1.58A16方案在LLaMA-3上优于W2A16方法,C4困惑度降低5.8,零样本任务平均准确率提升8.2%。
来源:arXiv · ML · arxiv.org