arXiv · ML· Genming Cui, Xiangyu Li, Zixu Hao, Xin Ding, Yunxin Liu, Ting Cao·· 9 天前AI 评分35
SteerDistill:通过闭环教师引导量化 LLM 智能体
SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering
AI 导读
研究者提出 SteerDistill 方法,通过闭环教师引导量化 LLM 智能体。该方法让全精度教师指导学生修正失败响应,并在无辅助推理时匹配被引导后的预测。 该方法在 W4A16 量化下,于五个基准测试中平均得分超过最强量化基线 1.67-2.18 分,且与 BF16 差距保持在 1 分以内。
来源:arXiv · ML · arxiv.org