arXiv · AI· Moonseok Choi, Jongwon Jeong, Minki Kang, Giung Nam, Juho Lee·· 23 小时前AI 评分31
SKIM:通过选择性知识引导掩码对大语言模型智能体进行剪枝
SKIM: Pruning Large Language Model Agents via Selective Knowledge Informed Masking
AI 导读
SKIM 提出首个针对结构化生成场景的 LLM 智能体剪枝与蒸馏框架,在工具调用基准中 consistently 提升精度。框架将 token 位置划分为 context、decision 和 format 三类,结合类别感知剪枝敏感度评分与 on-policy 蒸馏目标。在高稀疏度区间,SKIM 的性能优势尤为显著,展示了类别感知压缩在部署时语法约束智能体中的潜力。
来源:arXiv · AI · arxiv.org