跳到正文
arXiv · NLP· Tianyi Zhao, Yinhan He, Wendy Zheng, Jundong Li, Chen Chen·· 2026-10-06AI 评分36

MIST:基于模型内部显著性的思维链Token压缩方法

Every Token Leaves a Ripple in the Stream of Thought: Eliciting Model-Internal Token Saliency for Chain-of-Thought Compression

AI 导读

MIST方法通过定义模型内部残差流中的必要性(necessity)和充分性(sufficiency)两个维度,统一评估思维链中每个推理Token的重要性,从而指导压缩策略。 该方法在4个推理基准和4个模型上持续优于基线方法,证明模型内部显著性可作为推理Token重要性的有效代理指标,有助于降低长推理带来的推理成本。

来源:arXiv · NLP · arxiv.org