arXiv · NLP· Raghavv Goel, Sudhanshu Agrawal, Mukul Gagrani, Risheek Garrepalli, Mingu Lee·· 2026-10-12AI 评分23
基于信息量与几何分析 LLM 隐藏状态以提升推测解码性能
Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding
AI 导读
提出基于矩阵熵分析与 CKA 的 LLM 隐藏状态选择框架,显著提升推测解码性能。 通过分层香农熵与成对 CKA 分析揭示表示中的几何与信息模块,并引入 token 熵过滤优化统计量。在 EAGLE3 推测解码中优于默认 $[2, N//2, N-3]$ 基线。
来源:arXiv · NLP · arxiv.org