arXiv · NLP· Mingyu Jin, Yutong Yin, Jingcheng Niu, Qingcheng Zeng, Wujiang Xu, Mengnan Du, Wei Cheng, Zhaoran Wang, Tianlong Chen, Dimitris N. Metaxas·· 8 小时前AI 评分25
LLM 中任务难度与表示稀疏性的关系分析
Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs
AI 导读
LLM 最后隐藏状态随任务难度增加呈现系统性稀疏化趋势，证实“任务越难，表示越稀疏”的统计规律。 研究通过控制实验发现表示密度是习得属性，熟悉模式对应分布式表示，陌生输入则趋于稀疏激活。 基于此提出 Sparsity-Guided Curriculum In-Context Learning (SG-ICL)，在 MATH-500 上优于标准 CoT 和 Auto-CoT 基线。
来源：arXiv · NLP · arxiv.org