跳到正文
热点事件持续更新

LLM 任务难度与表示稀疏性关系研究

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

2026 年 11 月 5 日，arXiv 发表一项关于大语言模型（LLM）的研究，指出 LLM 最后隐藏状态随任务难度增加呈现系统性稀疏化趋势。研究通过控制实验证实了“任务越难，表示越稀疏”的统计规律，发现表示密度属于习得属性，熟悉模式对应分布式表示，而陌生输入则趋于稀疏激活。 基于这一发现，研究者提出了一种名为 Sparsity-Guided Curriculum In-Context Learning (SG-ICL) 的方法。该方法在 MATH-500 基准测试中，表现优于标准思维链（CoT）和 Auto-CoT 基线，为利用表示稀疏性指导上下文学习提供了新的思路。

AI 根据报道生成 · 7 小时前更新

最新进展11月5日 13:00
LLM 中任务难度与表示稀疏性的关系分析

报道时间线

沿着报道，了解事件的不同侧面。

11月5日
  1. arXiv · NLP
    LLM 中任务难度与表示稀疏性的关系分析

    LLM 最后隐藏状态随任务难度增加呈现系统性稀疏化趋势，证实“任务越难，表示越稀疏”的统计规律。 研究通过控制实验发现表示密度是习得属性，熟悉模式对应分布式表示，陌生输入则趋于稀疏激活。 基于此提出 Sparsity-Guided Curriculum In-Context Learning (SG-ICL)，在 MATH-500 上优于标准 CoT 和 Auto-CoT 基线。

本事件热度走势

可比范围当前
8
可比范围峰值
1011月5日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。