语言模型如何组织任务信息

研究通过读取稀疏度指标 k* 评估 19 个大语言模型在 14 个核心任务上的表现，发现 10 个基础模型在任务可读性上呈现高度一致。 经验证，成功习得的目标允许单特征读出，而可读控制组需数十个特征；参考模型 k* 与标签需求呈 N* ∝ (k*)^0.65 经验缩放关系。