MLP激活值主动学习用于上下文学习效果不佳

研究团队Yaseen M. Osman等发表新论文，探讨利用MLP激活值优化上下文学习示例选择的效果。论文基于Llama-3.2-3B和Qwen2.5-3B基础模型进行实验，测试了模型激活值能否作为优化示例选择的细粒度信号。 实验结果显示，该假设未获支持，激活值与任务表现的相关性极低，绝对Spearman相关系数最高仅0.33。研究指出，基于此类激活值的采样方法效果不佳，不应被采用。 鉴于此，论文建议未来工作应探索其他方向，如稀疏自编码器，以寻找更有效的上下文学习示例选择策略。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。