arXiv · ML· Yaseen M. Osman, Geoff V. Merrett, Stuart E. Middleton·· 8 小时前AI 评分24
基于激活值的主动学习用于上下文学习：挑战与洞察
Activation-Based Active Learning for In-Context Learning: Challenges and Insights
AI 导读
研究表明，使用 MLP 激活值优化上下文学习示例选择效果不佳。 测试 Llama-3.2-3B 和 Qwen2.5-3B 模型发现，激活值与任务表现相关性极低，绝对 Spearman 相关系数最高仅 0.33。 因此不应使用基于此类激活值的采样方法，未来可探索稀疏自编码器方向。
来源：arXiv · ML · arxiv.org