arXiv · NLP· Kerem Sahin, Sheridan Feucht, Adam Belfki, Jannik Brinkmann, Aaron Mueller, David Bau, Chris Wendler·· 4 小时前AI 评分25
超越复制的上下文学习：抽象 ICL 的训练时分析
In-Context Learning Beyond Copying: A Training-Time Analysis of Abstractive ICL
AI 导读
研究者提出 Hapax 训练机制，在 LLM 训练中剔除归纳电路相关 token 的损失贡献以抑制复制能力，并发现抽象 ICL 能力仍可有效涌现。 Hapax 模型展现出更少且较弱的归纳注意力头，且缺乏传统训练中观察到的典型相变特征，表明归纳电路与 ICL 涌现的关联弱于既有假设。 Hapax 为分析复制相关训练信号对 ICL 发展路径的影响提供了受控研究框架。
来源：arXiv · NLP · arxiv.org