Hapax训练机制揭示摘要式上下文学习涌现

1. 12:00
   arXiv · NLP

   超越复制的上下文学习：抽象 ICL 的训练时分析

   研究者提出 Hapax 训练机制，在 LLM 训练中剔除归纳电路相关 token 的损失贡献以抑制复制能力，并发现抽象 ICL 能力仍可有效涌现。 Hapax 模型展现出更少且较弱的归纳注意力头，且缺乏传统训练中观察到的典型相变特征，表明归纳电路与 ICL 涌现的关联弱于既有假设。 Hapax 为分析复制相关训练信号对 ICL 发展路径的影响提供了受控研究框架。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。