跳到正文
arXiv · NLP· Piotr Wilam·· 11 天前AI 评分25

OpenCoder-1.5B 预训练中的表征漂移:行为稳定,承载神经元不固定

Representational drift in a code model: behaviour settles, which neurons carry it does not

AI 导读

OpenCoder-1.5B 在 2 万亿 token 预训练中表现出表征漂移:对于 16 个语法确定下一个 token 的 Python 结构,虽然损失在训练前 4% 内触底,但模型对承载神经元的依赖持续增长,且承载集在最后检查点仍在变化。移除 840 亿 token 时确定的承载集在训练结束时与随机集无法区分,而离开某结构承载集的神经元回归率是对比神经元的 3 倍,证明了预设定假说的错误。

来源:arXiv · NLP · arxiv.org