随机Token替换降低重复数据验证损失

针对重复预训练数据中随机Token替换难以区分误差来源的问题，一项新研究通过熵分解揭示了该操作的缩减效应。该研究在十个真实语料库中验证了随机Token替换能降低最终损失。 具体效果因语言而异，对韩语、日语等文本，该操作降低了三分之一的最小值后，损失反而出现上升。这一发现为不同语言场景下预训练数据去噪策略提供了实证依据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。