arXiv · AI· Wonsup Shin, Jingu Kim·· 4 小时前AI 评分22
重复数据下随机Token替换的收益与成本：已知熵分解及十个真实语料库证据
Benefit and Cost of Random-Token Replacement under Repeated Data: A Known-Entropy Decomposition and Evidence from Ten Real Corpora
AI 导读
随机Token替换在重复预训练数据中能降低验证损失，但现有方法难以区分误差来源。 研究通过熵分解揭示其缩减效应及在十个语料库中降低最终损失的效果。 对韩语、日语等文本，其降低了三分之一的最小值后损失上升。
来源：arXiv · AI · arxiv.org