LLM训练真实性压缩伪影研究

2026年11月4日，arXiv发布一项关于语言模型训练的研究，标题为《语言模型训练中的真实性作为压缩伪影》。该研究基于86M参数的Transformer模型，发现正确解法仅占错误空间概率质量的59.0%，且成对测试高估了模型偏好。研究指出，模型未能过滤一致的虚假规则，可学习的虚假选择器会进一步降低正确解法的相对占比。目前该结果为一手研究数据，后续报道尚未对这一发现进行验证或反驳。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。