语言模型训练中的真实性作为压缩伪影

Transformer 在 86M 参数下，正确解法占错误空间概率质量的 59.0%，而成对测试高估了偏好。 模型未过滤一致的虚假规则，且可学习的虚假选择器会降低正确解法的相对占比。