探究大语言模型中的乘法错误

针对大语言模型在多位数算术中的表现，该研究在包含16,991道题目的数据集上测试了多个小型基础LLM的乘法能力，发现其错误模式不符合加法中的“噪声量化”模型。 在小规模 Qwen 模型中，低位数字错误主要保持奇偶性，而高位数字错误则转向偏差为一的进位失败。这表明 Transformer 模型通过多周期性内部表示进行算术计算，其中奇偶性比精确数字追踪更为稳健，为理解模型数值推理的机制提供了新见解。