arXiv · ML· Suvrat Raju, Praneeth Netrapalli·· 7 天前AI 评分40
Transformer 误差模型:双参数视角下的 LLM 确定性任务准确性分析
A model of errors in transformers
AI 导读
研究提出双参数模型解释 LLM 在算术等确定性任务中的误差累积,预测精度随任务复杂度呈定量关系。该模型基于有效场论视角,用注意力机制的噪声率和错误 token 数量解释错误阈值,并在 Gemini 2.5 Flash 和 DeepSeek R1 等模型上验证有效。 该模型为长重复任务中的 LLM 误差提供了替代解释框架,排除了推理崩溃的假设,并演示了通过构造提示词降低误差率的方法。
来源:arXiv · ML · arxiv.org