预填充解码长度预测的理论极限分析

哈奥温·施（Haowen Shi）等人发布新论文，系统分析了预填充阶段预测解码长度的理论局限。研究指出当前基准混淆了预测器质量与任务难度：当目标模型、数据集或采样配置改变时，即使预测器不变，其准确度也会崩溃。 进一步分析将自回归解码视为停止随机过程，将不稳定性归因于解码过程的固有随机性这一被忽视的误差源，并推导出任何预填充侧方法都必须遵守的误差界，包括每提示词正态性误差项及仿射方差定律。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。