自适应优化器引发策略排序错误

arXiv cs.lg 领域 2026-11-03 最新论文指出，自适应优化器（如 Adam）因固定平均率特性，会改变线性时间差分（TD）估计值。这一机制导致策略排序出现错误，且随着数据增加，误判的确信度反而上升，构成核心事实。 针对该偏差，论文提出一种双运行修正法。该方法通过在减半有效增益率下重新拟合，利用“新拟合值两倍减去原值”的公式消除偏差。在偏差较大时，仅需额外增加一次拟合即可实施修正，无需复杂重构。 验证显示，该修正法在纽约出租车和电池充电模型中纠正了几乎所有错误排序，证实了方法的有效性，为时序强化学习中的优化器选择提供了修正方案。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。