强化学习中离线最优值推理的无偏估计方法与理论保证

针对有限状态动作空间的强化学习离线最优值推理，论文推导了两个基于 softmax 近似 Bellman 算子不动点的新 nuisance，并通过 Neyman 正交性构建了无偏估计量。 该估计量在行为策略随时间变化且 horizon 发散时仍具备渐近正态性，只要 nuisance 的统计速率可达；具体估计程序可应用于自行车重新部署和 AI agent 工具使用等现实决策问题。