arXiv · ML· Ofir Schlisselberg, Alon Cohen, Yishay Mansour·· 4 天前AI 评分20
对抗性MDP中方差感知策略优化VOPO的改进遗憾界
Improved Regret via Variance-Aware Policy Optimization in Adversarial MDPs
AI 导读
针对未知动力学和全信息奖励的回合制对抗性MDP,提出策略优化算法VOPO,实现前导项为~O(√(H³SAK))的遗憾界。 该结果较两项不可比的前导项分别改进√(S/H)和√(H³)倍。通过新颖的稳定性匹配奖励(SMB),在已知动力学下将遗憾界改进至~O(√(H³K)),较最优策略优化界提升√H倍。
来源:arXiv · ML · arxiv.org