arXiv · ML· Xiaohong Chen, Yuling Jiao, Lican Kang, Jerry Zhijian Yang, Chen Zhong·· 17 天前AI 评分21
基于扩散模型的离线 Q* 估计框架
Offline Deep Q* Estimation with Diffusion Models
AI 导读
提出一种将算子估计与值函数学习解耦的离线 RL 框架,利用条件扩散模型近似最优 Bellman 算子。 在 Hölder 连续性假设下,该框架确立了 Q* 的非渐近收敛速率,并推导了预期 L2 估计误差界。 理论分析不依赖深度 RL 理论中常用的 Bellman 完备性假设,提供了信息论下界。
来源:arXiv · ML · arxiv.org