跳到正文
arXiv · ML· Nikolai Smolyanskiy, Jonathan Shock·· 2026-10-09AI 评分35

RSSM 世界模型中奖励可观测性与离线检查点选择的局限性

Reward Observability and the Limits of Offline Checkpoint Selection in RSSM World Models

AI 导读

RSSM 世界模型在 Gymnasium LunarLander-v3 任务中,基于检查点 280 的 A2C 策略平均收益达 +189.5,比模型无关 A2C 少用约 65 倍真实训练转移。 论文引入奖励可观测比例(ROF),指出其数值依赖隐变量缩放不可跨模型比较,且 108 项离线指标均无法通过置换测试预测 MPC 闭环崩溃。

来源:arXiv · ML · arxiv.org