arXiv · ML· Weiqin Chen, Xinlong Du, Gesualdo Scutari, Harsha Honnappa·· 17 小时前AI 评分30
上下文强化学习（ICRL）是否作为后验采样器？一项实证研究
Is In-Context Reinforcement Learning A Posterior Sampler? An Empirical Study
AI 导读
研究实证检验了上下文强化学习（ICRL）中的Decision-Pretrained Transformer（DPT）是否在实践中表现为贝叶斯后验采样器。 通过建立充分统计量不变性和鞅性质两个必要条件，并在高斯、伯努利和线性老虎机环境中进行统计假设检验，发现这两个条件均被一致违背。 该研究结果表明ICRL在实践中可能并不表现为贝叶斯后验采样器，同时提供了一套用于测试ICRL贝叶斯行为的原则性工具。
来源：arXiv · ML · arxiv.org