arXiv · AI· Haodong Liang, Lifeng Lai·· 10 天前AI 评分27
Transformer 架构如何证明可实现上下文强化学习策略改进
Transformers Provably Implement In-Context Reinforcement Learning with Policy Improvement
AI 导读
线性自注意力 Transformer 块可显式构造实现 semi-gradient SARSA 等策略改进方法,并提供 ICRL 领域首个收敛保证。 该收敛保证指出,在丰富训练 MDP 分布下,梯度流动局部且指数级收敛至最优参数流形。 经验证,在随机 MDP 上训练的模型能恢复参数结构并在新 MDP 上展现强控制性能。
来源:arXiv · AI · arxiv.org