arXiv · AI· Shiguang Wu, Yaqing Wang, Quanming Yao·· 2 天前AI 评分25
Agentic In-Context Learning:Transformer 在闭环交互中能学习哪些算法?
Agentic In-Context Learning: What Algorithms Can Transformers Learn in Closed-Loop Interaction?
AI 导读
研究提出 Agentic In-Context Learning (Agentic ICL),构建因果 Transformer 近似主动学习、bandits 及在线 RL 算法。 通过蒸馏实验验证 Transformer 能执行三种递归,发现优化过程奖励可保持最大化最终结果的行为策略。 研究指出改进过程监督与结果最优动作偏好的一致性,会改变预训练语言模型在文本复述下的决策行为。
来源:arXiv · AI · arxiv.org