arXiv · ML· Emile Anand, Abdullah Ateyeh, Xinyuan Cao, Max Dabagia·· 9 小时前AI 评分25
连续潜在上下文赋予 Transformer 高效在线学习能力
Continuous Latent Contexts Enable Efficient Online Learning in Transformers
AI 导读
恒定深度 Transformer 通过连续潜在上下文令牌实现加权多数算子与 Q-learning，无需参数更新即可进行在线决策。模型在长序列在线预测中优于离散状态基线，且提示型 LLM 的文本状态摘要亦能改善适应性。连续潜在上下文为 Transformer 提供了简单有效的持久状态，用于实现在线学习算法。
来源：arXiv · ML · arxiv.org