arXiv · AI· Yue Wu, Yang Zhang, Weinan Gan, Chongming Gao, Xinsen Guo, Xiaoyuan Li, Fuli Feng·· 5 小时前AI 评分25
Select-TTT：用于原位测试时训练的查询条件化选择性快速权重更新
Select-TTT: Query-Conditioned Selective Fast Weight Updates for In-Place Test-Time Training
AI 导读
论文提出 Select-TTT，一种模型无关的查询条件化规则，通过缩放写入强度解决 In-Place TTT 中无关内容稀释相关信息的缺陷。 该规则直接利用冻结输出头计算查询相关性，经温度缩放 softmax 生成学习率乘数，无需额外参数或监督。 Select-TTT 在两个基准和两个骨干模型上持续提升长上下文问答性能，对长时序代理任务具有潜在价值。
来源：arXiv · AI · arxiv.org