跳到正文
热点事件持续更新

Select-TTT:实现查询条件化选择性快速权重更新

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

arXiv cs.AI 领域新近发布论文,提出 Select-TTT 方法,旨在解决 In-Place TTT 在测试时训练中无关内容稀释相关信息的缺陷。 该模型无关规则直接利用冻结输出头计算查询相关性,通过温度缩放 softmax 生成学习率乘数来缩放写入强度,且无需引入额外参数或监督信号。 实验显示 Select-TTT 在两个基准及两个骨干模型上持续提升了长上下文问答性能,展现出对长时序代理任务的潜在应用价值。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv · AI
    Select-TTT:用于原位测试时训练的查询条件化选择性快速权重更新

    论文提出 Select-TTT,一种模型无关的查询条件化规则,通过缩放写入强度解决 In-Place TTT 中无关内容稀释相关信息的缺陷。 该规则直接利用冻结输出头计算查询相关性,经温度缩放 softmax 生成学习率乘数,无需额外参数或监督。 Select-TTT 在两个基准和两个骨干模型上持续提升长上下文问答性能,对长时序代理任务具有潜在价值。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。