arXiv · ML· Noel Loo, Neehal Tumma, T. Konstantin Rusch, Mathias Lechner, Alexander Amini, Daniela Rus·· 8 小时前AI 评分35
ParaTTT: 通过深层记忆并行化测试时训练层
ParaTTT: Parallelizing Test-Time Training Layers with Deep Memories
AI 导读
该算法通过迭代细化内部梯度轨迹，解决了测试时训练层难以并行化的问题，证明了其几何收敛性。 在4K上下文下，PTTT评估速度比TTT-MLP快32倍，完整模型训练速度快4.9倍，性能匹配或超越Gated DeltaNet和Mamba-2。 其模型在语言建模困惑度和零样本准确率上与同尺寸Transformer保持竞争力，且比线性递归具有更好的召回率。
来源：arXiv · ML · arxiv.org