arXiv · ML· Yining Li, Dongchen Han, Jie Fu, Gao Huang·· 2026-10-07AI 评分24
DeltaTTT: 面向非线性循环内存的逐层优化
DeltaTTT: Layerwise Optimization for Nonlinear Recurrent Memory
AI 导读
研究指出固定基并行 TTT 基线优于串行版本,提出 DeltaTTT 以逐层学习替代联合内循环优化。 该方案通过状态依赖 delta 规则更新各层局部预测目标,保留非线性读出并支持分块并行计算。 实验表明 DeltaTTT 在 DeltaNet 和 LaCT 骨干上的语言建模与检索性能优于循环基线。
来源:arXiv · ML · arxiv.org