跳到正文
热点事件持续更新

Toaster模型发布:性能超KDA且推理效率显著提升

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

新报道显示,Toaster模型通过组合两个线性记忆层并引入激活函数,构建了两层非线性记忆架构,并利用目标传播机制更新隐层状态。 在C4和PG19数据集上,Toaster的困惑度在所有测试尺寸(0.2B-1.6B)均优于KDA,并匹敌或优于注意力基线;最大模型的三试准确率达到51.84%。 此外,Toaster在20K token长度外推中表现稳定,速度比Titans快2.8至5.5倍,显著提升了长序列处理效率。

AI 根据报道生成 · 12 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. arXiv · ML
    Toaster:基于级联线性记忆与目标传播的非线性记忆模型

    Toaster 通过组合两个线性记忆层并引入激活函数,构建了两层非线性记忆架构,利用目标传播机制更新隐层状态。 在 C4 和 PG19 数据集上,Toaster 的困惑度在所有测试尺寸(0.2B-1.6B)均优于 KDA 并匹敌或优于注意力基线,最大模型三试准确率 51.84%。 在 20K token 长度外推中表现稳定,且比 Titans 快 2.8-5.5 倍,提升了长序列处理效率。

本事件热度走势

可比范围当前
7
可比范围峰值
1011月19日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。