跳到正文
热点事件观察中

LSTM风格循环Transformer研究论文

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

2026年10月23日，Andreas Kirsch在arXiv发布论文《LSTM-Style Looped Transformers with Shared KV Caches》。该研究提出了一种结合LSTM风格循环机制与共享KV缓存的Transformer架构，旨在优化模型效率。在1024宽度设置下，该模型相较于无权重绑定的对照组，参数使用量减少了40.4%。同时，持续缓存集的数量从15个显著降低至4个，大幅降低了内存占用。研究还通过一致性损失对齐并行训练与递归推理过程，消除了81%至89%的续传损失惩罚。这一改进在低数据预算场景下优势更为明显，展示了该架构在高效推理方面的潜力。

AI 根据报道生成 · 2 小时前更新

最新进展10月27日 12:00
LSTM 风格循环 Transformer 与共享 KV 缓存

报道时间线

沿着报道，了解事件的不同侧面。

10月27日
  1. arXiv · ML
    LSTM 风格循环 Transformer 与共享 KV 缓存

    研究了一种结合 LSTM 风格循环与共享 KV 缓存的 Transformer 架构。 在 1024 宽度下，该模型比无权重绑定对照组少用 40.4% 参数，并将持续缓存集从 15 个减至 4 个。 通过一致性损失对齐并行训练与递归推理，消除了 81%–89% 的续传损失惩罚，且在低数据预算下优势更明显。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。