动态波循环层混合模型在TinyStories上优于纯Transformer

2026年10月30日，arXiv发布了一篇NLP领域的新研究，该研究形式化了基于输入依赖指数衰减和余弦相位调制的动态波循环层，并将其与传统架构进行对比评估。 研究团队评估了3种参数规模均为10.94M的模型配置，并以TinyStories数据集为测试基准。实验结果显示，结合动态波与序列混合器的混合配置以5.95的困惑度（Perplexity）表现最佳。 相比之下，纯Transformer架构在该测试中困惑度为6.93，而纯Wave架构为7.26。数据表明，引入混合序列机制后，模型在理解连贯性上优于单一架构，混合配置取得了当前最优结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。