arXiv · NLP· Dmytro Babarytskyi, Oleksandr Babarytskyi·· 6 小时前AI 评分24
大语言模型中注意力、动态波与混合序列混合器
Attention, Dynamic Wave and Hybrid Sequence Mixers in Language Models
AI 导读
研究形式化了基于输入依赖指数衰减和余弦相位调制的动态波循环层，评估了3种10.94M参数配置在TinyStories上的表现。 混合配置以5.95的困惑度优于纯Transformer（6.93）和纯Wave（7.26）。
来源：arXiv · NLP · arxiv.org