跳到正文
arXiv · NLP· Shivam Duggal, Zongze Wu, William T. Freeman, Antonio Torralba, Richard Zhang, Eli Shechtman·· 3 天前AI 评分37

潜在晶格语言模型:通过增加活跃计算状态提升模型性能

Latent Lattice Language Models

AI 导读

潜在晶格通过引入沿时间递归运行的逐层横向潜在流,在 406M 参数模型上验证困惑度从 15.41 降至 14.40。 该架构与超连接等技术组合可将困惑度进一步降至 13.61,且在混合架构中优于更大原生状态基线。 研究确立持久逐层状态是扩展语言模型计算的互补轴。

来源:arXiv · NLP · arxiv.org