arXiv · NLP· Maxim Fishman, Simeng Sun, Shantanu Acharya, Faisal Ladhak, Brian Chmiel, Santiago Akle Serano, Ron Banner, Boris Ginsburg, Krishna C. Puvvada·· 8 小时前AI 评分44
Dory1.0-4B: 具有弹性深度的循环归一化GPT模型
Dory1.0-4B: A Looped Normalized-GPT
AI 导读
Dory1.0-4B 是一款拥有 40 亿参数的循环语言模型，通过共享递归块实现弹性深度。该模型基于归一化 Transformer 骨干，在 6 万亿 token 上进行预训练，支持 256K 上下文长度。
来源：arXiv · NLP · arxiv.org