arXiv · NLP· Yiqin Hao, Zitong Wang, Boyi Zeng, He Li, Shixiang Song, Feichen Song, Yifan Liu, Zhouhan Lin·· 4 小时前AI 评分33
Dual-Slot：语言模型中从串行循环到并行槽位的架构创新
Dual-Slot: From Serial Loops to Parallel Slots in Language Models
AI 导读
Dual-Slot 架构将串行循环计算重组为并行潜在与预测槽位，解决自回归解码延迟问题。 在 Qwen 风格 1B 密集模型上，Pile 验证困惑度从 7.25 降至 7.00，九个任务配置的平均五样本准确率提升 2.26 个百分点；微调后 GSM8K 零样本准确率提升 5.83 个百分点。 该架构在密集模型上保留 93.1-96.5% 的原生解码吞吐量，维持标准自回归生成特性。
来源：arXiv · NLP · arxiv.org