arXiv · AI· Giovanni Monea, Nathan Godey, Kiant\'e Brantley, Yoav Artzi·· 23 小时前AI 评分30
状态预测分离假设:Transformer 架构优化研究
The State-Prediction Separation Hypothesis
AI 导读
提出状态预测分离假设,设计独立计算流 Transformer 变体以提升语言建模性能。 实验表明该架构显著优于标准 Transformer,在下游任务平均提升 2-3 个百分点,验证了计算效率优势。
来源:arXiv · AI · arxiv.org