Hacker News AI· gmays·· 6 天前精选AI 评分85
AWS 发布论文 Priming，利用预训练 Transformer 权重低成本构建混合状态空间模型
Can we change an AI model's architecture without retraining it from scratch?
AI 导读
AWS 团队在论文 Priming 中提出利用预训练 Transformer 权重初始化混合架构，将预训练成本降低 99%。研究对比了 Gated KalmaNet、Gated DeltaNet 和 Mamba-2 三种状态空间模型，发现 Gated KalmaNet 在长上下文推理中表现最佳，且支持可变推理计算时间。
推荐理由
AWS 团队提出 priming 方法并开放模型代码，将混合架构预训练成本降低 99%，开发者可基于现有权重快速探索不同内存与速度平衡点。
来源：Hacker News AI · amazon.science