arXiv · AI· Jiahao Zhang, Junwei Feng, Dongliang Huang, Xiaoling Zhou, Yiqiao Liao, Chengru Song·· 5 小时前AI 评分29
Layerwise Repacking 混合注意力训练优化技术
Layerwise Repacking: Variable-Length Hybrid-Attention Training without an Extra Redistribution Pass
AI 导读
Layerwise Repacking 通过复用 Ulysses 站点实现样本重打包，避免额外的重分布数据传递。在 1F3S 混合注意力模型的前 200 个训练步骤中，该方法将平均端到端时间降低 5.95%，模型 FLOPs 利用率提升 3.75 个百分点。 结合辅助父求解器时，端到端时间降低幅度扩大至 7.61%，模型 FLOPs 利用率进一步提升 4.83 个百分点。
来源：arXiv · AI · arxiv.org