arXiv · NLP· Xiangdong Zhang, Xiaohan Qin, Sunan Zou, Tuo Dai, Bizhao Shi, Zhuo Xia, Yebin Yang, Yizhou Chen, Yuliang Liu, Yu Cheng, Junchi Yan·· 8 小时前AI 评分25
SimpleHC：简化Hyper-Connections架构以提升训练效率与稳定性
On the Design of Hyper-Connections: Simplification, Stability, and Scalability
AI 导读
summary_zh: arXiv论文提出SimpleHC架构，通过移除残差混合并简化执行共享内存访问，在15B至30B MoE模型扩展中保持与mHC相当的性能。
来源：arXiv · NLP · arxiv.org