arXiv · NLP· Xiaohan Qin, Xiangdong Zhang, Yu Wang, Huaijin Wu, Zhuo Xia, Yebin Yang, Junchi Yan·· 7 小时前AI 评分31
DepthGraft: 通过层级跨层 KV 重建实现结构正则化
DepthGraft: Structural Regularization through Hierarchical Cross-Layer KV Reconstruction
AI 导读
DepthGraft 提出层级 KV 共享架构，在 0.5B 至 16B 参数模型上验证性能提升并降低 KV 缓存用量约三分之一。 该架构通过步长对齐的浅层-中层源对重建深层 KV，在 16B MoE 模型上取得 MMLU-Pro 绝对提升 7.0%、CMMLU 提升 6.6%、C3 提升 6.4% 的成绩。 实验结果验证了 DepthGraft 作为大规模预训练可扩展设计的有效性。
来源：arXiv · NLP · arxiv.org