DepthGraft提出层级KV共享架构
热点事件持续更新
DepthGraft提出层级KV共享架构
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
arXiv论文《DepthGraft》提出了层级KV共享架构，旨在通过结构正则化优化模型性能。该架构采用步长对齐的浅层-中层源对来重建深层KV，从而降低KV缓存用量。实验覆盖0.5B至16B参数模型，验证了其作为大规模预训练可扩展设计的有效性。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 13:00
DepthGraft: 通过层级跨层 KV 重建实现结构正则化报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · NLPDepthGraft: 通过层级跨层 KV 重建实现结构正则化
DepthGraft 提出层级 KV 共享架构，在 0.5B 至 16B 参数模型上验证性能提升并降低 KV 缓存用量约三分之一。 该架构通过步长对齐的浅层-中层源对重建深层 KV，在 16B MoE 模型上取得 MMLU-Pro 绝对提升 7.0%、CMMLU 提升 6.6%、C3 提升 6.4% 的成绩。 实验结果验证了 DepthGraft 作为大规模预训练可扩展设计的有效性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。