arXiv · NLP· Qichao Wang, Tingyu Qu, Pengcheng Wu, Yiran Zhong, Feida Zhu, Zhiqi Shen, Peilin Zhao, Steven Hoi·· 3 天前AI 评分40
POND:基于潜空间桥接的大模型与小模型无解码协作
Latent Bridge: Asking for Help Without Words
AI 导读
POND方法通过冻结大模型仅执行预填充,利用可训练桥接将隐状态映射为注意力键值供小模型生成,彻底消除大模型自回归解码开销。 该方法在推理与代码基准上显著提升性能,GLM-5.3作为发送端带来的增益与Qwen3.8-Max相当,且在数学代码任务上训练后可直接迁移至通用知识任务。 这表明前沿大模型的预填充表征能有效提升小模型生成质量,无需依赖大模型进行自回归解码。
来源:arXiv · NLP · arxiv.org