arXiv · NLP· Yihao Liang, Niraj K. Jha·· 3 天前AI 评分39
HEED: 密度加权残差对齐用于混合视觉-语言模型蒸馏
HEED: Density-Weighted Residual Alignment for Hybrid Vision-Language Model Distillation
AI 导读
HEED通过密度加权残差对齐解决混合架构蒸馏中细粒度文本丢失问题,将Qwen3-VL-8B-Instruct蒸馏为3:1 Mamba-2/attention混合模型。 该方法利用patch自相似性作为位置重要性代理,无需额外训练,在OCR Bench v2上提升8.7分,10项基准平均分提升5.13分。 不增加参数或推理成本,保留混合架构4.12倍吞吐量及128k上下文68%内存节省优势。
来源:arXiv · NLP · arxiv.org