跳到正文
arXiv · NLP· Bryan A. Plummer, Shan Lu, Keval Doshi, Noranart Vesdapunt, Wei Wang, Jim Thomas, Kah Kuen Fu·· 3 天前AI 评分29

BTWF:均衡孪生权重分解提升多模态大模型推理效率

Balanced Twin Weight Factorization for Efficient MLLMs

AI 导读

针对权重分解方法难以降低延迟的问题,研究者提出均衡孪生权重分解(BTWF)方法。该方法通过共享基底设置减少前向计算,并结合因子与块贡献均衡机制提升学习能力。在六个模型、九个基准测试中,BTWF 无需昂贵微调即可比最先进方法提升 2-6% 性能,计算成本相当。

来源:arXiv · NLP · arxiv.org