arXiv · AI· Vu Vo, Haytham M. Fayek, Thuy Nguyen·· 8 小时前AI 评分35
PGGB:面向多模态学习的探针引导梯度平衡方法
Probe-Guided Gradient Balancing for Multimodal Learning
AI 导读
研究人员提出探针引导梯度增强(PGGB)方法,通过独立评估各模态表示质量来增强较弱模态的梯度,同时保留主导模态强度。 PGGB 在跨 4 个领域、2-4 种模态的 8 个基准测试中表现优于最先进方法,且在低不平衡场景下保持竞争力。 代码已开源可用。
来源:arXiv · AI · arxiv.org