跳到正文
arXiv · AI· Hoang Pham Cong, Long D. Nguyen, Ho Viet Duc Luong, Nguyen Tran Minh Nhat, Binh P. Nguyen, Huynh Thi Thanh Binh·· 13 小时前AI 评分27

GUARD 为冻结多模态模型在缺失模态下的风险受控校正

Risk-Controlled Correction for Frozen Multimodal Models under Missing Modalities

AI 导读

提出 GUARD 方法,在不改变已部署预测器权重的前提下,通过检索估计校正量并利用部署匹配标签数据学习,解决冻结多模态模型遭遇缺失模态时的校正问题。 基于可交换性假设,GUARD 利用保形风险控制将损失增加超过预设容差概率限制在预设水平,在 9 个冻结模型-数据集对实验中优于盲目校正。 该方法避免了盲目校正常超支的危害预算,保留了大部分校正收益,适用于无法再训练权重的实际部署场景。

来源:arXiv · AI · arxiv.org