提出VGUA方法修正多模态机器遗忘评估偏差

2026年11月3日，研究团队在arXiv发布论文，提出“有效性门控遗忘审计”（VGUA）框架。该框架旨在解决多模态模型评估中的可靠性问题，通过系统检查遗忘集数据泄漏、评分器准确性及代码正确性三个维度，修正现有的评估管道缺陷。 审计结果显示，此前常用的随机MMBench分割方案存在样本重复问题，且宽松评分器掩盖了模型残留记忆效应。针对这些缺陷，研究团队修正评估标准后对234个多模态模型进行重新审计，发现更新强度决定评估结论：当相对准确率（RA）≥0.70时，低失败率（FA）模型更接近重训练基准，而激进更新会导致RA指标崩溃。数据显示，78%的健康模型在分数上更接近重训练模型，但在激活空间距离上却呈现更远的特征。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。