arXiv · ML· Shmuel Berman, Jia Deng·· 9 小时前AI 评分44
ECCBench 超越准确率维度评估视觉语言模型记忆
Good Memory Has ECC: Evaluating the Memory of Vision-Language Models Beyond Accuracy
AI 导读
研究者提出 ECCBench 基准，通过效率、压缩与校准（ECC）三轴评估视觉语言模型记忆，超越单一准确率指标。 实验显示预训练 VLM 在文本压缩记忆有效但视频无效，且校准较差；非 Transformer 架构在压缩-校准权衡上优于 RoPE Transformers。 结果提示非 Transformer 架构可作为长周期智能体的有用组件。
来源：arXiv · ML · arxiv.org