arXiv · NLP· Andr\'e G. Viveiros, Nuno Gon\c{c}alves, Andr\'e F. T. Martins, Matthias Lindemann·· 10 天前AI 评分29
潜空间视觉推理瓶颈:数据信息不足与生成偏离
What's Holding Back Latent Visual Reasoning?
AI 导读
研究发现模型在潜空间视觉推理中忽略连续潜 token,因其替换为无信息占位符后准确率不受影响。 分析表明现有数据中 oracle 潜 token 缺乏额外信息,且推理时生成的 token 偏离 oracle 表征,导致无法获益。 未来突破需依赖具备高信息量中间步骤的数据集及更精确的潜 token 预测方法。
来源:arXiv · NLP · arxiv.org