研究发现Gemma4模型跨模态共享数值几何结构

2026年10月28日，arXiv平台发布论文《Beyond the Readout: A Latent Numerical Frame Shared Across Modality and Operation》。该研究针对Gemma4-12B-it模型，重点分析了文本与图像两种模态在加法、减法四类条件下的数值计算机制。 研究采用因果干预方法，学习模型残差流中的一个小维度子空间。数据显示，直接复用该子空间仅能恢复53.2%的因果效应；当对该子空间进行旋转和缩放调整后，恢复率显著提升至91.4%，证明了不同模态间数值几何结构的共享性。 进一步分析发现，模型第13个输出层的不可见方向具有显著作用。在77.6%的情况下，这些方向可以定向影响后续数字输出，揭示了隐式几何结构在数值推理中的关键路径，为理解多模态数值框架提供了实证依据。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。