十亿参数模型验证奇异学习理论与机制可解释性关联

研究建立奇异学习理论与机制可解释性的数学对应，证明两者均为参数-预测映射的函数，并在 Pythia-1B 模型上验证。 在 Dyck 括号匹配任务中测试 154 个训练检查点，发现 Fisher 信息量随因果效应变化，中位数偏秩相关系数达 0.51。 该工作首次在大模型尺度统一了基于局部几何理论与干预电路分析，为理解模型内部机制提供量化基础。