arXiv · ML· Ethan Ji, Wei Wang, Yizhou Sun·· 8 小时前AI 评分21
十亿参数规模下桥接奇异学习理论与机制可解释性
Bridging Singular Learning Theory and Mechanistic Interpretability at the Billion-Parameter Scale
AI 导读
研究建立奇异学习理论与机制可解释性的数学对应，证明两者均为参数-预测映射的函数，并在 Pythia-1B 模型上验证。 在 Dyck 括号匹配任务中测试 154 个训练检查点，发现 Fisher 信息量随因果效应变化，中位数偏秩相关系数达 0.51。 该工作首次在大模型尺度统一了基于局部几何理论与干预电路分析，为理解模型内部机制提供量化基础。
来源：arXiv · ML · arxiv.org