arXiv · ML· Rachel C. Zhang, Alberto Bietti, Wes Gurnee, Alessandro Favero, Miles Cranmer·· 7 天前AI 评分24
AION-1 基础模型的天文学机制可解释性研究
A Mechanistic Interpretability Study of an Astronomy Foundation Model
AI 导读
研究首次对天文学基础模型 AION-1 进行因果机制可解释性分析,揭示其多模态红移预测优势主要源于编码器前 12 个 block 中的第一个。 研究发现空间延展性通过单个 attention head 线性解码但可分布式恢复;而尘埃消光由单个 head 主导,移除后优势显著丧失。
来源:arXiv · ML · arxiv.org