跳到正文
arXiv · ML· Rachel C. Zhang, Alberto Bietti, Wes Gurnee, Alessandro Favero, Miles Cranmer·· 7 天前AI 评分24

AION-1 基础模型的天文学机制可解释性研究

A Mechanistic Interpretability Study of an Astronomy Foundation Model

AI 导读

研究首次对天文学基础模型 AION-1 进行因果机制可解释性分析,揭示其多模态红移预测优势主要源于编码器前 12 个 block 中的第一个。 研究发现空间延展性通过单个 attention head 线性解码但可分布式恢复;而尘埃消光由单个 head 主导,移除后优势显著丧失。

来源:arXiv · ML · arxiv.org