arXiv · AI· Fazl Barez, Tung-Yu Wu, Hunar Batra, Gabriele Dominici, Florent Draye, Yanai Elazar, Damiano Fornasiere, Ant\'ia Garc\'ia, Abir Harrasse, Riley Harris, Sara Hooker, Michael Lan, Belinda Z. Li, Aaron Maiwald, Narmeen Fatimah Oozeer, Naomi Saphra, Or David Shafran, Adi Simhi, Robert Trager, Shriyash Kaustubh Upadhyay, Ziyu Yao, Yu Zhao, Shay B. Cohen, Mor Geva, Yoshua Bengio, Stella Biderman, Hassan Sajjad·· 23 小时前AI 评分40
理解AI内部机制:面向AI安全的机制可解释性现状
Understanding AI from the Inside: The State of Mechanistic Interpretability for AI Safety
AI 导读
该综述探讨了机制可解释性是否真正提升AI安全性,通过研究神经网络内部表示与计算,旨在评估、预测并控制模型行为。文章提出了评估机制可解释性主张的统一框架,分析了特征提取、电路发现等核心方法,并归纳了六种研究取向。 团队同步发布了包含关键实验代码的Notebook仓库,便于读者通过动手实践建立对机制可解释性的直观理解。
来源:arXiv · AI · arxiv.org