arXiv · NLP· Muxuan He, Wang Bill Zhu, Yue Chen, Elsi Kaiser, Weizhi Du, Yao Du, Samuel Nastase, Yanjun Gao·· 17 小时前AI 评分41
语言障碍视角下的大语言模型机制可解释性研究
Language Impairment as a Lens onto Large Language Models
AI 导读
研究者提出受失语症启发的机制可解释性框架,通过分类器引导的损伤和连续激活引导,在大语言模型中系统诱导类似失语症的功能障碍。 发现语言功能可被隔离到离散结构电路和连续表征向量中,但不同失语类型间电路重叠且向量相似度高;引导法在下游任务中泛化稳健,而结构损伤具有不对称限制。 研究表明,作为生物大脑的功能类似物,大语言模型依赖高度纠缠的架构,且可通过临床启发的干预措施进行系统映射。
来源:arXiv · NLP · arxiv.org