跳到正文
arXiv · ML· Debjyoti Saha Roy·· 2026-10-07AI 评分31

解析推理语言模型在大规模标签空间中的机制并引入 MISTILL 蒸馏方法

Characterize Then Distill: Mechanistic Reasoning in Large Output Spaces

AI 导读

研究通过分析注意力头因果作用,发现小范围结构化头集足以支持临床编码决策,并提出 MISTILL 方法。 MISTILL 通过监督学生模型在决策事件上的池化注意力,在跨家族学生中使因果恢复率近乎翻倍。

来源:arXiv · ML · arxiv.org