arXiv · ML· Debjyoti Saha Roy·· 2026-10-07AI 评分31
解析推理语言模型在大规模标签空间中的机制并引入 MISTILL 蒸馏方法
Characterize Then Distill: Mechanistic Reasoning in Large Output Spaces
AI 导读
研究通过分析注意力头因果作用,发现小范围结构化头集足以支持临床编码决策,并提出 MISTILL 方法。 MISTILL 通过监督学生模型在决策事件上的池化注意力,在跨家族学生中使因果恢复率近乎翻倍。
来源:arXiv · ML · arxiv.org