arXiv · NLP· Tiago Martinelli, Jo\~ao Paulo Papa, Adriano Jos\'e Pereira·· 2026-10-14AI 评分28
Audit Before You Distill:面向紧凑型医疗语言模型推理迁移的控制工作流
Audit Before You Distill: A Controlled Workflow for Reasoning Transfer into Compact Medical Language Models
AI 导读
研究发现,教师模型的正确推理依据可使学生模型答对概率提升21个百分点,错误依据则降低14个百分点。 研究提出Distill-SFT方法,将答案与依据合并为单一目标进行训练,在保持推理优势的同时减少训练实例。 该工作流通过预先审计依据内容和验证教师答案,有效缓解了灾难性遗忘,提升了紧凑型模型在医疗问答中的效率。
来源:arXiv · NLP · arxiv.org