arXiv · NLP· Stephen Peng, Vineet Jagadeesan Nair, Noah Broestl, Anne Friederike Kleppe, Steven Mills, Adi Zolotov·· 11 天前AI 评分27
生物医学领域微调大模型中的护栏侵蚀:知识型拒绝的配对审计
Guardrail Erosion in Domain Fine-Tuned Large Language Models: A Paired Audit of Knowledge-Centric Abstention in Biomedical LLMs
AI 导读
审计发现微调后生物医学大语言模型的知识型拒绝率中位数从 8.3% 降至 4.2%,25 组配对中 21 组出现下降。 研究基于 MedAbstain 和 ClinDet-Bench 对 25 个微调模型及其 11 个基座检查点进行对比,揭示变化幅度与方向存在异质性。 该结果支持探索在提升领域能力的同时保留适度谨慎的微调方法。
来源:arXiv · NLP · arxiv.org