跳到正文
arXiv · NLP· Stephen Peng, Vineet Jagadeesan Nair, Noah Broestl, Anne Friederike Kleppe, Steven Mills, Adi Zolotov·· 11 天前AI 评分27

生物医学领域微调大模型中的护栏侵蚀:知识型拒绝的配对审计

Guardrail Erosion in Domain Fine-Tuned Large Language Models: A Paired Audit of Knowledge-Centric Abstention in Biomedical LLMs

AI 导读

审计发现微调后生物医学大语言模型的知识型拒绝率中位数从 8.3% 降至 4.2%,25 组配对中 21 组出现下降。 研究基于 MedAbstain 和 ClinDet-Bench 对 25 个微调模型及其 11 个基座检查点进行对比,揭示变化幅度与方向存在异质性。 该结果支持探索在提升领域能力的同时保留适度谨慎的微调方法。

来源:arXiv · NLP · arxiv.org