跳到正文
arXiv · NLP· Tanzeel Abbas, Ahmad Kamran Malik, Nafees Qamar, Sana Liaqat·· 7 天前AI 评分35

PECA:小语言模型临床推理的可微长度控制

Parameter-Efficient Conciseness Adaptation: Differentiable Length Control for Concise Clinical Reasoning in Smaller Language Models

AI 导读

研究提出参数高效简洁性适应(PECA)方法,将可微简洁性项加入QLoRA监督微调目标,无需偏好数据或辅助模型。 在1.7B参数模型上,PECA使平均响应长度降低72.8%,多选题诊断准确率从40.8%提升至44.0%。 方法实现了简洁度与诊断完整性的可解释权衡,适用于资源受限的临床场景。

来源:arXiv · NLP · arxiv.org