跳到正文
arXiv · NLP· Frederic Sadrieh·· 21 天前AI 评分36

面向 Prompt 鲁棒性的训练时梯度合并方法 Prompt-TIES 与 Prompt-DARE

Prompt-agnostic Language Models

AI 导读

本文提出 Prompt-TIES 和 Prompt-DARE 两种梯度合并方法,解决指令微调中多提示词改写导致的梯度干扰问题。 基于波茨坦大学 2026 年硕士论文,该方法可使全微调模型的每样本方差近乎减半。 代码与模型检查点已公开,部分成果曾发表于 EMNLP 2026。

来源:arXiv · NLP · arxiv.org