arXiv · NLP· Gia-Bao Dinh Ho, Sekh Mainul Islam, Masahiro Kaneko, Timothy Baldwin, Isabelle Augenstein·· 4 小时前AI 评分22
优化文档后缀以实现上下文遵循：塑造文档而非模型
Shaping the Document, Not the Model: Optimized Suffixes for Context Following
AI 导读
研究通过离散令牌搜索优化文档后缀，使语言模型无需额外指令即可在反事实段落中优先遵循文档内容而非参数化知识。 该方法在三组指令微调模型家族中翻转了模型抗拒的大部分项目，性能优于解码基线并匹配激活引导，且单个后缀可迁移至未见解。
来源：arXiv · NLP · arxiv.org