跳到正文
arXiv · NLP· Dingzirui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che, Yang Deng·· 7 天前AI 评分35

并非所有缺口修正都有益:LLM推理中外部信息的几何视角

Not All Gap Correction Helps: A Geometric View of External Information in LLM Inference

AI 导读

论文指出外部信息对LLM推理的缺口修正可能存在过度修正现象,反而损害模型性能。 作者从推理误差角度分析Transformer,揭示修正向量由注意力机制与信息互补性共同决定,并推导出信息在方向和幅度上恰当修正的几何条件。 通过在四种主流LLM和七个推理基准上的实验,验证了理论并支持了一种基于理论指导的信息选择方法。

来源:arXiv · NLP · arxiv.org