跳到正文
arXiv · NLP· Hui Zhu, Saleh Zare Zade, Rafi Ibn Sultan, Deng Pan, Arun Ross, Dongxiao Zhu·· 12 小时前AI 评分34

BOS Summary:无损提升 LVLM 与 LLM 多步推理性能

BOS Summary: The First Token Matters

AI 导读

BOS Summary 提出一种免训练推理方法,在预填充阶段允许 BOS token 聚合所有输入信息,使其携带特定于输入的上下文。 该方法在 8 个基准测试中优于直接提示及链式思考(CoT)方法,性能超过近期的 sink 干预技术,且无额外参数或推理开销。 其机制分析表明,让 BOS 携带具体信息可削弱其注意力主导地位,将注意力重新分配至内容 token,改善后续层的行为。

来源:arXiv · NLP · arxiv.org