arXiv · AI· Peter Belcak, Saurav Muralidharan, Jindong Jiang, Yonggan Fu, Wonmin Byeon, Hanrong Ye, Ryan Angilly, Ali Taghibakhshi, Shih-Yang Liu, Siru Ouyang, Greg Heinrich, Pavlo Molchanov·· 16 天前AI 评分53
arXiv论文:短上下文即可维持大模型长任务精度,质疑长上下文必要性
You don't need long context
AI 导读
作者团队通过频繁压缩上下文证明前沿语言模型在长程任务中保持短上下文时牺牲极小甚至无任务精度,并表明LLM在软件工程任务中即使每个上下文仅取一个动作性能也不崩塌。基于此提出语义状态空间模型SSSM概念,质疑长上下文语言模型的必要性。
来源:arXiv · AI · arxiv.org