世界模型上下文压缩基准与代理框架

研究提出世界模型上下文检索基准及代理框架，无需重训练即可将检索范围扩展至上下文窗口4倍以外。 该工作发现，采用滑动窗口注意力机制的世界模型在“做梦”模式下会丧失大部分上下文检索能力，通过上下文压缩延长世界模型触及范围比替换注意力机制更有效。