研究揭示LLM上下文压缩规模悖论

2026年11月2日，arXiv发布cs.lg领域新研究，聚焦大语言模型上下文压缩中的异常现象。该研究在27种不同的压缩设置中发现了“规模-保真度悖论”：尽管增大压缩器模型尺寸能降低重构误差，但却显著降低了上下文重建的忠实度。 研究指出，该悖论主要源于两大机制。首先，大模型更易发生“知识覆写”，即利用内部知识强制替换原文中的错误事实，例如将“白草莓”强行改为“红草莓”。其次，大模型易产生“语义漂移”，如导致主客体关系颠倒。分析表明，这些保真度受损现象在中大型模型中尤为明显。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。