arXiv · ML· Ruishan Guo, Yibing Liu, Guoxin Ma, Yan Wang, Yueyang Zhang, Long Xia, Kecheng Chen, Zhiyuan Sun, Daiting Shi·· 4 小时前AI 评分35
LLM 上下文压缩中的规模悖论：更小模型为何更忠实
When Less is More: The LLM Scaling Paradox in Context Compression
AI 导读
研究在 27 种压缩设置中发现“规模-保真度悖论”：增大 LLM 压缩器尺寸虽降低重构误差，却反而降低上下文重建的忠实度。该悖论源于两大因素：大模型更易发生“知识覆写”（如将白草莓改为红草莓）和“语义漂移”（如主客体颠倒），且在中大模型中尤为明显。
来源：arXiv · ML · arxiv.org