量子位· 闻乐·· 10 天前精选AI 评分76
字节 Seed 团队定位 DeepSeek 长上下文表现周期性波动的成因
字节找到了DeepSeek时强时弱的原因
AI 导读
字节 Seed 团队研究发现 DeepSeek-V4 在长上下文任务中表现随输入位置呈 4 个 Token 周期性波动。在 128K 上下文检索中,仅改变信息相对压缩窗口边界的位置,准确率最大差距达 40.2 个百分点。
推荐理由
量化了分块 KV Cache 压缩带来的相位敏感性,揭示同一信息在不同 Token 位置下性能差异可达 40.2 个百分点。
来源:量子位 · qbitai.com