跳到正文
量子位· 闻乐·· 10 天前精选AI 评分76

字节 Seed 团队定位 DeepSeek 长上下文表现周期性波动的成因

字节找到了DeepSeek时强时弱的原因

AI 导读

字节 Seed 团队研究发现 DeepSeek-V4 在长上下文任务中表现随输入位置呈 4 个 Token 周期性波动。在 128K 上下文检索中,仅改变信息相对压缩窗口边界的位置,准确率最大差距达 40.2 个百分点。

推荐理由

量化了分块 KV Cache 压缩带来的相位敏感性,揭示同一信息在不同 Token 位置下性能差异可达 40.2 个百分点。

来源:量子位 · qbitai.com