跳到正文
机器之心·· 2026-10-20AI 评分34

小红书 Dots 团队 DoSA 技术实现长上下文首 token 延迟减半

提速不降智,小红书DoSA将首token延迟减半

AI 导读

小红书 Dots 团队提出 DoSA,利用分数上下界加速索引器,在不降低精度的前提下将约 1M token 上下文的首 token 延迟较 SGLang 基线降低 37%-48%。 该技术通过保守上界提前过滤约 97% 候选,仅对可能入选的候选执行精确打分,确保了 Top-K 选择结果等价。 此举解决了稀疏注意力中索引器成为长上下文推理瓶颈的问题,显著提升了长文本生成效率。

来源:机器之心 · mp.weixin.qq.com