arXiv · NLP· Dylan Johnston, Robert P. Smith·· 11 天前AI 评分25
RidgeFill:免训练晚期层缓存填充以加速 Prefill
RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill
AI 导读
RidgeFill 通过免训练的岭回归预测晚期层输入,在不修改模型权重的情况下加速 LLM Prefill 阶段。 在 Qwen3.8-Flash-Next 上,该方法使 9K-32K token 下的首 token 延迟降低 1.50 至 1.60 倍;RULER 评测得分由 100.0 降至 99.8,陌生 token 困惑度增加 2.65%。
来源:arXiv · NLP · arxiv.org