研究证实长思维链推测解码接受率不随位置衰减
热点事件持续更新
研究证实长思维链推测解码接受率不随位置衰减
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究人员Zhiming Meng发布新论文,首次系统性测量并诊断了长思维链中推测解码(speculative decoding)的接受率。研究在MATH-500数据集上,基于DeepSeek-R1-Distill-Qwen-7B模型及其对应的1.5B同家族与跨家族草稿模型,验证了约178万轮生成请求。 实验结果显示,在贪心解码(0-8K)和采样解码(0-12K)下,接受率并未随生成位置衰减,轨迹后半段接受率甚至略高。研究指出,拒绝主要集中于高熵反思触发词,位置并非核心失效原因,从而推翻了长思维链推测解码性能因位置后移而下降的既有假设。
AI 根据报道生成 · 2 小时前更新
最新进展10月23日 12:00
长思维链中推测解码接受率不随位置衰减:基于独立草稿的全长诊断报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- arXiv · AI长思维链中推测解码接受率不随位置衰减:基于独立草稿的全长诊断
在 MATH-500 数据集上,DeepSeek-R1-Distill-Qwen-7B 的推测解码接受率不随生成位置衰减。 测试涵盖约 178 万轮验证,在 0-8K 贪心及 0-12K 采样范围内,轨迹后半段接受率略高但显著。拒绝主要集中于高熵反思触发词,位置并非核心失效原因。 该研究提供独立草稿-目标配对的基线,将残余失效定位至决策点熵。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。