TreeWY提出门控DeltaNet混合模型推测验证新方法

2026年10月26日，Sneha Murthy Ghantasala发布论文《TreeWY: Speculative Verification for Gated DeltaNet Hybrids》，针对门控DeltaNet混合模型推测解码的内存瓶颈，提出采用树状WY变换消除全状态快照。该方法通过单次三角求解计算每个草稿节点输出，仅在被提交时重建唯一被接受的状态，并以小型伪值矩阵替代逐节点状态存储。实验显示，TreeWY在Qwen3.5 35B和397B上显著降低内存占用，在内存受限场景下提升吞吐量并降低TTFT。尽管宽树宽度提高了接受率，但尚未转化为吞吐量优势。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。