arXiv · AI· Sneha Murthy Ghantasala·· 4 小时前AI 评分43
TreeWY: 门控DeltaNet混合模型的推测验证
TreeWY: Speculative Verification for Gated DeltaNet Hybrids
AI 导读
针对门控DeltaNet混合模型推测解码内存瓶颈,TreeWY采用树状WY变换消除全状态快照。 该方法在Qwen3.5 35B和397B上显著降低内存占用,在内存受限场景下提升吞吐量并降低TTFT。 宽树宽度虽提高接受率但尚未转化为吞吐量优势。
来源:arXiv · AI · arxiv.org