arXiv · NLP· Antal van den Bosch·· 3 天前AI 评分35
Mistral-7B 推测解码研究中近期性对速度与能耗的影响
Text Speeding Itself Up: Recency and Restraint in Session-Local Drafting
AI 导读
Mistral-7B 验证器下,最近期查找比最早匹配查找在 500-token 生成中加速最高 0.09,会话内存加权无显著增益。 医疗和法律文本中,选择性草稿器每 100 tokens 节省 3 至 4 焦耳能量;94% 生成结果与贪心解码完全一致。 重复惩罚导致长生成加速倍数从 1.4-1.7x 降至 1.1-1.2x,近期性依然有效。
来源:arXiv · NLP · arxiv.org