arXiv · NLP· Lin Zheng, Vasilisa Bashlovkina, Timothy Dozat, Dan Garrette, Laura Rimell, Joshua Maynez·· 11 天前AI 评分40
Scratchpad Patching: 解耦字节级语言模型中的计算量与补丁大小
Scratchpad Patching: Decoupling Compute from Patch Size in Byte-Level Language Models
AI 导读
Scratchpad Patching (SP) 将计算量与补丁大小解耦,提升字节级模型效率。 SP 通过 next-byte 预测熵触发临时 scratchpads,在 $16$ bytes/patch 时使 KV-cache 缩小 $16\times$,推理计算量减少 $3$-$4\times$。 方法在自然语言和代码基准上使 $16$-byte 补丁模型接近字节级基线质量。
来源:arXiv · NLP · arxiv.org