arXiv · NLP· Sattaya Singkul·· 3 天前AI 评分38
词表税:为端侧使用安全裁剪 LLM 未用 token
The Vocabulary Tax: Safely Trimming Unused Tokens from LLMs for On-Device Use
AI 导读
研究定义“词表税”为未用 token 占模型字节比例,测得 Gemma 4 E2B 中达 1.93 GB。 通过合并闭包与裁剪证书修复 BPE 分词器,中位移除 89.7% 行且预测保持。 该方法以开源 Python 包及 41 种语言数据集形式发布。
来源:arXiv · NLP · arxiv.org