跳到正文
Hugging Face Blog·· 29 天前AI 评分51

VocabX 研究显示 SLM 领域专属词表可将推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

AI 导读

VocabX 研究通过按 token 生成成本而非出现频率重组小语言模型词表,实现了显著的推理成本降低。在葡萄牙语文本质检场景下,基于 Qwen3-4B 模型的平均生成 token 数从 350 降至 101,实测推理成本降低 77.0%,且质量基准评分从 0.703 提升至 0.810。该方法通过重构子词边界与识别重复的宏观文本片段,在 15 种组合的对比中优于现有的词表优化基准方法。

来源:Hugging Face Blog · huggingface.co