arXiv · NLP· Anna Pramod·· 4 小时前AI 评分29
研究揭示 Tokenizer 覆盖率是小模型在印地语脚本上的效率瓶颈
Efficiency Measured in English: Tokeniser Coverage Bounds Small Language Models on Indic Scripts
AI 导读
summary_zh: 研究指出,小模型在受计算限制下的效率常被单一内存指标掩盖,实际性能受 Tokenizer 覆盖率制约。 TinyLlama-1.1B 在 Odia 等脚本中未覆盖任何码点,导致 93.6% 的 Token 退化为原始字节,而 MuRIL 以更少参数实现零 UNK 率。
来源:arXiv · NLP · arxiv.org