研究证实词表覆盖率制约小模型印度语效率

Anna Pramod团队发布论文，揭示小语言模型在印度语系中的效率瓶颈并非参数量，而是分词器（Tokenizer）覆盖率。研究基于跨越11种印度语脚本的13.1万句语料库，在2048-token上下文窗口下进行分析。数据显示，TinyLlama-1.1B 在 Kannada 语言中每词产生22.60个子词，远低于其在拉丁脚本中的1.34，导致效率低下。针对 Odia 等脚本，该模型未覆盖任何码点，致使93.6%的Token退化为原始字节。相比之下，MuRIL模型以更少参数实现了零UNK率，证明优化词表而非单纯增加参数量是提升小模型在多语言场景下效率的关键路径。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。