arXiv · NLP· Pujan Pant, Sagar Newpane, Hari Sitaula, Manish Sakhakarmy·· 10 天前AI 评分20
小语言模型适配罗马化尼泊尔语:分词器生育度、参考似然与生成指标
Adapting Small Language Models to Romanized Nepali: Tokenizer Fertility, Reference Likelihood, and Generation Metrics
AI 导读
研究利用QLoRA微调Llama-3.2-3B、Qwen2.5-3B和Gemma-2-2B三个2-3B基座模型处理罗马化尼泊尔语。 微调后chrF++指标从10-14提升至29.0-30.6,BPB从2.23-2.41降至0.78-0.84。Llama-3.2-3B的BPB最低,但chrF++与Qwen2.5-3B无显著差异;分词器生育度低不代表生成质量最优。
来源:arXiv · NLP · arxiv.org