跳到正文
arXiv · NLP· Maitrey Mehta, Nishant Subramani, Zhichao Xu, Ashim Gupta, Vivek Srikumar·· 17 天前AI 评分28

基于可解释性的语言模型分词碎片化优化:词汇扩展新路径

Defragmenting Language Models: An Interpretability-based Approach for Vocabulary Expansion

AI 导读

针对非拉丁脚本语言 LLM 分词碎片化问题,研究提出基于可解释性的词汇扩展方法。 方法比频率法具有更优性能效率权衡,嵌入初始化较基线提升约 20 点。 发现子词反分词现象,并据此提出 FragMend 方法突破效率上限。

来源:arXiv · NLP · arxiv.org