arXiv · NLP· Eugene Jang, Catherine Arnett, Terra Blevins·· 9 天前AI 评分23
文本编码对语言模型的影响:基于 Aether 框架的研究
When does text encoding matter for language modeling?
AI 导读
UTF-8 编码因其变长设计引入跨语言不平等,其影响研究不足。作者提出混合编码 Aether,针对格鲁吉亚语等 4 种语言建模。结果显示信息密集语言(中、韩)受益于压缩编码,而格鲁吉亚语等低信息量字符语言对编码选择不敏感。 研究表明文本编码应作为语言特定决策,而非通用默认标准。
来源:arXiv · NLP · arxiv.org