跳到正文
arXiv · NLP· Warit Sirichotedumrong, Adisai Na-Thalang, Chanakan Wittayasakpan, Kritsadha Phatcharoen, Kunat Pipatanakul·· 9 天前AI 评分27

khammoon:从语言学指南到泰语形态素分词器

khammoon: From a Linguistic Guideline to a Thai Morpheme Segmenter

AI 导读

研究提出基于泰语最小意义单位 khammoon 的形态素分词方法,替代传统词级边界。 模型为 1M 参数的卷积 BiLSTM,支持 CPU 推理,跨域测试边界 F1 达 0.992;指南人工一致性 $\kappa \approx 0.99$,已开源。 形态素表示提升词性标注、实体识别及情感分类等下游任务表现,证明语言学一致性可优化表征质量。

来源:arXiv · NLP · arxiv.org