arXiv · NLP· Thodsaporn Chay-intr, Kobkrit Viriyayudhakorn, Thanaruk Theeramunkong·· 3 天前AI 评分20
LATTE-WordSeg-Lite:CPU 上的多粒度泰语分词及可复现基准
LATTE-WordSeg-Lite: Multi-Granularity Thai Word Segmentation on a CPU, with a Reproducible Benchmark
AI 导读
LATTE-WordSeg-Lite 是一个 1.17M 参数的 CPU 分词器,能单次输出复合词、单词和语素,在七个测试集中于五个超过 DeepCut。 它采用统一协议重建测试集,对比十二个系统;在单线程下速度比 DeepCut 快 23 倍,模型与基准脚本已开源。 该成果解决了泰语分词资源与子词 token 不匹配的问题,提升了 NLP 工具的可复现性。
来源:arXiv · NLP · arxiv.org