arXiv · NLP· Binayak Mukherjeea, Moitreya Nandi, Arindam Panja·· 4 小时前AI 评分20
AdaptTok-Indic：面向印度语言的脚本感知自适应分词器
AdaptTok-Indic: Script-Aware Adaptive Tokenization for Indic Languages
AI 导读
AdaptTok-Indic 通过结合 Unicode 预处理与印地语连字处理，在孟加拉语和印地语中实现了比 SentencePiece BPE 更低的 token 肥力率。
来源：arXiv · NLP · arxiv.org