arXiv · ML· Hyunsik Kim·· 2026-10-16AI 评分21
UTF-16 如何让 UTF-8 多语言字节边界预测器的表现更优
The Right Byte First: How UTF-16 Helps Multilingual Boundary Prediction
AI 导读
在 FLORES-200 的多语言字节边界预测中,使用 UTF-16 的 Universal Byte-Level Encoding (UBE) 将 17 种文字在 13 种婆罗米文系下的图素边界错误率降至 0.06%,远低于 UTF-8 的 8.76%。
来源:arXiv · ML · arxiv.org