跳到正文
arXiv · ML· Hyunsik Kim·· 2026-10-16AI 评分21

UTF-16 如何让 UTF-8 多语言字节边界预测器的表现更优

The Right Byte First: How UTF-16 Helps Multilingual Boundary Prediction

AI 导读

在 FLORES-200 的多语言字节边界预测中,使用 UTF-16 的 Universal Byte-Level Encoding (UBE) 将 17 种文字在 13 种婆罗米文系下的图素边界错误率降至 0.06%,远低于 UTF-8 的 8.76%。

来源:arXiv · ML · arxiv.org