arXiv · ML· Pietro Di Nicco, Lucio La Cava, Andrea Tagarelli·· 6 小时前AI 评分26
AdaBPE 自适应频率阈值 BPE：面向混合自然语言与结构化符号语料的分词方法
Adaptive Frequency Threshold Byte Pair Encoding for Mixed Natural Language and Structured Symbolic Corpora
AI 导读
论文提出 AdaBPE，一种基于自适应频繁模式挖掘的分词方法，通过动态调整最小频率阈值适应候选 token 长度与类型，以优化 LaTeX 等特定领域记号。 在包含 LaTeX 与自然语言的五个数据集上评估显示，AdaBPE 在特定领域内容上同时提升了编码效率与下游语言模型性能，且未损害通用语言能力。
来源：arXiv · ML · arxiv.org