AdaBPE自适应分词方法发布

2026年10月26日，arXiv平台发布论文，提出AdaBPE分词方法。该方法基于自适应频繁模式挖掘，通过动态调整最小频率阈值以适应候选token长度与类型，旨在优化LaTeX等特定领域记号的处理。 在包含LaTeX与自然语言的五个数据集评估显示，AdaBPE在特定领域内容上同时提升了编码效率与下游语言模型性能，且未损害通用语言能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。