arXiv · NLP· Arvid Frydenlund, FuTe Wong, Katherine Lambert, Frank Rudzicz·· 4 小时前AI 评分25
多 Token 预测与替代分词法助力大规模学习潜在多跳图搜索
Multi-Token Prediction and Alternative Tokenization Improve Learning Latent Multi-Hop Graph Search at Scale
AI 导读
研究发现多 Token 预测（MTP）和替代分词法能突破图规模扩展的瓶颈，使语言模型在远超既往极限的规模上稳定解决最短路径问题。 此前模型在图规模扩大时失败归因于监督信号和分词缺陷，MTP 益处与拓扑结构无关且两因素正交。
来源：arXiv · NLP · arxiv.org