arXiv · NLP· Chun-Hao Yang, Bo-Han Feng, Tzu-Yuan Lai, Yan-Yu Chen, Yin-Kai Dean Huang, Shou-De Lin·· 2026-10-14AI 评分27
训练LLM超越下一词预测:填补互信息缺口
Training LLMs Beyond Next Token Prediction - Filling the Mutual Information Gap
AI 导读
该论文提出基于互信息的Max(MI(S;t))启发式方法,优化自回归大语言模型的目标词序,超越了默认的下一词预测(NTP)。 在算术推理、多标签分类等任务中,该方法在不改变模型架构的前提下,提升了GPT-style及Llama/Qwen模型的性能。 其效果优于逆序、TF-IDF等基线,证明了目标词序作为训练设计选择的重要性。
来源:arXiv · NLP · arxiv.org