arXiv · NLP· Haoran Zheng, Chen Shani·· 3 小时前AI 评分38
Conceptizer 提出语义奖励机制，证明仅靠下一词元预测不足以为模型提供完整训练信号
Conceptizer: Next-Token Prediction Is Not All You Need
AI 导读
研究团队提出 Conceptizer 训练框架，在下一词元预测基础上引入基于约 9K 概念词表的语义奖励。 该框架无需增加模型参数，应用于 1B 至 8B 参数规模的 3 个模型族，在概念目标位置实现了最低的 NTP 困惑度并提高上下文同义词概率。 实验结果进一步表明，该方法在知识与情感任务上提升了下游性能，证明语言模型可直接优化以预测语义而非仅下一个词元。
来源：arXiv · NLP · arxiv.org