Conceptizer 提出语义奖励训练框架

2026年10月11日，Haoran Zheng 与 Chen Shani 在 arXiv 提交论文（arXiv:2610.33027），提出 Conceptizer 训练框架。该框架在标准下一词元预测基础上，引入基于约 9K 概念词表的语义奖励机制，无需增加模型参数，证明了仅靠下一词元预测不足以提供完整训练信号。 该框架被应用于 1B 至 8B 参数规模的 3 个不同模型族。实验结果显示，该方法在概念目标位置实现了最低的 NTP 困惑度，并提高了上下文同义词概率。 进一步实验表明，该方法在知识与情感任务上提升了下游性能。研究结论指出，语言模型可直接优化以预测语义，而非仅局限于预测下一个词元。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。