跳到正文
arXiv · NLP· Sejoon Oh, Fernando Amat Gil, Evan Smothers, Dan Iter, Mark Thornburg, Dawit Mureja Argaw, Sourabh Medapati, Thea Wang, Ria Verma, Qiuling Xu, Harshit Syal, Ehsan Gholami, Moumita Bhattacharya, Ashish Rastogi·· 2026-10-14AI 评分34

大规模个性化 LLM 推荐中单头自回归解码对比多头预测

Personalized LLM Recommendation with Semantic IDs: Autoregressive Beam Search vs. Multi-Token Prediction

AI 导读

在大规模 LLM 推荐系统研究比较单头自回归解码与多头预测,前者在排序和内容问答指标上更优。在 Qwen3-8B 规模下,单头方案以 2.6 倍较低成本训练,但推理吞吐量落后。 该方案结合辅助排序损失,端到端性能较前代基线提升显著,冷启动排序 +77%,内容问答准确率 +22%,训练速度提升 2.8 倍,语言指标回退则通过强化学习后训练来缓解。

来源:arXiv · NLP · arxiv.org