arXiv · AI· Daisuke Oba, Hiroki Furuta, Naoaki Okazaki·· 8 小时前AI 评分21
BCT: 用于流语言模型的贝叶斯一致性调温
BCT: Bayes-Consistent Tempering for Flow Language Models
AI 导读
针对后验诱导流语言模型中温度缩放导致的分布与动态不匹配问题,提出贝叶斯一致性调温(BCT)。 该方法将温度显式纳入生成流的分布与动态,通过训练调温中间态的降噪器实现,在GSM8K和数独任务上显著提升性能。 代码和模型权重已公开,支持温度作为生成流属性贯穿训练与推理,而非事后概率调整。
来源:arXiv · AI · arxiv.org