arXiv · NLP· Robin Shing Moon Chan, Tianyu Liu, Samuel Kiegeland, Clemente Pasti, Jacob Hoover Vigly, Timothy J. O'Donnell, Ryan Cotterell, Tim Vieira·· 10 天前AI 评分25
基于序列蒙特卡洛的语言模型集成框架
Ensembling Language Models with Sequential Monte Carlo
AI 导读
研究将语言模型集成转化为推理问题,提出基于序列蒙特卡洛(SMC)的近似推断方案,并在共享字节空间采样以支持词汇表不匹配的模型。 框架通过宽泛的聚合函数参数化统一集成分布,实验表明共识导向策略如乘积优于概率平均,且更优的后验近似能提升集成性能。 该成果已作为最终版本发表于 NeurIPS 2026。
来源:arXiv · NLP · arxiv.org