跳到正文
arXiv · ML· Zhiyang Xun, Daniel D. Johnson, Sarah Schwettmann, Neil Chowdhury·· 17 小时前AI 评分28

PosteriorBench:评估语言模型行为后验采样

PosteriorBench: Evaluating Behavior Posterior Sampling in Language Models

AI 导读

提出基准 PosteriorBench,用于评估语言模型在罕见行为上的后验采样算法。 包含基于 Qwen3.5-0.8B 的 21 个任务,行为概率在 $10^{-5}$ 到 $10^{-1}$ 之间,并配有 10 亿条标记响应的精确后验样本。 研究发现简单提示方法效率低且偏差大,微调成本过高,构建高效的后验采样器仍是开放问题。

来源:arXiv · ML · arxiv.org