arXiv · ML· Zhiyang Xun, Daniel D. Johnson, Sarah Schwettmann, Neil Chowdhury·· 17 小时前AI 评分28
PosteriorBench:评估语言模型行为后验采样
PosteriorBench: Evaluating Behavior Posterior Sampling in Language Models
AI 导读
提出基准 PosteriorBench,用于评估语言模型在罕见行为上的后验采样算法。 包含基于 Qwen3.5-0.8B 的 21 个任务,行为概率在 $10^{-5}$ 到 $10^{-1}$ 之间,并配有 10 亿条标记响应的精确后验样本。 研究发现简单提示方法效率低且偏差大,微调成本过高,构建高效的后验采样器仍是开放问题。
来源:arXiv · ML · arxiv.org