跳到正文
arXiv · AI· Nicolas Menet, Andreas Krause, Abbas Rahimi·· 4 小时前AI 评分38

POETS:通过计算高效的策略集成实现感知不确定性的 LLM 优化

POETS: Uncertainty-Aware LLM Optimization via Compute-Efficient Policy Ensembles

AI 导读

POETS 通过共享预训练骨干与独立 LoRA 分支构建策略集成,直接匹配隐式奖励函数以捕捉认知不确定性,避免了训练不确定性感知奖励模型的复杂嵌套过程。 理论上,POETS 隐式近似 KL 正则化 Thompson 采样,其最优累积后悔界为 $O(\sqrt{T \gamma_T})$。 该框架在蛋白质搜索、治疗分子设计、量子电路设计、数学推理及代码生成中实现了 SOTA 样本效率。

来源:arXiv · AI · arxiv.org