跳到正文
arXiv · ML· Mridul Mahajan, Xuezhou Zhang, Aldo Pacchiano·· 2 天前AI 评分26

分层策略优化推理时目标:多LoRA适配器提升pass@k性能

Learning Stratified Policies for Inference-Time Objectives

AI 导读

研究者提出分层策略,在推理时将样本预算分配给k个策略,而非重复采样单一策略。每个策略由共享语言模型骨干上的独立LoRA适配器实现,并针对pass@k进行优化。 理论分析表明,在单LoRA预测误差严格为正的场景中,LoRA群体可实现零best-of-k近似误差。实证结果显示,在多个推理任务中,分层策略一致优于单一策略基线。

来源:arXiv · ML · arxiv.org