跳到正文
arXiv · ML· Alon Jacobson, Qian Xie, Peter I. Frazier·· 23 小时前AI 评分28

Latency-Aware Adaptive Best-of-$N$

Latency-Aware Adaptive Best-of-$N$

AI 导读

提出一种两阶段自适应算法,将 Best-of-$N$ 采样中的延迟视为成本,通过首批次延迟动态决定第二批次规模。 算法将奖励映射至累积分布函数值,利用离线拟合的回归模型计算预期改进,在偏好对齐基准仿真中实现了更低的生成等效成本。

来源:arXiv · ML · arxiv.org