arXiv · ML· Alon Jacobson, Qian Xie, Peter I. Frazier·· 23 小时前AI 评分28
Latency-Aware Adaptive Best-of-$N$
Latency-Aware Adaptive Best-of-$N$
AI 导读
提出一种两阶段自适应算法,将 Best-of-$N$ 采样中的延迟视为成本,通过首批次延迟动态决定第二批次规模。 算法将奖励映射至累积分布函数值,利用离线拟合的回归模型计算预期改进,在偏好对齐基准仿真中实现了更低的生成等效成本。
来源:arXiv · ML · arxiv.org