arXiv · AI· Thomson Yen, Gilbert Yang, Naimeng Ye, Minghui Chen, Dong Xia, Tianyi Shen, Yechan Jeon, Yaqin Chen, Daksh Mittal, Fangyu Wu, Hongseok Namkoong·· 8 小时前AI 评分21
Seq@K：语言模型在顺序反馈下的评估协议
Seq@K: Evaluating Language Models Under Sequential Feedback
AI 导读
研究人员提出Seq@K评估协议，用于衡量模型在K次顺序尝试中利用反馈迭代解决问题的能力。 该协议在7个基准测试和16个前沿模型上验证，揭示模型排名常与Pass@K指标不同。 分析显示，反馈循环的设计对模型迭代精炼行为有显著影响，需纳入智能体系统评估体系。
来源：arXiv · AI · arxiv.org