Seq@K评估协议提出

1. 12:00
   arXiv · AI

   Seq@K：语言模型在顺序反馈下的评估协议

   研究人员提出Seq@K评估协议，用于衡量模型在K次顺序尝试中利用反馈迭代解决问题的能力。 该协议在7个基准测试和16个前沿模型上验证，揭示模型排名常与Pass@K指标不同。 分析显示，反馈循环的设计对模型迭代精炼行为有显著影响，需纳入智能体系统评估体系。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。