arXiv · AI· Zhanke Zhou, Zongze Li, Weikai Huang, Xuan Li, Chentao Cao, Xiao Feng, Xiangyu Lu, Jinbo Hu, Yi Xie, Nico Pelleriti, Shiyang Liu, Menghan Lu, Max Zimmer, Brando Miranda, Jiangchao Yao, Bo Liu, Sanmi Koyejo, Sebastian Pokutta, Bo Han·· 2026-10-16AI 评分30
AlphaDiana: 面向可验证推理任务的智能体测量系统
AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks
AI 导读
AlphaDiana 提出了一套智能体测量系统,支持模块化数据集、环境和评分器接口,用于分析推理模型在可验证任务中的表现。 该系统在 5 个基于答案的基准测试中评估了 3 个开源模型与 3 个开源框架,发现框架并不总提升准确性:模型单独解答题目上的增益可能被解错题目上的损失抵消,技能指导或记忆保留也无法可靠提升准确率。
来源:arXiv · AI · arxiv.org