跳到正文
11月3日周二
  1. arXiv · NLP45

    Agent Skill 评估与进化:框架与基准综述

    综述系统梳理了 Agent Skill 进化与评估领域,识别出从孤立创建向自动化评估驱动进化的范式转变。 进化被分类为执行反馈、轨迹蒸馏、压缩和强化学习四种范式,旨在提升技能效用与可靠性。 文章分析了六类以 Skill 为中心的 benchmark 类别,指出了基准覆盖、权衡及指标丰富度的结构性差距,并提出了构建可扩展且安全可验证的 Skill 生态系统的开放方向。

  2. arXiv · NLP45

    UXBench:首个基于真实用户反馈的 AI 助手用户体验基准

    UXBench 是首个基于真实用户反馈信号的基准,包含 7,400 个测试实例,涵盖 8 大场景和 83 个领域。 对 26 个前沿模型进行评估,结果显示用户反馈预测是可学习的能力,并揭示了影响体验的多个维度。 该基准确立了新的评估标准,呼吁关注定制化 UX 优化,推动以用户为中心的大模型扩展定律。

  3. arXiv · NLP25

    IdeaTaste 基准:评估大语言模型是否具备人类科研品味

    IdeaTaste 基准测试显示,LLM 在引用匹配和创意匹配上仅达人类水平的 26% 和 18%,存在显著差距。 该基准涵盖 6 个语言模型和 4 个研究领域,生成了超过 90,000 份研究提案。增加上下文或规模均未能有效缩小与人类社区的差距。 研究表明 AI 科研瓶颈在于将方向转化为具体方法,IdeaTaste 作为开源排行榜持续更新评测。

  4. arXiv · NLP21

    BestRand:稳定且低成本的基准压缩方法

    该研究提出 BestRand,通过随机采样降低模型评测成本,平均将高误差风险降低 50.2%,估算误差降低 16.4%。 方法在 70+ 文本、多模态及智能体基准上验证,OOD 估算误差平均降低 21.8%,且仅需 51.3% 的构建成本。 随机采样虽高效但存在罕见大误差,BestRand 在保留效率的同时显著减少高误差尾部风险,代码与数据已公开。

  5. arXiv · NLP25

    GPT 5.5 Pro 推理水平通过语法透镜基准测试进行区分

    形式化语法透镜基准测试生成不同计算能力层级的数据,用于区分 GPT-5.5 及其 Pro 版本的推理水平。 测试 GPT-5.5 及 GPT-5.5-Pro 的 Medium、High、XHigh 模式,数据接受率分别为 16%、40%、43% 和 52%。 随着测试时计算量增加,模型回答与人类回答分歧加剧,提示通用能力与对齐之间的潜在冲突。

  6. arXiv · ML61

    arXiv论文 BOBA:为何编码代理无法独立工作

    arXiv 论文提出 BOBA-Bench,包含 280 条由 140 个开源项目衍生出的 20 连任务链。评估显示 10 款编码代理在单步任务中完成率高达 95%,但在连续链式任务中降至 51%。研究指出原因并非代码质量变差,而是代理在自身测试通过后即标记完成,导致后续请求建立在含错代码上。引入外部验证和一轮修复可将链式完成率提升至 59%。

    推荐理由:论文通过长链任务揭示了编码代理的自我验证盲区,指出外部校验能显著降低错误累积率。

  7. arXiv · ML25

    PKPS 方法实现稀疏非配对响应下的基准预测

    研究提出 PKPS(Product Kernel Perspective Space)方法,用于解决全量基准评估成本高昂的问题。 该方法通过嵌入响应对比相似而非完全相同的查询,有效利用稀疏和非配对的评估数据。 理论上证明 PKPS 在查询效率上优于仅使用密集配对数据的方法,实验显示其在两个大型基准套件中优于基线模型。

  8. arXiv · AI32

    PentestEval:基于模块化与阶段级设计的 LLM 渗透测试基准

    PentestEval 发布了首个全面评估 LLM 在渗透测试中表现的基准,覆盖 6 个分解阶段和 346 个任务。 该基准在 12 个现实场景中对 9 种 LLM 进行阶段级评估,端到端成功率仅 31%,现有智能体表现受限。 研究指出可靠自动化需增强结构化推理与阶段级诊断能力,为细粒度评估提供基础。

  9. arXiv · AI23

    Benchmark Health Index:评估 LLM 基准可靠性的系统性框架

    研究者提出 Benchmark Health Index(BHI),一个纯数据驱动框架,用于审计大语言模型基准的可靠性。 该框架从能力区分度、抗饱和度和影响力三个维度评估基准,并基于 2025 年 91 个代表性模型的技术报告,系统梳理了 106 个已验证基准。 BHI 提供了宏观量化基准健康状况的依据,支持基准选择与动态生命周期管理。

  10. arXiv · AI26

    SynBench:用于差分隐私文本生成的基准

    summary_zh: SynBench 是一个包含 9 个精选数据集的统一评估框架,用于标准化衡量差分隐私(DP)文本生成的效用、保真度与隐私审计。 该框架在对 1B-8B 规模 LLM 的基准测试中显示,当私有数据偏离预训练语料库时生成质量显著下降;即使在高隐私预算下,成员推断(MIA)审计仍检测到可测量的成员信号。

  11. arXiv · AI31

    比任务更难:AI 评测从技术难度转向组织难度的范式

    研究指出 AI 基准测试应超越单纯的技术任务难度,系统评估智能体应对组织内相互依存、知识分布等复杂条件的能力。 分析现有主流基准测试发现,其覆盖组织维度极为有限且不均衡,不足四分之一的基准声称涵盖此类内容。 这一视角填补了 AI 评测领域关于组织工作环境的空白,对开发能执行真实经济价值的 AI 智能体具有指导意义。

  12. arXiv · AI41

    基准测试 ARCBench:评估上下文压缩下 LLM 代理的规则合规性

    针对 LLM 代理在上下文压缩(compaction)后的规则合规性问题,研究引入基于开源 pi agent harness 的 ARCBench 基准测试,以测量执行过程中由行为产生的违规来源。 分析发现压缩极少删除规则,多数违规发生于规则仍留存于历史时代理错误将后续请求视为许可;最强定向攻击使违规率翻倍,且保留规则不保证合规,其违规频率超全量历史运行两倍。

  13. arXiv · AI39

    ReConSpatial 基准揭示 LVLM 空间智能差距:结构理解优于度量重建

    新基准 ReConSpatial 评估 18 款前沿 LVLM 的多视角 3D 场景重建能力,指出相对结构与度量重建存在一致差距。 GPT-6-Astra 在结构任务得分 81.4%,但度量重建仅 58.7%;9 项原子空间问答任务关联原子能力与重建质量。 实验表明 3D 地图注入可区分场景构建与路径规划,空间微调在通用视觉语言基准上实现广泛迁移。

  14. arXiv · AI27

    ReactionBench:基于人类参照的视频反应建模基准

    研究人员提出 ReactionBench,这是首个以人类为锚点的视频反应特异性理解基准。 该基准包含 31,834 个刺激-反应视频片段,涵盖 433 小时时长及 8 个领域,用于评估反应强度排序、时序匹配及解释推理能力。 在七个多模态模型中,最佳模型在四选一匹配任务中准确率仅为 50.9%,表明反应特异性接地仍具挑战性。

  15. arXiv · AI30

    多模态大模型基准测试评分规则审计:同一输出分数差异可达22分

    研究复现8个基准测试的官方评分器,发现仅评分规则差异就能使同一模型输出准确率变动高达22分。 研究使用5个单张16GB GPU可运行的开源视觉语言模型,通过盲测人类与LLM评审仲裁(Cohen's kappa=0.956)恢复真实答案,指出不同解析规则导致显著分数偏差。 该研究已获WACV 2027接收,并发布代码、标签及协议,建议基准测试报告不合规率并采用至少两种评分规则。

  16. arXiv · AI30

    CAREFUL-Bench:面向 LLM 多轮函数调用的无裁判、效果感知评测

    针对 BFCL 忽视中间调用副作用的局限,CAREFUL-Bench 引入效果感知协议。 在 11 个开源模型上,无裁判重放评分器使头部模型因未授权破坏性调用被扣 14.0 分,冗余步骤消耗多达 28% 输入 token。 当前基准无法区分请求澄清与获取破坏性操作许可,揭示了函数调用评测的核心盲区。

  17. arXiv · AI57

    推出评估AI智能体协作能力的基准Collaborative Intelligence

    论文提出名为 Collaborative Intelligence Benchmark 的基准,包含 240 个覆盖 8 个维度的团队协作任务。评估了 18 个闭源和开源模型,发现最佳模型得分仅为 82.2。前沿模型在拒绝不安全捷径方面表现良好,但在人际压力下达成协议的比例仅 14%,且接手较弱模型未完成任务的成功率从 97% 降至 81%。

  18. arXiv · AI31

    基于校准约束的 LLM 自我评估诊断框架

    研究提出基于 VC 理论的诊断框架,评估 11 个 7-8B 模型在 360 道数学推理题中的自我评估能力。 结果显示自我评估表达力与校准存在系统性反向关系,JiuZhang3.0-7B 校准最佳,PVC-VUS 差距最小。 该框架为开发自我反思型 LLM 提供了诊断工具,揭示了该领域面临的根本性挑战。