PredActBench:受控工具噪声下的增强对话基准评测
研究提出 PredActBench 基准,用于评测与不完美的预测工具交互的 LLM 对话智能体。该基准基于教育场景,使用 13 个 LLM 在 OULAD 及包含 60 门课程数据的 PredAct-CS 数据集上进行评估。
研究提出 PredActBench 基准,用于评测与不完美的预测工具交互的 LLM 对话智能体。该基准基于教育场景,使用 13 个 LLM 在 OULAD 及包含 60 门课程数据的 PredAct-CS 数据集上进行评估。
综述系统梳理了 Agent Skill 进化与评估领域,识别出从孤立创建向自动化评估驱动进化的范式转变。 进化被分类为执行反馈、轨迹蒸馏、压缩和强化学习四种范式,旨在提升技能效用与可靠性。 文章分析了六类以 Skill 为中心的 benchmark 类别,指出了基准覆盖、权衡及指标丰富度的结构性差距,并提出了构建可扩展且安全可验证的 Skill 生态系统的开放方向。
UXBench 是首个基于真实用户反馈信号的基准,包含 7,400 个测试实例,涵盖 8 大场景和 83 个领域。 对 26 个前沿模型进行评估,结果显示用户反馈预测是可学习的能力,并揭示了影响体验的多个维度。 该基准确立了新的评估标准,呼吁关注定制化 UX 优化,推动以用户为中心的大模型扩展定律。
InteractionBench 基准在统一录音下评估 7 个实时语音系统的 4 个维度,包含 13 个场景下每系统 221 项测试。 测试了 GPT-Live 等 7 个系统共 1,519 次,发现全双工系统的时序与任务准确性排名相关($\rho = 0.83$),级联系统任务得分最高(38/50)但时序偏低。
研究引入 SAC-Bench,包含来自 188 个声事件类别的 616,031 个独特片段,用于测试 Audio-Language 模型在语音断言与声学证据矛盾时的响应。
IdeaTaste 基准测试显示,LLM 在引用匹配和创意匹配上仅达人类水平的 26% 和 18%,存在显著差距。 该基准涵盖 6 个语言模型和 4 个研究领域,生成了超过 90,000 份研究提案。增加上下文或规模均未能有效缩小与人类社区的差距。 研究表明 AI 科研瓶颈在于将方向转化为具体方法,IdeaTaste 作为开源排行榜持续更新评测。
Omni-Life 基准测试了 12 种主流全模态实时 AI 模型在 400 个视频中的表现。 在需要协助的 290 个视频中,模型完全处理正确的比例最高仅为 4.48%,显示现有模型难以提供可靠帮助。 增加任务提醒可将召回率提升 17.12 个百分点,但每分钟约增加 4.6 个多余响应。
FindLink 在 1,545 题固定证据测试集上,将均衡宏分数从 67.95 提升至 87.25。 该框架通过 Premise Grounding 构建前提,利用 Structured Reasoning 生成证据条件答案,并引入确定性编译器验证结构一致性。 研究指出,科学推理不仅需识别前提,还需评估前提所支持的逻辑连接。
研究者提出 VisCodeBench,一个包含 2,672 个样本的文生可视化基准,覆盖教育、科学和通用场景。 该基准评估了 Codex、Claude Code 和 LIDA 三个系统与多种 LLM 的组合,在七个指标上表现不一。 最佳系统的数据相似度仅为 0.81,且即使最强系统生成结果也需 39-78 秒。
该研究提出 BestRand,通过随机采样降低模型评测成本,平均将高误差风险降低 50.2%,估算误差降低 16.4%。 方法在 70+ 文本、多模态及智能体基准上验证,OOD 估算误差平均降低 21.8%,且仅需 51.3% 的构建成本。 随机采样虽高效但存在罕见大误差,BestRand 在保留效率的同时显著减少高误差尾部风险,代码与数据已公开。
形式化语法透镜基准测试生成不同计算能力层级的数据,用于区分 GPT-5.5 及其 Pro 版本的推理水平。 测试 GPT-5.5 及 GPT-5.5-Pro 的 Medium、High、XHigh 模式,数据接受率分别为 16%、40%、43% 和 52%。 随着测试时计算量增加,模型回答与人类回答分歧加剧,提示通用能力与对齐之间的潜在冲突。
针对2026年10月周期的公开排行榜,11款商业化AI“人性化”工具在35%-65%含事实文档中更改或遗漏数字、日期等关键信息。 其中多数修改集中于引用片段;按仅统计数字和名称计算,10款工具在20%以上文档中仍发生更改。
DistDebug-Bench 推出,收录来自 11 个广泛使用的分布式系统的 120 个真实世界 Bug,覆盖 5 种编程语言和 10 种故障模式,用于评估 LLM Agent 在代码层面诊断复杂系统故障的能力。
研究者发布 CR-Bench-v2 缺陷中心评估框架,包含 584 个实例及 174 个 CR-Bench-Verified 子集,旨在解决现有基准缺乏标准化的问题。
PixelBench 评估 LLM 逐像素生成图像能力,无需额外图像分词器。 采用 RGB 调色板加索引网格方法,T2P 生成可识别图像,I2P 在低分辨率下优于专用算法。 引入 Pixel Reconstruction Tuning (PRT) 微调 Molmo2-4B,在 16 项基准上提升性能。
LSIRM方法通过分析1,348个语言模型在5,761道BBH题目上的表现,揭示了总分数掩盖的模型-题目交互差异。 研究发现,使用选项标签(如A、B、C、D)评分时,LSIRM映射中相近题目往往拥有相同正确答案,且剔除答案类别贡献后,两个总分仅差14题的模型排名会发生数百位互换。
arXiv 论文提出 BOBA-Bench,包含 280 条由 140 个开源项目衍生出的 20 连任务链。评估显示 10 款编码代理在单步任务中完成率高达 95%,但在连续链式任务中降至 51%。研究指出原因并非代码质量变差,而是代理在自身测试通过后即标记完成,导致后续请求建立在含错代码上。引入外部验证和一轮修复可将链式完成率提升至 59%。
推荐理由:论文通过长链任务揭示了编码代理的自我验证盲区,指出外部校验能显著降低错误累积率。
研究提出 PKPS(Product Kernel Perspective Space)方法,用于解决全量基准评估成本高昂的问题。 该方法通过嵌入响应对比相似而非完全相同的查询,有效利用稀疏和非配对的评估数据。 理论上证明 PKPS 在查询效率上优于仅使用密集配对数据的方法,实验显示其在两个大型基准套件中优于基线模型。
AgentHop 发布 1011 道选择题及七工具沙箱,拆解检索、合成、工具调用等资源管理四轴评估。 覆盖 19 个模型发现显著家族特征:GPT 早期提交,DeepSeek 与 Kimi 过度搜索。 论文已被 NeurIPS 2026 接收并开源完整测试集与测试框架。
UA-JudgeExam基准显示Claude Haiku 4.5在无题干时盲猜得分0.383,远高于随机水平。剔除泄露项后GPT-5.6在隐藏题干时仍得0.515,但过滤信号不具通用性。
SWE-Opt 是一个基于 102 个开源项目专家优化案例的仓库级基准,用于评估 LLM 在代码性能优化中的表现。该基准通过参数化测试,在噪声感知条件下评估运行时、峰值内存和时间加权内存使用(TWMU)。
DiffCap-Bench 发布覆盖十类差异的图像差异描述基准,引入 LLM-as-a-Judge 评估协议以精准捕捉语义一致性并惩罚幻觉。 该基准通过人类验证的差异列表(Difference Lists)对最新多模态大模型进行评估,揭示了专有模型与开源模型间的性能差距及模型扩展的局限性。
PentestEval 发布了首个全面评估 LLM 在渗透测试中表现的基准,覆盖 6 个分解阶段和 346 个任务。 该基准在 12 个现实场景中对 9 种 LLM 进行阶段级评估,端到端成功率仅 31%,现有智能体表现受限。 研究指出可靠自动化需增强结构化推理与阶段级诊断能力,为细粒度评估提供基础。
MedCUA-Bench 覆盖 10 个医疗领域的 18 种临床场景,通过确定性检查器评估 23 个智能体。 最佳闭源模型严格成功率仅 54.2%,在真实 OpenEMR 上全模型低于 9%,开源智能体平均仅 2.5%。 该基准揭示了当前智能体在临床软件可靠性上的缺口,为未来研究提供可复现测试床。
summary_zh: 审计发现 Lean 4 代码生成基准 CLEVER 的 161 个条目中,有 80 个存在参考规格错误。基于 Claude Opus 4.6、GPT-5.4 和 Kimi K2.5 的智能体系统生成了高达 98.8% 的有效规格,并在无错误前提下实现了 96.2% 的端到端成功率。
研究者提出 Benchmark Health Index(BHI),一个纯数据驱动框架,用于审计大语言模型基准的可靠性。 该框架从能力区分度、抗饱和度和影响力三个维度评估基准,并基于 2025 年 91 个代表性模型的技术报告,系统梳理了 106 个已验证基准。 BHI 提供了宏观量化基准健康状况的依据,支持基准选择与动态生命周期管理。
summary_zh: SynBench 是一个包含 9 个精选数据集的统一评估框架,用于标准化衡量差分隐私(DP)文本生成的效用、保真度与隐私审计。 该框架在对 1B-8B 规模 LLM 的基准测试中显示,当私有数据偏离预训练语料库时生成质量显著下降;即使在高隐私预算下,成员推断(MIA)审计仍检测到可测量的成员信号。
研究指出 AI 基准测试应超越单纯的技术任务难度,系统评估智能体应对组织内相互依存、知识分布等复杂条件的能力。 分析现有主流基准测试发现,其覆盖组织维度极为有限且不均衡,不足四分之一的基准声称涵盖此类内容。 这一视角填补了 AI 评测领域关于组织工作环境的空白,对开发能执行真实经济价值的 AI 智能体具有指导意义。
针对 LLM 代理在上下文压缩(compaction)后的规则合规性问题,研究引入基于开源 pi agent harness 的 ARCBench 基准测试,以测量执行过程中由行为产生的违规来源。 分析发现压缩极少删除规则,多数违规发生于规则仍留存于历史时代理错误将后续请求视为许可;最强定向攻击使违规率翻倍,且保留规则不保证合规,其违规频率超全量历史运行两倍。
研究团队发布 RoboColosseum 分布式评测框架,覆盖 124 个地点,完成 5,699 组开放式对比试验。 框架评估 5 种 VLA 策略和 3 种前沿 AI 智能体在 4 类机器人上的表现;微调后 GR00T N1.7 在 SO-101 上领先。 评测揭示了机器人在开放任务中的泛化瓶颈及微调效果差异。
summary_zh: 提出自动化框架 SessionFarmer,将多轮对话与提交历史转化为自包含软件任务。构建含 242 个任务的开源基准 CropChat,覆盖 61 个仓库与 14 种语言。
新基准 ReConSpatial 评估 18 款前沿 LVLM 的多视角 3D 场景重建能力,指出相对结构与度量重建存在一致差距。 GPT-6-Astra 在结构任务得分 81.4%,但度量重建仅 58.7%;9 项原子空间问答任务关联原子能力与重建质量。 实验表明 3D 地图注入可区分场景构建与路径规划,空间微调在通用视觉语言基准上实现广泛迁移。
S1CogBench 评估了包括 Jev 和 Laya 在内的五个开源模型及 Jev 在 24 项认知任务上的表现。 发现决策可靠性差异大,快速反应主要源于无文本生成,聚合分数掩盖了模型对证据、反馈和记忆负荷的响应。
研究人员提出 ReactionBench,这是首个以人类为锚点的视频反应特异性理解基准。 该基准包含 31,834 个刺激-反应视频片段,涵盖 433 小时时长及 8 个领域,用于评估反应强度排序、时序匹配及解释推理能力。 在七个多模态模型中,最佳模型在四选一匹配任务中准确率仅为 50.9%,表明反应特异性接地仍具挑战性。
研究复现8个基准测试的官方评分器,发现仅评分规则差异就能使同一模型输出准确率变动高达22分。 研究使用5个单张16GB GPU可运行的开源视觉语言模型,通过盲测人类与LLM评审仲裁(Cohen's kappa=0.956)恢复真实答案,指出不同解析规则导致显著分数偏差。 该研究已获WACV 2027接收,并发布代码、标签及协议,建议基准测试报告不合规率并采用至少两种评分规则。
针对 BFCL 忽视中间调用副作用的局限,CAREFUL-Bench 引入效果感知协议。 在 11 个开源模型上,无裁判重放评分器使头部模型因未授权破坏性调用被扣 14.0 分,冗余步骤消耗多达 28% 输入 token。 当前基准无法区分请求澄清与获取破坏性操作许可,揭示了函数调用评测的核心盲区。
GeoGuesser Bench 发布 282 项任务,评测 23 个视觉语言模型在离线街景环境中的交互地理定位能力,地点命名最高准确率 62.5%,物体寻找最高准确率 35.0%。
论文提出名为 Collaborative Intelligence Benchmark 的基准,包含 240 个覆盖 8 个维度的团队协作任务。评估了 18 个闭源和开源模型,发现最佳模型得分仅为 82.2。前沿模型在拒绝不安全捷径方面表现良好,但在人际压力下达成协议的比例仅 14%,且接手较弱模型未完成任务的成功率从 97% 降至 81%。
研究提出基于 VC 理论的诊断框架,评估 11 个 7-8B 模型在 360 道数学推理题中的自我评估能力。 结果显示自我评估表达力与校准存在系统性反向关系,JiuZhang3.0-7B 校准最佳,PVC-VUS 差距最小。 该框架为开发自我反思型 LLM 提供了诊断工具,揭示了该领域面临的根本性挑战。
针对 LLM 智能体中记忆交付后是否被实际使用的问题,研究提出 MemUse 评估框架。该框架基于 8,000 个 SWE-bench Verified 案例,对比记忆交付内容与智能体实际行为及后果。