NLG 评测趋势 2020-2025 元分析:衡量什么?
一项针对 3,334 篇 NLG 论文的元分析发现,LlaJ 使用率超过人工评测,但仅 8% 论文进行人工验证。 分析揭示三大系统问题:BLEU/ROUGE 指标惯性、通用自动指标缺乏明确评测维度映射,以及 LlaJ 在细粒度标准上与人类判断对齐度崩塌。 团队据此提出最小化“评估清单”,以指导指标选择、构念效度及 LlaJ 部署。
一项针对 3,334 篇 NLG 论文的元分析发现,LlaJ 使用率超过人工评测,但仅 8% 论文进行人工验证。 分析揭示三大系统问题:BLEU/ROUGE 指标惯性、通用自动指标缺乏明确评测维度映射,以及 LlaJ 在细粒度标准上与人类判断对齐度崩塌。 团队据此提出最小化“评估清单”,以指导指标选择、构念效度及 LlaJ 部署。
IFEvalCode 发布了一个包含 1.6K 样本的多语言代码生成基准,覆盖 Python、Java 等 7 种编程语言,并将评估解耦为正确性与指令遵循两项指标。 实验在 40 多个大语言模型上进行,结果显示闭源模型在受控代码生成任务中表现优于开源模型,且模型在正确生成代码与严格遵循指令之间存在显著差距。
Autonomous Science Bench 发布 v0.1 版基准,包含 6 个基于生物、化学及材料科学的预算制设计-构建-测试-学习实验活动。 在 8 个智能体配置 144 次试验中,最佳配置成功率为 67%,最难活动 24 次仅成功 3 次。 该基准通过发现与学习双门槛机制,揭示了智能体在寻找有希望设计与预测未见设计表现上的不同弱点。
PRISM 提出一种无评分标准(rubric-free)的协议,利用反事实探针校准大语言模型作为评判者时与人类判断的系统性偏差。该协议通过固定被评估内容,测量属性强调或弱化下的分数变化,并使用岭回归学习修正系数。在 SummEval 摘要和 HANNA 故事评估中,PRISM 显著提升了与人类排序的一致性,其校准效果与基于评分标准的方法具有竞争力。
ProbabilityBench 是提供精确实例级类别概率的基准,涵盖同行评审、隐蔽信息传输和信贷风险三个模拟文本域。 该基准通过分析数据生成过程计算精确类概率和贝叶斯误差,保证自然语言备忘录严格保留生成概率,并通过 KL 散度直接衡量报告概率质量。
新基准LifeSearch包含203个真实任务,基于4,500小时人工标注构建4,000条细粒度评分标准。 评估12个深度研究Agent发现最佳者GPT-5.6 Sol仅得63.4%分数,且LLM评分与人类判断高度一致。 该基准为提升真实场景下的深度研究Agent能力提供了评估框架基础。
研究引入包含 4,046 个任务的 Tanawpamana Benchmark,用于评测视觉语言模型对菲律宾文化遗产遗址的识别与知识。 实验评估了 7 个视觉语言模型,发现模型在区分相似遗产的细粒度视觉判别上表现较弱,且基于图像输入推断的地理知识弱于文本输入。该工作为衡量模型在欠代表地区文化知识方面的能力提供了基准。
论文提出面向搜索智能体的跨源证据接地框架 CSEG 及基准 CSEG-Bench。 核心事实:针对现有方法忽视证据溯源独立性与冲突归因的问题,CSEG-Bench 包含 1,160 条真实检索文档池重写的轨迹。
研究提出 TiGanEval 基准测试,指出 LLM 智能体应将指令视为证据而非目标以推断真实需求。分析 SWE-chat 100 条轨迹发现,56% 的初始指令遗漏了必要需求,52% 的后续需求可从项目中推断。
提出评估端到端全双工口语大模型交互行为能力的基准 DuplexAct,含 4,691 个测试实例。 基准定义涵盖 8 种交互行为与 24 种交互条件的三级分类体系,并区分即时执行与后续跟进的评估指标。 该基准基于真实世界对话场景,旨在系统性评估模型在持续口语交互中的参与能力。
Sauron 提出一种证据优先的 Agentic 验证器,在 2,586 个人工标注标准上以更低成本实现最高 F1。 采用有界查询和联合调查机制,支持 GPT-5.6 Sol 时 F1 达 0.96,成本比基线低 23%。 在 13 类故障注入测试中检测出 97% 失败,TRAIL 基准三项质量指标均领先基线。
VisExMEM 提出了一种无参考多模态评估器,将字幕分解为原子声明并定位视觉证据,基于 Qwen3.5 训练 4B/9B 模型。 在 8 个基准测试中,VisExMEM-9B 综合得分高于 VQAScore 11.7 分,并接近 GPT-5.6 Sol。
RoTA-Bench 通过交互式 3D-2D 投影对齐任务评估视觉语言模型的空间推理能力。基准包含 674 个任务及 100 个分层测试集。 实验显示 GPT-5.6-Sol 成功率仅 17%,显著低于人类参与者。移除交互历史后,模型 96.8% 的操作停留在 30 度粗粒度步长。 研究揭示了将视觉证据转化为精确 3D 控制能力仍具挑战性。
PhysCodeGym 发布 156 项任务,涵盖刚体、液体、可变形及风驱动运动,用于评估编码智能体的物理可验证 4D 重建能力。 智能体通过编写运行 Blender 程序并利用模拟反馈进行迭代,结合规则化度量与评分标准制判断六个指标。 实验揭示推理努力设置下产物质量与完成度的权衡,反事实测试暴露出通过常规检查的重建中潜在的接触与支撑失效问题。
研究者构建RealityBench基准,利用Blender模拟11种非结构化物理工作环境,评估26个视觉语言模型。模型在文档记录上表现良好,但难以准确判断图像的可接受性(如证明工作的图片质量)。
研究在 NISQ 约束下对量子核 SVM 进行基准测试,发现其现实表现受限。 在 30 特征全量数据集上,经典模型 PR-AUC 达 0.983,但匹配量子硬件约束(500 样本、4 PCA 特征)后降至 0.750,而最佳量子结果(IQP 编码,150 样本)仅为 0.730。
研究人员提出 TrialPD-Bench 基准与 TrialScribe 代理框架,用于评估编码代理在临床试验方案数字化中的表现。 TrialPD-Bench 包含 150 份专家标注的方案 PDF,覆盖 4 类任务;TrialScribe 使本地部署的开源权重模型在 8 项指标上提升 6.2-59.4 分。 结果使该开源模型达到或超过 GPT-5.6-Sol 等专有模型的表现水平。
LegalRewardBench 是首个经人工验证的法律领域奖励模型评测基准,包含知识、理解等五个能力层级。 该基准通过评分规则自动评估结合人工验证构建偏好样本,覆盖通用模型与微调模型。 实验显示强通用生成模型作为法律奖励模型最稳健,而微调模型迁移可靠性较低。
AuthGateBench发布了1400个实例,涵盖5种源自Claude Code真实事故的失败模式。该基准采用LLM生成对比对的流水线,通过保持动作与轨迹相同但改变请求来翻转标签,以评估模型是否基于上下文而非单一动作进行推理。实验显示模型在明确授权时仍常阻止动作,决策不稳定;但回顾性检索的环境信号可显著提升授权准确率。
summary_zh: 研究使用 CALM 基准对 8 种 Typed Decision Models 和 7 种 2024 及 2026 年的 LLM 评委进行偏差测试。
TRAP 框架通过 ReplayBench 基准测试,利用受控的工具结果重放,系统评估 LLM 智能体中的工具结果错误绑定问题,在 8 个 LLM 和 3 个智能体框架下,跨任务重放的平均最终状态错误率为 0.649,且错误主要源于模型侧的动作生成。
针对 LLM 多智能体协作中“完美同事”假设的缺陷,研究者推出了 UnCoBench 基准。该基准将行为失败划分为偏离、不完整和缺失三种设定,要求主智能体验证上下文正确性并诊断信息缺口。 测试覆盖十个模型,结果显示即使在可靠设定下表现相似,模型在不可靠证据下的鲁棒性也存在差异。trace 分析表明,当前模型在纠正后续步骤、高效等待及减少冗余查询方面仍有不足。
PATTERN 基准中,无参数查找器在复用模式上达到 99.2% 准确率,远超最佳模型的 89.8%。 在新鲜模式测试中,CKGConv 和 GRIT 表现低于无模式预测器;加入新模式训练可使 CKGConv 准确率提升约 2 个百分点。 建议合成基准报告新鲜模板分数、生成器基线及指标加权方式,以揭示模型真实泛化能力。
SpecGuardBench包含13个仓库的291项任务,覆盖8种验证逻辑,用于评估编码智能体构建验证框架的能力。 结果显示4类智能体中无一能在63%以上的任务中构建忠实于规范的检查,主要瓶颈在于检查项往往镜像参考实现而非自然语言规范。
研究提出 ANCHOR 基准,用于评估仓储级编码智能体在修改范围、工作流顺序及工具使用等维度的工程约束遵循能力。该基准涵盖 8 个语言组、10 类约束及 358 个任务。 在 19 种智能体配置中,Claude Opus 4.8 结合 Cline 达到 70.1% 原子合规率。结果表明功能性成功与约束合规存在显著差异,失败主要集中于工作流排序及报告生成。
PatTransBench 是一个包含 12,000 条数据的专利机器翻译基准测试,支持中英/日/韩多语言双向评估。 数据通过 IPC 分层采样和双阈值质量门控构建,涵盖短文本与长文本对,并采用四维评估协议。 该基准计划公开,旨在支持可复现的专利机器翻译评估。
研究提出通用谜题解题基准 APB,要求模型通过多轮主动探测与推理,在 8 个学术领域识别 960 个目标概念。 评测发现反直觉现象:多数开源推理模型表现显著低于其标准指令模型版本。 该基准为生成可交互的领域知识推理评测提供了可扩展流水线。
SkillForgeBench 发布,包含 842 个沙箱任务,揭示 8 个主流智能体能力层级。 测试 8 个主流智能体,最高严格完成率为 40.9%,远低于单指标通过率。 技能引导显著提升效果,证明仅关注任务完成会高估真实可靠性。
MARL-BGs 是 JAX 原生异构对抗多智能体强化学习基准,模拟运行速度达每秒 50,000 个 5v5 游戏步。 提供 52 张手工地图、月度锦标赛及 LLM API,支持评估 Qwen3.5-9B。 填补了 SMAX 与 Dota 2 之间的性能空白,为研究提供高效算力支持。
提出 EvoCowork 基准,评估智能体在固定权重下处理 240 项办公任务的递归自改进能力,涵盖演示文稿、文档、表格及跨办公工作流。 最佳配置整体得分 42.25,跨办公任务得分 30.62;ACE 和 AHE 方法在同域提升 4.90 和 2.64 分,但跨办公任务仅变化 +0.03 和 -1.72 分。
研究团队推出 ASIWorld,一个结合持久世界状态与可观测性限制及异步编程接口的生存沙盒基准,用于测试智能体在长时交互中执行相互依赖任务的能力。 在探索性研究中,九种智能体配置使用统一测试框架运行,其中八种完成了生产任务,六种同时完成了生产与探索两项任务。 执行轨迹分析表明,准备不足会导致进度停滞,而成功完成任务的配置在生存成本和额外成就达成率上存在显著差异。
研究人员提出 TasteBench,一种包含视觉、品牌等四类项目的双样本对比基准,旨在区分真实的品味判断与测试作弊行为。 在 n=250 的试点测试中,发现始终选择位置 A 的策略得分为 0.956,且五个 VLM 模型在工艺领域均达到满分 1.0。 该基准指出位置偏差和文本泄露可通过工具修复,但工艺领域的难度天花板需在未来版本解决。
研究者发布 UDHRBench,包含 1,124 个人权对抗问题及 4,496 条来自 ChatGPT、Grok、Gemini 和 Fanar 的回答。专家标注显示模型通过理性推理出现非显性违规,Cohen's kappa 为 0.801。 提出的 LLM-as-a-Judge 框架零样本及少样本提示下加权 F1 达 89.8%。数据集、标注及代码将作为开源资源发布。
ACED-Bench 发布了一个神经符号基准,用于测试大语言模型智能体在科学场景中选择实验、解读有限证据并进行因果决策的能力。 ACED-CORE 包含 180 个任务(60 个因果关系问题与 120 个受约束因果决策任务),ACED-QUAL 含 150 个是/否资格检查;研究评估了 7 款当代 LLM 和 2 款早期模型在三种主动智能体设计下的表现。
该研究提出 PVFH-Bench 基准,用于系统评估视觉语言模型(LVLM)在前提诱导视觉固定幻觉(PVFH)上的表现。 PVFH 指模型被视觉上易混淆的证据锚定,接受错误文本前提并生成关于不存在但视觉上合理物体的回答。
LHTB 2.0 包含 77 个任务并覆盖 13 个领域,评估时间窗口从 90 分钟延长至 3 小时,每 30 分钟记录验证点。 在 15 个前沿模型的 1145 次运行测试中,GPT-6-astra 以 0.69 的平均密集奖励位居首位,GPT-5.6-sol 紧随其后得 0.67 分。 该基准显示仅关注最终结果的评估会忽略大量中间进展,为研究数小时级别的可靠智能体执行提供了过程感知的测试床。
大规模分析 220 个任务,发现多数智能体方案存在数据泄漏等失败模式,且数据泄漏与预测性能正相关。 定性对比 Kaggle 竞赛专家方案,显示数据科学智能体普遍缺乏问题解决创造力及领域知识。 文章主张将失败模式分析纳入评估体系,以推动可信智能体数据科学流水线的开发。
论文提出首个基于Levin Kt且以LLM为参考机器的C-test,用于评估超越当前人类和前沿模型的智能。 测试项目难度通过比特比率标尺估计,可生成高难度题目,十二个LLM的作答曲线显示其在超高难度区间的性能下降。
量子位智库《AI应用月报》9月榜单显示,商汤小浣熊在用户规模与访问增长等多维度表现亮眼。 产品连续两个月在Agent办公智能体月访问量增量榜居第2,Web端月独立访客数综合类套件保持第1,平均使用时长排名升至第1。 这反映了其全场景办公能力获得持续认可,帮助职场人更高效处理复杂任务。
针对 ChatGPT 模态与基准测试的研究发现,开启网络搜索可使模型准确率最高降低 8 个百分点,且重复测试中高达 21% 的提示词产生不一致回复。 研究分析了 401 个提示词与 4,812 次响应,对比了 Chat UI 与 API 在 BBQ 和 SafetyBench 上的表现,并发现不同模态的引用来源和拒绝回答行为存在差异。