LLM 评审在记录缺失下实际校验什么?文档时效性的匹配对照与缺口
研究显示,当参考记录存在链接缺失故障时,大模型 LLM 评审仅依赖文本捕获率显著高于依赖记录,Gemini 3.1 Pro 达 23/24,而记录可用时仅 1/24。
研究显示,当参考记录存在链接缺失故障时,大模型 LLM 评审仅依赖文本捕获率显著高于依赖记录,Gemini 3.1 Pro 达 23/24,而记录可用时仅 1/24。
14 个系统一决策模型中,5 个在配对和 best-of-4 基准上的表现与 GPT-5.6(无推理模式)统计上无显著差异。
OpenAI 推出 LifeVal,这是一个用于衡量 AI 如何帮助人们完成日常事务(如寻找托幼服务、管理财务及政府文书)的基准。
研究提出包含 240 道问题的 BILAL-BENCH 基准,评估 7 个参数量 1B 至 120B 的开源模型在孟加拉语伊斯兰经典来源虚构上的表现。 结果显示 6 个模型在 79.3% 至 95.3% 的来源生成问题上自信虚构,且未见随规模提升的单调改进,圣训来源追溯错误率最高。
审计显示,现有 LLM 智能体劫持检测器在 2% 攻击率下精度仅 0.076,且跨基准迁移性能接近随机水平。 未见过的新工具会导致检测排名在 50% 覆盖率下逆转,且 AgentDrift 到 AgentDojo 的跨基准 AUROC 仅 0.47 至 0.52。 研究团队基于这些发现制定了评估痕迹检测器的新检查清单。
CogBattery 评估了 54 个开源语言模型在 13 项认知范式文本改编中的表现,并与源研究的人类数据进行对比。结果显示,模型虽能复现人类效应方向,但在非目标误报、置信度区分及固定下注偏好上表现远劣于人类,且这些模式跨越多个模型家族。研究指出,匹配人类效应方向不足以确立类人行为,大规模模型也未一致地更接近人类表现。
现有互信息估计基准多局限于低维简化分布,难以评估复杂真实数据下的性能。研究提出基于 Copula 理论的基准框架,涵盖合成流变换与真实图像依赖结构,评估非参数、变分及生成式估计器。 结果显示不存在通用最优估计器,不同类别在特定场景下表现各异。通过识别基本估计壁垒并提出新测试,该基准更有效地揭示了现有方法的局限。
BeyondArena 支持 IID、时序和分组任务,覆盖多特征类型与学科,是首个统一的表格数据综合基准。 基于 142 个策划数据集和 11 个模型的评估显示,当前开源表格基础模型在 10 万行以下数据集中具有竞争力,而传统树模型和深度学习模型在分组或大规模数据上仍占主导。 该基准引导模型研究聚焦于表格数据领域最具挑战性的场景。
Speech-DRAME 提出语音角色扮演评估框架,包含双语人工标注基准 Speech-DRAME-EvalBench 及微调评估器 DRAME-Eval。 基准支持原型评估与现实感评估,在合成数据上 DRAME-Eval 的皮尔逊相关系数分别达 0.629 和 0.602,显著优于零样本评测。 在真实语音测试中相关系数仅为 -0.142,揭示合成到真实数据存在显著迁移差距。
研究者提出 WeGenEditBench 基准与 WeGenEvoStudio 框架,用于评测图像编辑并驱动模型递归自我改进。WeGenEditBench 包含 2,740 个实例和 148 种任务类型,通过原子级要求分解与项级扣分实现可解释评估。
summary_zh: SERIAL-7 发布首个韩英双语文档,基于 177 个规范工件构建跨 7 种表示的可执行验证框架,旨在解决结构化输出的语义正确性与执行可靠性脱节问题。
研究提出 SHAKTI 印地语基准和 TRIDENT 往返翻译检测框架,覆盖四个文类、八种 LLM 及多种提示策略,并通过人类标注验证质量。TRIDENT 包含 S、D、C 三种变体,利用原文与往返翻译间的语义一致性识别 AI 生成文本,其中 TRIDENT-S 在实验中表现最佳,且经七种语言、对抗设置及未知 LLM 测试验证其多语言鲁棒性。
FrontierMat 发布 330 道材料研发前沿问题,最强通用模型得分仅 53.7%。 问题涵盖航空航天、半导体等领域,130 题需跨尺度推理,跨尺度题平均低 8.7 分。 通过领域适配,开源模型分数从 36.7% 提升至 55.4%。
BABA-Bench 发布,包含 47 个交互世界,用于评估 14 个前沿大模型在患者倡导场景中的能力。 基准共进行 1,974 次运行,发现 28% 达成结果的路径无效;提供验证路径后,模型通过率显著提升至 91.5% 和 97.2%。
基准 ReplayRCA 引入“因果修复”评分机制,让模型修复智能体失败。最优模型 Grok 4.7 在 62 个案例中取得 +51.3 分。 在 87 次实时监督运行中,GPT-6.1 Sol 表现最差(-14.5 分),证明事后诊断能力并非实时监督的好代理指标。 环境及评测代码已公开,支持多模态任务。
该研究引入 ScAn-Bench-LLM 和 ScAn-Bench-VLM,旨在填补缺乏系统性评估不同模型类型缩放分析方法的空白。 基准基于 4524 个 LLM 和 8024 个 VLM 检查点构建,首次系统评估了数据获取与外推方法。
DualGauge 提出首个全自动框架,联合评估规格驱动代码生成的正确性与安全性。其配套 DualGauge-Bench 包含 307 个任务,测试 10 种 LLM 和 3 个编码智能体。
NovGauge 提出了一个包含 619 个论文对的人类锚定基准,用于诊断 LLM 在论文新颖性评估中的细粒度表现,涵盖任务、问题和方法三个维度。 评估显示 18 种 LLM 的幻觉率介于 0% 至 39% 之间,且超过 70% 的正确阳性判断证据无法逻辑支撑其理由;表现最佳的 GPT-5.5 各维度 Verified F1 为 43-72%。
研究人员发布 DiG-bench 基准,用于评估 AI 智能体在未知目标环境下通过实验发现新知识的能力。 该基准包含 70 个独立游戏,分为 7 个难度层级,其中 21 个游戏公开,其余保留用于安全评估。
研究发现视觉语言模型在 3D 推理中难以一致利用物体属性,新基准 BedBench 显示其在按颜色计数任务上准确率仅 7.2%,而人类达到 93.3%。 针对微调模型 3.0% 至 68.6% 的准确率提升仍伴随内部不一致,探测 Qwen3.5-27B 表明精确计数可恢复但极少被采纳。 文章建议评估 3D 推理需关注精确正确性、一致使用性及图像依赖性,代码和数据集已公开。
研究者提出 RetroChessBench,这是一项包含 12 个任务的基准,用于测试前沿大模型在逆向棋局重构中的推理能力。 在两项试验中,GPT 6 Astra High 在 24 次尝试里失败 22 次(无工具),使用代码执行则失败 18 次,平均终端 RL 奖励分别为 14.75% 和 27.19%。
TrussTutor-Bench 基准包含 200 道二维桁架问题,用于评估 13 个 LLM 的解题准确性、谄媚性与错误检测能力。 基线解题准确率在 64.5% 至 97.0% 之间,所有模型在合成作业中检测错误率达到 90.4% 至 100%;当学生质疑正确解答时,模型接受率从 1.6% 变至 50.0%。 结果表明模型在技术可靠性上差异显著,该基准确立了判断哪些模型足以面向学生使用的标准。
Snyk VulnBench 2.0 评估了九种产品化配置在 108 个人工精选漏洞上的表现,其中 Snyk Code 达到 82.4% 的宏观召回率,Claude Code 使用 Opus 5 模型达到 79.3%。
summary_zh: 研究团队发布 SpaceAct 基准,通过闭环物理行动评估多模态大语言模型在 3D 空间中的时空推理能力。该基准包含 108 个验证实例和 36 个任务族,去除了特权坐标。
The Prestige 提出通过专业魔术表演评测认知视觉推理的视频理解基准,测试模型对意外结果事件的跟踪与解释能力。该基准包含从时序因果理解到对抗性问题鲁棒性的开放问答题,评估显示最强视觉语言模型与人类表现存在显著差距。研究还发现自动化评分与人类评分存在系统性偏差,且模型在多选题正确但独立解释失败的情况下依然存在,凸显了视频理解评测的局限。
FVH-Bench 包含 5 种有害视觉功能和 10 个风险领域的 669 个提示词。 评测 11 个图像生成器,发现它们很少拒绝请求,且生成的图像能有效满足有害功能,现有安全检测器对此覆盖有限。 这表明图像生成器安全对齐评估需同时考虑图像所描绘的内容及其可能启用的功能。
EnvOS 框架通过现象级任务构建与证据化评估,解决大语言模型智能体在软件状态变更时的测试归因难题。 框架在运行前验证变更触发、任务可解性及评分准确性,运行后基于归档证据重审判定。测试显示 Claude Opus 5 在展示更新值时成功率从 0/16 升至 15/16,显著优于仅提醒重查的结果。
针对LLM智能体本地搜索评估覆盖度不足的问题,推出ATLAS-Bench基准与ATLASBox评测环境。 ATLAS-Bench包含3个区域扩展的1,200条查询,区分强制要求与偏好;ATLASBox提供固定POI知识库及搜索工具。 在11个模型的14种配置评估中,GPT-6-Luna约束满足率达71.5%,GLM-5.3可行查询推荐率85.3%。
该研究提出 SocialArena 基准,通过三层框架定义社交智能,涵盖角色扮演、心理状态及行为推理能力。 采用 U-TRIMF 框架合成多样化社会情境,投入 13.24 万美元标注数据并实施人类竞技场协议。 旨在为 LLM 在心理健康、陪伴等交互式应用中的改进提供可靠洞察。
研究者提出 DecompGym 基准,包含 81 个实例,用于评估 12 款 GPT、Claude 和 Gemini 模型在编码智能体环境中设计 Benders 分解和列生成算法的能力。 评估要求求解器在 60 秒内运行且目标值误差小于 1%,结果发现反思机制可将重试成功率从 39% 提升至 66%,表明智能体需要过程检查与错误定位反馈。
该研究提出 SkillCT 基准,通过静态、动态及人工辅助评估的九个维度全面刻画智能体技能质量。 针对现有基准依赖特定工具与重复执行的问题,论文构建了一种免执行质量评估基线,通过检索相似参考技能来预测未知技能的质量画像。 这种方法在保持评估一致性的同时显著降低了 token 消耗与评估时间,并证明了其用于技能优化与仓库维护的价值。
CLadder 生成的数据集嵌入表面模式,导致随机森林等简单模型也能取得良好表现。 商用 LLM 在 CLadder 测试中表现极度脆弱,移除关键因果推理文本后性能几乎不受影响,结果主要归因于对训练数据中表面模式的利用。 任何关于 LLM 具备复杂因果推理能力的推断,都必须首先排除这一假设。
研究人员提出Seq@K评估协议,用于衡量模型在K次顺序尝试中利用反馈迭代解决问题的能力。 该协议在7个基准测试和16个前沿模型上验证,揭示模型排名常与Pass@K指标不同。 分析显示,反馈循环的设计对模型迭代精炼行为有显著影响,需纳入智能体系统评估体系。
MER-Bench 发布,这是首个针对图像-文本表情包多模态情感重评(MER)的系统性基准,已被 EMNLP 2026 接收。 该基准包含 3000+ 真实表情包及细粒度标注,配套 8 项细粒度指标的 MLLM-as-a-Judge 评测套件。
研究团队提出ECG-Reasoning-Benchmark,包含超6400个样本,用于评估多模态大语言模型(MLLMs)在17种核心心电图诊断中的逐步推理能力。
DoseBench 基准测试了 8 个 LLM 回答 230 个对乙酰氨基酚和布洛芬剂量问题的表现,整体准确率介于 44.8% 至 62.2% 之间。 模型错误批准了 14.0% 至 60.5% 的禁止剂量,且增加指引或药物事实虽能调整谨慎度或提升准确率,但无法轻易解决忽略缺失信息等根本缺陷。
提出“前缀可执行性”协议以评估工具使用智能体轨迹,定义前缀可执行性曲线(PEC)等指标。 在 BFCL-v3 和 ToolSandbox 等基准测试中发现,仅关注最终成功率会掩盖轨迹执行缺陷,显式的预执行计划检查能改善可执行前缀存活率。 该协议为诊断智能体失败和评估验证机制提供可操作的可靠性信号。
研究测试参考重叠指标能否恢复密集视频描述的人类判断,结果证实这些指标未能做到。 六款前沿模型生成的字幕在BLEU-4达到0.510 AUC时仍不可区分优劣。 审稿人对完整片段的接受率(54.1-72.7%)远高于窗口级别,揭示模型评估应记录错误类型。
研究测试12个语言模型在4860次调用中对已知机械极限的计算与拒绝能力,发现模型在询问可行性时能识别不可能的工程设计,但在要求完整答案时可能错误报告“solved”。 Opus 5 和 Gemini 3.8 Flash 在仅询问可行性时拒绝了所有不可能的新设计,无假警报;重述拒绝时机或改变回答格式提升了原始梁的拒绝率,但在新设计上效果不一致。
研究对比了13个决策模型与15种生成式LLM配置,在1,273道MedQA四选一题目中测试表现。 决策模型准确率在67.71%至89.08%之间,生成式配置达78.32%至96.86%;Mercury Decide单次成本最低(每千题0.0069美元),Clef Omni中位请求时长最短(0.291秒)。 决策模型在资源效率上占优但峰值准确率较低,模型选择需综合考量概率质量、重复性及纠错资源需求。