norregel: 挪威法律中带日期数值的预注册基准测试
norregel 构建了一个包含 916 项的挪威法律数值基准,用于测试模型在特定日期回答数值(如金额、百分比)的能力。 该基准通过两次预注册运行评估了多个模型,其中 Opus 5.5 和 Sonnet 4.6 在主要项目上的正确率分别为 46.7% 和 40.2%。
norregel 构建了一个包含 916 项的挪威法律数值基准,用于测试模型在特定日期回答数值(如金额、百分比)的能力。 该基准通过两次预注册运行评估了多个模型,其中 Opus 5.5 和 Sonnet 4.6 在主要项目上的正确率分别为 46.7% 和 40.2%。
AlignGemini 通过正交监督解耦(Align, Don't Blend)解决 AIGI 检测泛化难题,在五个真实场景中提升 9.5%。 该方法让 VLM 仅接收语义监督,视觉专家仅接收伪影监督,无需复杂训练策略即可基于两个生成器实现跨生成器泛化。 研究同时引入覆盖八个当代生成器的诊断基准 AIGI-Now,以支持细粒度的检测能力评估。
DFAH-Bench通过重放实验和银行任务测试,揭示金融智能体决策一致性无法建立可靠性。在570个重放片段中,决策一致率为94-95%,但工具路径一致率仅为45-52%。评估需结合具体执行动作、证据规则及任务完成度,以识别系统性遗漏。
研究人员提出 Rule Violation Score (RVS),一种独立于预测精度的互补性评估指标,用于量化预测模型对预设逻辑规则或领域特定约束的遵守程度。
研究者发布 Quant-Arena,这是首个针对A股真实数据端到端量化研究的大语言模型基准与公开榜单,评测了包括 GPT-6 Astra 在内的9个前沿模型。 该基准包含基于订单簿的交易成本,以超额收益为核心评分;结果显示 GPT-6 Astra 得分最高,但所有模型均未跑赢等权市场。
在 LIBERO-10 机器人操作基准测试中,研究人员构建了统一的闭环操作框架,评估了 6 款前沿 AI 模型在未进行任务特定微调的情况下直接控制机器人的能力。
研究团队发布了FrontierCS 2,这是一个包含48个开放性任务的评测基准,用于评估LLM Agent在计算机科学与研发中的贡献能力。该基准要求Agent在现有研究代码仓库中提交补丁,最终通过保留的测试集进行评估,任务涵盖机器学习系统、高性能计算、数据库、安全与机器人等13个领域。
研究指出基准测试隐含了对难度的经验测度,并定义了测度不匹配和覆盖缺口两种失败模式。 在7个领域、25个基准上的实证分析显示,许多基准隐式地过度加权了特定的难度区间,且存在大量未覆盖区域。 该研究提出了BenchFill算法,通过重写题目有效减少局部覆盖缺口,为基准评估提供了诊断手段。
VerifierBench 基准测试显示,19 个模型在生成可执行验证器时归一化平衡准确率介于 10.6 至 62.1 之间。该基准包含 222 个任务及 4,993 个隐藏测试用例,验证器更可靠地拒绝无效解,但常因过度限制导致有效解被拒。
TIDE 提出将诊断评估重构为行为驱动的决策树归纳,通过层级能力树实现细粒度能力诊断。 该方法利用 LLM 裁判提出候选分裂,并基于行为信息增益选择最优分裂,在五个模型和四个基准测试中揭示了聚合分数无法识别的能力差异,例如 Claude Opus 4.6 在微观经济市场推理中达到 100% 而 GPT-5.4 为 83.3%。
提出 UserSWE 基准以评估编码智能体在多轮对话中修复仓库级 Bug 的能力,涵盖 42 个仓库的 72 项任务。 测试基于 20,859 个开发会话校准的 persona chain,每轮执行测试并由双智能体判定结果。 评估显示 Claude Fable 5.1 在单轮解决任务最多,GPT-6-Astra 在八轮时表现最佳,证明单轮性能无法充分表征交互能力。
研究者构建了 REPOCOD 基准,包含 11 个真实项目中的 980 个 Python 全函数生成任务,其中 50.8% 需要仓库级上下文。 该基准配备 314 个开发者编写的测试用例,评估发现 10 个大语言模型均未超过 30% 的 pass@1,且检索增强生成优于依赖上下文。 这表明当前模型在真实软件开发场景中表现有限,需构建更强 LLM 辅助开发者。
研究团队发布 SciFigBench 基准,旨在评估视觉语言模型(VLMs)对复杂科学方法图表的理解能力。该基准包含 4,352 张图表和 40,670 个 QA 对,核心考察密集内容感知、视觉关系理解及信息流追踪。
RealControlBench 发布,评估 LLM 及智能体在五种行为维度上的细粒度转向效果。 该基准扩展至多轮执行交互,共同评估目标可控性与能力保留,考察转向效应对提示、领域及架构的鲁棒性。 现有转向方法在真实控制目标中不可靠,常导致模型基础任务性能显著下降。
CultureLens 基准测试发现,当提示中提供矛盾规范时,Llama-3.1-8B 等大语言模型的对齐回答准确率下降 32 至 47 个百分点。 模型在缺少国家信息时默认使用英语文化规范,且倾向于接受陈述的规范而非判断其真实性。通过有监督微调矛盾规范示例,对齐准确率可提升至 85 至 93%。
研究通过 70 个学术提示词对比了 ChatGPT、DeepSeek V3 等 10 款大语言模型在幻觉与响应偏差上的表现。 Perplexity 和 DeepSeek V3 整体准确率最高,LLaMA 3 幻觉抗性较强,Falcon 实现零幻觉但召回率最低。 结果揭示了响应完整性与事实可靠性之间的根本权衡,且受提示词复杂度显著影响。
研究提出包含 108 个真实表格的基准数据集 STRABLE,评估了 445 条处理字符串与数字表格的数据流水线。 实验发现:对于类别主导的表格,结合简单字符串嵌入的专用表格学习器能以低计算成本获得良好预测;在自由文本主导的表格上,大型 LLM 编码器表现出竞争力,且性能受后处理影响。 STRABLE 为研究“字符串表格”学习提供了基础,其通用可泛化的流水线排名接近预言排名。
针对最广泛使用的 LLM 反编译器评测基准 ExeBench 的保真度缺陷,研究者发布兼容修订版 ExeBench-FHD。该版本新增调用处汇编、数据段等 16 个新字段以修复测试有效性问题。
NVIDIA 发布预训练关系型基础模型 Kumo Relational,支持直接在企业数据库上通过单次前向传播完成预测,无需任务级训练或特征工程。该模型在 15 个关系型数据库的 41 项任务上超过监督式关系深度学习模型和专家构建的梯度提升树管线;在 SAP SALT 基准上比 AutoGluon 集成模型的 MRR 高出 8%。
推荐理由:Kumo Relational 作为无需训练的预训练关系型基础模型,给出了 41 项任务上的具体性能数据,可作为替换生产级特征工程管线的参照。
Qwen-Audio-3.1-Realtime 发布,实现“边听、边想、边说、边动”的全双工实时语音交互,支持并行工具调用与异步任务执行。在 Audio MultiChallenge 评测中达到 52.21% 通过率,在 Full-Duplex-Bench v1.5 中用户打断响应率 84.5%,表现优于 GPT-Realtime-2。
推荐理由:原文给出了全双工交互架构和多模态后训练方法,读者可以据此了解实时语音Agent的技术实现路径。
研究团队提出基准 BreakingWeb,包含 519 个任务对,通过受控干预使 6 个浏览器代理平均通过率下降 22.9 个百分点。 这些干预改变网站内容、服务器状态或网络响应,而人类用户首试通过率仅下降 10.0 个百分点。 75% 的代理失败源于信念错误,即代理在未完成必要更改时宣告任务结束。
Agents-as-Peers 提出多智能体互评协议,在 12 个 LLM 和 420 道题目中收集 55,440 个非自我互评判断。 实验发现自我评分普遍高于互评分数,且首位答案获得额外 0.39 分优势;互评分数与 TruthfulQA 准确率相关达 r=0.904。 该协议支持将排名与测量出的偏差及评分者效应一同报告。
该研究提出 Code2Video-Compass 基准,包含 2,104 个任务,覆盖 T2V、I2V 及 V2V 设置,用于评估代码生成视频。 其双层级评估框架结合 12 项客观指标与 5 项主观指标,测试了来自 9 个系列的 15 个 MLLM。 结果显示,随着构建、动态动画及状态依赖复杂度增加,领先模型在生成高质量视频时表现普遍下降。
研究团队提出轻量级框架 AnomalyJev,通过从图像异常检测解释中提取声明并与真值验证,评估多模态大语言模型生成的文本解释,无需生成 token。 该框架利用基于指针的头部处理上下文化表示,构建了包含 640 个人工标注解释及超过 1600 个专家评级的测试集,显著提升了与人类标注者的一致性。
LoWAgent 发布,用于评估 Web Agent 在印地语等 4 种低资源语言下的表现,包含 6 个本地化网站。 基准测试生成 3000 个任务实例,评测 8 个模型(3 个闭源、5 个开源)。结果显示低资源语言下模型性能下降,且界面干扰会进一步降低表现。
研究者推出包含48项任务、40,033个条目的DecisionPivot诊断基准,用于评估LLM系统决策模型在受控变化下的可靠性。 基准涵盖13个生成任务家族的7,800个核心条目及32,233个参考条目,在2,400个二元对比对中,Perplexity Decider正确排序率达92.3%但仅74.1%能同时答对两者。
论文提出基准测试 MMEnterprise-Bench,包含 1,613 个基于模拟协作项目中演进多模态记录的问题。 评测涵盖证据推理、冲突解决和不可回答性三类任务,测试了 10 个专有及开源多模态 LLM。 结果显示最强模型在跨源或时间冲突证据面前仍表现挣扎,增加检索预算或未显著提高答案准确率。
针对 LLM 智能体在电商多步交互中因静默工具错误导致的决策偏差问题,研究团队推出 RITE 基准。 该基准包含 9 个电商工作流和 167 个匹配单元,生成 501 个静默错误、正确值及显式失败实例,并采用语义错误分类法注入错误以冻结工具行为。
研究者推出 ReuF2F,这是一个包含 244 个来自 REU 项目的形式化开放数学问题的 Lean 4 基准。 该基准采用 Docker 容器放置题目及逻辑否定项,并构建了基于 mini-SWE-agent 的 Leanimum-agent 评估框架。 评测显示最佳模型解决率仅约 40%,表明形式化开放研究问题仍存在显著改进空间。
MAMath-Bench 是一个包含 1003 道题目、涵盖 11 个数学类别及文本/图像/音频多模态的过程感知基准。 该基准通过细粒度里程碑标注,评估多智能体系统在解题正确性、推理过程可靠性及对抗性扰动鲁棒性三个维度的表现。 研究发现,多智能体协作不总能提升最终答案准确性,且现有系统对细微结构扰动的对抗性推理错误仍显脆弱。
Terminal X 的 Eval Agent 配合 GPT-6.1 Sol,在捕捉偏离基金指令的行为方面提升了 25%,并以 88.6% 的准确率匹配资深投资者的判断。 该智能体基于包含 54 项标准的评分细则对输出结果进行分级评估。
Ai2 发布 FairStress,一个用于测量 LLM 在影响人们机会、资源和医疗的高风险决策中人口公平性的基准。FairStress 包含 300 个真实场景,通过引入对抗性前缀,不仅测量最终选择,还评估模型在面对劝说时改变决策的稳定性。
推荐理由:揭示了传统人口公平基准隐藏的反刻板印象过度纠偏现象,并给出了对抗性前缀下的稳健性评估框架。
ALTK-Evolve 通过让 GPT-4.1 从自身在 τ²-bench 上的运行轨迹中自动提炼行为指南(如先验证身份、一步只做一个动作等)并附加到系统提示词,无需更新模型权重,即可让 GPT-4.1 在 τ²-bench 零售域的 Pass^4 指标达到 67.5%,超越榜单快照中所有其他零售条目(包括微调模型 RAFT-30B-A3B)。
推荐理由:用GPT-4.1从自身运行轨迹提炼规则并加入提示词,在无需微调权重的情况下显著提升客服智能体的准确率与可靠性,提供了一种可迁移的智能体增强方法。
阿里云连续4年入选Gartner 2026容器管理魔力象限领导者,是亚太地区唯一获此殊荣的科技公司。 在关键能力报告中,阿里云在六大场景中有四项位居前二。容器服务ACK单集群支持10万节点,通过拓扑感知优化提升推理吞吐40%以上,Qwen3 235B模型切换时间从13分钟缩短至3秒。
专家对六个物理基准的重新评分发现,多数原判错误实为参考解或题目缺陷。GPT-5.6-Sol在HLE-Physics的mean@4从47.3%升至78.7%,在CMT-Benchmark从61.0%升至87.2%。 现有基准严重低估了前沿模型解决明确物理问题的能力,凸显了构建更严苛专家验证评估的紧迫性。
InfraBench 发布 12 项种子任务基准,18 种智能体模型配置在 3 次尝试中平均有效得分介于 45.5% 至 89.2% 之间,最强配置 77.8% 完全通过。 生命周期检查通过率显示功能修复达 91.5%,但持久性降至 80.9%,清理仅为 38.9%,表明即时恢复并非完整运维能力指标。该基准及评测框架已开源,计划扩展至 40-60 项任务。
研究通过 18,000 次模拟实验表明,标准 IRT 估计器在大型 AI 基准测试中常面临计算不可行性或结果不可靠的挑战。实验对比了 4 种估计器,并基于 6 个广泛使用的 LLM 基准测试数据,系统评估了其在模型排名和性能预测上的差异。 该研究发表于 NeurIPS 2026 评测与数据集赛道,指出了潜在特质模型在支持或扭曲 AI 基准测试结论时的边界条件。
该论文主张标准化题目级基准数据应成为 AI 评测的基础设施。团队构建了 OpenEval,包含 10.7M+ 条模型响应和 160K+ 个题目,为社区提供统一 schema 的资源库。这一规范增强了评测的透明度、可复现性和可审计性。
研究推出包含43项企业级任务的PACE基准测试,以评估编码智能体执行产品需求文档(PRD)的能力。11种模型配置中,GPT-5.6-Sol完全交付率最高,达14.0%。 测试结果显示模型在实现完整性和集成方面存在瓶颈。同一模型的多次运行在评估一致性上优于专家共识,准确率95.2%。
CaFE 提出可刷新评估扩展,为静态基准增加结构多样性。基于 GIFT-Eval 和 FEV-Mini20 实验,该框架通过定义 8 种结构特征并重新采样数据,生成多维度能力画像。 在真实数据过滤下,CaFE 选出的模型优于聚合榜单选择。这使得模型选择能够针对特定的结构响应需求,克服了单一分数掩盖性能短板的局限。