3DCodeEdit:基于指令引导的 3D 程序编辑基准
发布 3DCodeEdit 基准,包含 108 个 Blender 程序和 2592 个指令引导的编辑任务。 17 个模型平均成功率仅 37%,即使最强模型结构编辑成功率也低于 60%。 研究证实分离评审模型的多轮反馈效果最优,可使 27B 模型单轮成功率超越 2.8T 模型。
发布 3DCodeEdit 基准,包含 108 个 Blender 程序和 2592 个指令引导的编辑任务。 17 个模型平均成功率仅 37%,即使最强模型结构编辑成功率也低于 60%。 研究证实分离评审模型的多轮反馈效果最优,可使 27B 模型单轮成功率超越 2.8T 模型。
PRISM-BENCH 基准涵盖 1000 个专家精选问题,感知探针显示前沿模型约 85% 的失败源于感知错误。 涵盖 25 个系统(含 GPT-5 和 Claude Opus 4.6),最佳准确率 66.0%,较人类基线低 18.4 分。 CORE 指标在效率感知下重新排序 24.2% 的模型对,且与响应长度无关。
研究者审计了51个涵盖219种语言的多语言基准,指出覆盖广但单薄,36%的语言仅被单一基准评估,且高资源语言评测任务数远超低资源语言。 56%的数据集通过翻译英语构建,导致文化代表性不足,且存在基准污染问题。 作者建议构建原生、文化扎根且抗污染的评价框架,以更好地服务语言社区。
研究提出评估测试时更新的Control Map框架,解决现有评估遗漏更新位置与时序问题。 实验表明,在760M参数模型上,24种调度方案导致19.7%-34.2%的准确率差异。CounterFact LoRA在六种设置下均成功学习,而ROME虽保留编辑却缺乏局部性。
CalArena 发布了覆盖近 2000 个实验的事后校准基准,涵盖表格和计算机视觉任务。 该基准聚合了经典模型、深度学习架构及基础模型的预测,并包含数十种校准方法的统一实现。 研究者提出以合理评分规则中的事后改进(PHI)替代传统校准误差估计器,并开源了数据与代码。
模型排名对评分规则高度敏感,严格匹配与跨模型评判下Spearman相关系数为-0.273且无显著性。 严格匹配准确率75.12%至89.66%,评判准确率87.19%至94.83%,综合制度下DeepSeek-R1-Distill-Llama-70B并列第一。 36.5%的条目无法区分模型,该基准揭示了单一准确率指标的局限性。
Benchmark Radar 是一个覆盖 LLM 评测、智能体工具使用、编码、推理、安全及领域特定评测的动态数据库与搜索引擎,旨在帮助研究者定位基准数据集、代码及分数背后的设置。
研究团队提出 SOMA 基准,包含 1,632 个经人工验证的问题,用于评估多模态大语言模型(MLLMs)在细粒度人体运动理解上的表现。 评测覆盖 37 个主流闭源、开源及专用 MLLMs。
发布UnityBench-Mini3D,包含77个Unity项目级任务,用于评估LLM智能体在3D游戏开发中的表现。 该基准使用1,178个人工编写的里程碑测试进行评估,覆盖场景结构、组件配置和运行时行为。 在21个模型和9个编码框架测试中,简单任务平均通过率为80.9%,困难任务为35.2%,总体为57.7%。
LiveSearch 是一个金融搜索实时基准,它将问题存储为对专业金融数据服务的可执行验证代码,在评估时动态确定正确答案。 该基准通过每日自动重新执行程序来避免答案过时,且构建过程仅由语言模型将工具响应转化为程序,不参与答案选择。 在通用网络搜索条件下,六款最新的工具调用模型回答准确率介于 70.9% 至 76.7% 之间,且在三天内 70% 的问题黄金值发生变化。
研究通过七变量结构因果模型分析思维链(CoT)忠实度评估中限制于正确回答实例产生的选择偏差,推导了观测差距公式。 对18篇论文进行协议审查,并在四个算术任务部署中验证了正向选择差距,其中 GLM-5.3 模型在1000个样本下显示出 +7.4 个百分点的差距。 当反事实依从性可观察时,直接评估所有推理轨迹可估算总体忠实度,无需进行正确性过滤。
提出 RubricAtlas 框架,基于 3,079 份中文金融研报构建类型级评分细则,覆盖 99 种研究类型。 实验显示单份报告仅覆盖半数分析问题,不同参考报告选择会改变评测分数与排名。 在 10 个智能体上,两条评审流水线达成 0.71 的检查点一致率和 0.87 的 Kendall τ 排名一致性。
InfraDev 基准由 36 个源自 Megatron-LM、vLLM 和 verl 的真实 PR 任务组成,用于评估代码智能体在分布式 AI 基础设施开发中的表现。 该基准联合生成隐藏探针和提示词进行评分,共享执行环境使存储减少 52-57%,构建时间减少 13-14%。 六个前沿模型中表现最好者仅解决 38.9% 的任务,探针拒绝了 32% 通过官方测试但错误的提交。
CogArena 发布,包含 10 个社科行为范式,Agent 通过标准浏览器完成实验。三级评分系统评估任务完成度、准确率及行为特征。 四项多模态模型测试表明,完成实验与复现特征并非必然同步,部分会话未完成或特征复现不稳定。CogArena 提供任务、代码及公开排行榜。
RiskCueBench 基准显示,在意图可恢复时,LLM 增加上下文特异性会导致拒绝率降低 0.175,全局安全评分降低 0.440。 该基准包含 160 个潜在意图和 640 个表面提示,覆盖 25 个模型组及 32,000 个输出,证实安全行为可能因表面形式而错配。 这促使评估方法在语义可恢复性条件下报告响应行为。
ChatGPT Images 2.5 发布后 51.1 小时内收集 3,478 张图片,构建发布期数据集用于评估 6 个冻结检测器。 在 5% 标记率下,各检测器标记率为 3.7% 至 56.4%,低于 GenImage 召回率 42-81 个百分点;保留艺术图误报率为 1.5% 至 96.5%。 数据集支持分析产品过渡期的模型使用情况,已公开发布。
研究提出 Zero-CoT Probe (ZCP) 黑盒检测法,通过截断 Chain-of-Thought 过程来揭示 LLM 中隐藏的规避性数据污染。 该方法将零 CoT 性能与同构扰动参考数据集对比,并引入 Contamination Confidence 指标量化污染的概率和严重程度。 在已识别及特别微调的污染模型上进行的实验证明,ZCP 能稳健地检测出直接和规避性的数据污染。
研究对 16 种检测方法的 23 个预训练变体在 12 个数据集上进行了零样本评估,发现最优检测器平均准确率为 75.0%,而最差者仅为 37.5%。 训练数据对齐导致同架构检测器性能差异达 20%-60%,Flux Dev、Firefly v4 和 Midjourney v7 等现代生成器使多数检测器准确率降至 18%-30%。
研究回顾评估了10个胸片AI分类模型在来自六国的12个数据集上的表现,主要结局为95%敏感度下的特异度。 MAVL和MedKLIP总体特异度最高(0.37),但PPV仅0.18-0.19;在机构队列中,多数模型特异度比公开基准低0.09-0.15。 这表明公开基准性能高估了模型在未见数据上的表现,部署前需进行外部验证。
研究提出三层复合效度模型,指出 Agentic AI 评估管线存在 V_total ≤ V1 × V2 × V3 的乘数级退化风险。 调查 55 篇文献发现 26 篇未报告机会校正的评分者间一致性指标,约 80% 样本的 IRR 指标与评分设计结构不匹配,且 V3 层目前在所有基准中均不可量化。
提出包含 4100 多个专家验证实例的 AstroVLBench 基准,评估 6 个前沿视觉语言模型在 5 类天文任务中的表现,发现性能强烈依赖模态,且与通用基准排名不相关。
SkillLifeBench 评估了 14 个模型在 388 个配对场景中的表现,涵盖实施、接口、运行时、组合及版本变更。生命周期任务允许智能体检查、选择和重新配置技能,同时完成可验证的用户请求。
summary_zh: V³AST-Bench 发布,包含 212 项风险任务和 18 个类别,通过专用运行时环境验证智能体造成的实际危害与结果。 基准包含 86,496 次试验和 90 多亿 token 交互,测试了 11 个模型和 5 种 harness 的 51 种组合。
研究构建了包含40个受保护技能的基准,发现8个科学智能体平台均存在技能泄露,其中4个平台在单次直接请求下攻击成功率达100%。 提出自进化红队代理SEEK,利用持久记忆整合响应证据。
summary_zh: 研究发布首个全面基准 SecPRBench,用于评估基于真实世界 bug-introducing commits 的 agentic security review。
LongSearchEval 框架通过轨迹感知评估 16 个大语言模型,收集 1,600 次运行记录,定位 6,545 个失败节点。 该框架在 100 个任务上验证答案组,人工验证显示答案标签一致性达 94.50%,特征对应精确率 98.11%。 该评估支持受控模型比较及回答相关内容的回溯检查。
Co-Design Bench 是一款包含 273 项任务的无参考基准,专门评测编码智能体将用户多模态需求转化为应用修改的能力。 该基准设有 ME 和 RE 两条赛道,涵盖 3 个能力维度,并采用 2,331 条隐藏专家验收标准进行“先裁决后反驳”的评分。 在十种模型端点中,最强者平均通过率 69.9%,但仅 26.4% 的任务被完全满足;多变更类型的仓库编辑完成率显著偏低。
ComFair 提出了一个可配置的多属性基准,生成 479,066 个双属性与多属性控制实例,旨在捕捉单一属性审计中不可见的交叉性伤害。 该基准在识别、选择、续写和对话任务中,将增强实例与任务等价源配对,以统一审计性能变化、新错误引入及模型排名稳定性。 在 10 个 LLM 上的实验表明,判别性任务即使总体变化微小也暴露敏感方向,生成性任务呈现更大且方向不对称的偏移,且模型排名随属性组合变化。
提出 SearchHorizonBench 基准,用于从执行经验中学习与评估 AI Agent 的搜索价值。基准包含 45,632 次执行和 3,168 个问题,历史校准可将 Brier 误差降低 16.2%。 搜索收益标准差为 21.4 个百分点,现有历史估计器仅能解释少于 2% 的点估计方差。在参考 token 价格下,自由选择观测比最佳常数动作带来 2.49 分效用机会。
InferPriv基准显示,LLM助手的推断隐私泄露率远超直接泄露率。在隐私感知系统提示下,GPT-6.1-Sol等模型直接泄露率近零,但推断泄露率仍达16.2%至25.2%。 仅评估显性泄露会严重低估大语言模型代理在处理日常任务时向第三方接收者泄露敏感用户信息的隐私风险。
研究者发布包含 28 种 AI 倾向性测量工具包,含专家撰引量规、合成数据集及标注需求区间。 这些合成数据集被设计为仅对单一倾向性敏感,支持快速原型化倾向性画像。该工具包有助于将 AI 行为研究置于熟悉的人类行为构念背景下理解。
清华大学团队提出 R2A-Sales 基准,揭示销售智能体静态合规率(89.9%-99.1%)与行动合规率(3.0%-17.3%)间存在 80.4-92.5 个百分点的差距。 该基准包含 2,016 对匹配样本,审计 19 个语义核心下的 21,888 次运行,覆盖 8 个主干模型及 Qwen3-8B 提示变体。 研究证明销售智能体可靠性需基于已提交行动而非规则复述来衡量。
研究人员提出基准评测 InfiniteWorld,通过系统化改变物理参数的模拟视频考察视觉语言模型的物理推理能力。 该基准包含五类任务及匹配输入设置,评估发现模型在地球常规问题中表现良好,但在观测物理规律改变时仍偏好使用熟悉规则,导致识别能力不足。
PACE是一个通过结构化研究循环支持应用数学猜想探索的证明智能体。 其核心Prover基于候选机制构建证明,并由独立Verifier对照原始目标校验。证据追踪内存区隔已验证前提与未决义务,支持任务上下文组合。 PACE在包含51个已知证明任务的ResearchProofBench上取得75.16分,完成20个证明。
提出一种将人类专家判断蒸馏至自动化评估系统的通用方法论,旨在构建具备独立性与问责机制的高stakes评估基础设施。 在AI新闻领域验证中,应用结构化编辑标准的自动评估者达到F1=0.81/0.97,显著优于未校准前沿模型,证明编码专家推理是提示词工程无法替代的关键步骤。
研究在 BIRD Mini-Dev 的 100 个文本转 SQL 案例中测试了三种提示条件,答案准确率分别为 20.0%、22.0% 和 24.0%,而执行完整性通过率为 39.0%、43.0% 和 40.0%。 研究定义正确答案无效追踪(CAIT)比率来衡量有效计算支持,结果分别为 55.0%、59.1% 和 45.8%,证明答案准确性与追踪有效性揭示了系统行为的不同侧面。
研究提出可扩展实验框架,通过“语义大海捞针”方法探测 LLM 对细微语义变化的敏感性,测试了 7 个模型在数万对文档上的表现。 框架揭示 LLM 存在独特的位置偏差,且模型对否定等扰动类型的惩罚尺度差异显著。 该框架为审计和比较当前及未来模型的评分行为提供了实用工具。
SATE-Bench 提出了一种包含316个真实场景和2525个多轮问答对的新基准,用于评估多模态大语言模型的视觉自我意识和主动视角探索能力。 该基准结合被动多视角控制和主动探索设置,模型从严重遮挡视角出发,需迭代查询相邻视角直至获得足够证据,并按步骤惩罚的效率奖励评分。
研究者发布 QFT-Bench 基准,包含 75 道高年级至研究级量子场论问题,涵盖核心子领域。 该基准通过符号验证与 LLM 裁判结合进行评估,测试了 39 个专有及开源模型。 前沿模型在复杂量子场论计算中表现优异,最高准确率超过 95%,但仍存在推理不忠实等缺陷。
非自回归评分裁判模型 RubriX 在留出测试集上达到 75.4% 精确准确率,优于 Jev 的 57.1% 和 Qwen3-8B 裁判的 49.8%。 该模型基于 LoRA 适配编码器,通过余弦相似度计算概率,无需文本生成。 在 3,000 tokens 场景下,RubriX 速度比 Jev 快 7.7 倍,比 Qwen3-8B 快 18.8 倍。