Tanawpamana:基于菲律宾文化遗产的视觉语言模型评测基准
研究引入包含 4,046 个任务的 Tanawpamana Benchmark,用于评测视觉语言模型对菲律宾文化遗产遗址的识别与知识。 实验评估了 7 个视觉语言模型,发现模型在区分相似遗产的细粒度视觉判别上表现较弱,且基于图像输入推断的地理知识弱于文本输入。该工作为衡量模型在欠代表地区文化知识方面的能力提供了基准。
研究引入包含 4,046 个任务的 Tanawpamana Benchmark,用于评测视觉语言模型对菲律宾文化遗产遗址的识别与知识。 实验评估了 7 个视觉语言模型,发现模型在区分相似遗产的细粒度视觉判别上表现较弱,且基于图像输入推断的地理知识弱于文本输入。该工作为衡量模型在欠代表地区文化知识方面的能力提供了基准。
论文提出面向搜索智能体的跨源证据接地框架 CSEG 及基准 CSEG-Bench。 核心事实:针对现有方法忽视证据溯源独立性与冲突归因的问题,CSEG-Bench 包含 1,160 条真实检索文档池重写的轨迹。
研究提出 TiGanEval 基准测试,指出 LLM 智能体应将指令视为证据而非目标以推断真实需求。分析 SWE-chat 100 条轨迹发现,56% 的初始指令遗漏了必要需求,52% 的后续需求可从项目中推断。
提出评估端到端全双工口语大模型交互行为能力的基准 DuplexAct,含 4,691 个测试实例。 基准定义涵盖 8 种交互行为与 24 种交互条件的三级分类体系,并区分即时执行与后续跟进的评估指标。 该基准基于真实世界对话场景,旨在系统性评估模型在持续口语交互中的参与能力。
Sauron 提出一种证据优先的 Agentic 验证器,在 2,586 个人工标注标准上以更低成本实现最高 F1。 采用有界查询和联合调查机制,支持 GPT-5.6 Sol 时 F1 达 0.96,成本比基线低 23%。 在 13 类故障注入测试中检测出 97% 失败,TRAIL 基准三项质量指标均领先基线。
VisExMEM 提出了一种无参考多模态评估器,将字幕分解为原子声明并定位视觉证据,基于 Qwen3.5 训练 4B/9B 模型。 在 8 个基准测试中,VisExMEM-9B 综合得分高于 VQAScore 11.7 分,并接近 GPT-5.6 Sol。
RoTA-Bench 通过交互式 3D-2D 投影对齐任务评估视觉语言模型的空间推理能力。基准包含 674 个任务及 100 个分层测试集。 实验显示 GPT-5.6-Sol 成功率仅 17%,显著低于人类参与者。移除交互历史后,模型 96.8% 的操作停留在 30 度粗粒度步长。 研究揭示了将视觉证据转化为精确 3D 控制能力仍具挑战性。
PhysCodeGym 发布 156 项任务,涵盖刚体、液体、可变形及风驱动运动,用于评估编码智能体的物理可验证 4D 重建能力。 智能体通过编写运行 Blender 程序并利用模拟反馈进行迭代,结合规则化度量与评分标准制判断六个指标。 实验揭示推理努力设置下产物质量与完成度的权衡,反事实测试暴露出通过常规检查的重建中潜在的接触与支撑失效问题。
研究者构建RealityBench基准,利用Blender模拟11种非结构化物理工作环境,评估26个视觉语言模型。模型在文档记录上表现良好,但难以准确判断图像的可接受性(如证明工作的图片质量)。
研究在 NISQ 约束下对量子核 SVM 进行基准测试,发现其现实表现受限。 在 30 特征全量数据集上,经典模型 PR-AUC 达 0.983,但匹配量子硬件约束(500 样本、4 PCA 特征)后降至 0.750,而最佳量子结果(IQP 编码,150 样本)仅为 0.730。
研究人员提出 TrialPD-Bench 基准与 TrialScribe 代理框架,用于评估编码代理在临床试验方案数字化中的表现。 TrialPD-Bench 包含 150 份专家标注的方案 PDF,覆盖 4 类任务;TrialScribe 使本地部署的开源权重模型在 8 项指标上提升 6.2-59.4 分。 结果使该开源模型达到或超过 GPT-5.6-Sol 等专有模型的表现水平。
LegalRewardBench 是首个经人工验证的法律领域奖励模型评测基准,包含知识、理解等五个能力层级。 该基准通过评分规则自动评估结合人工验证构建偏好样本,覆盖通用模型与微调模型。 实验显示强通用生成模型作为法律奖励模型最稳健,而微调模型迁移可靠性较低。
AuthGateBench发布了1400个实例,涵盖5种源自Claude Code真实事故的失败模式。该基准采用LLM生成对比对的流水线,通过保持动作与轨迹相同但改变请求来翻转标签,以评估模型是否基于上下文而非单一动作进行推理。实验显示模型在明确授权时仍常阻止动作,决策不稳定;但回顾性检索的环境信号可显著提升授权准确率。
summary_zh: 研究使用 CALM 基准对 8 种 Typed Decision Models 和 7 种 2024 及 2026 年的 LLM 评委进行偏差测试。
TRAP 框架通过 ReplayBench 基准测试,利用受控的工具结果重放,系统评估 LLM 智能体中的工具结果错误绑定问题,在 8 个 LLM 和 3 个智能体框架下,跨任务重放的平均最终状态错误率为 0.649,且错误主要源于模型侧的动作生成。
针对 LLM 多智能体协作中“完美同事”假设的缺陷,研究者推出了 UnCoBench 基准。该基准将行为失败划分为偏离、不完整和缺失三种设定,要求主智能体验证上下文正确性并诊断信息缺口。 测试覆盖十个模型,结果显示即使在可靠设定下表现相似,模型在不可靠证据下的鲁棒性也存在差异。trace 分析表明,当前模型在纠正后续步骤、高效等待及减少冗余查询方面仍有不足。
PATTERN 基准中,无参数查找器在复用模式上达到 99.2% 准确率,远超最佳模型的 89.8%。 在新鲜模式测试中,CKGConv 和 GRIT 表现低于无模式预测器;加入新模式训练可使 CKGConv 准确率提升约 2 个百分点。 建议合成基准报告新鲜模板分数、生成器基线及指标加权方式,以揭示模型真实泛化能力。
SpecGuardBench包含13个仓库的291项任务,覆盖8种验证逻辑,用于评估编码智能体构建验证框架的能力。 结果显示4类智能体中无一能在63%以上的任务中构建忠实于规范的检查,主要瓶颈在于检查项往往镜像参考实现而非自然语言规范。
研究提出 ANCHOR 基准,用于评估仓储级编码智能体在修改范围、工作流顺序及工具使用等维度的工程约束遵循能力。该基准涵盖 8 个语言组、10 类约束及 358 个任务。 在 19 种智能体配置中,Claude Opus 4.8 结合 Cline 达到 70.1% 原子合规率。结果表明功能性成功与约束合规存在显著差异,失败主要集中于工作流排序及报告生成。
PatTransBench 是一个包含 12,000 条数据的专利机器翻译基准测试,支持中英/日/韩多语言双向评估。 数据通过 IPC 分层采样和双阈值质量门控构建,涵盖短文本与长文本对,并采用四维评估协议。 该基准计划公开,旨在支持可复现的专利机器翻译评估。
研究提出通用谜题解题基准 APB,要求模型通过多轮主动探测与推理,在 8 个学术领域识别 960 个目标概念。 评测发现反直觉现象:多数开源推理模型表现显著低于其标准指令模型版本。 该基准为生成可交互的领域知识推理评测提供了可扩展流水线。
SkillForgeBench 发布,包含 842 个沙箱任务,揭示 8 个主流智能体能力层级。 测试 8 个主流智能体,最高严格完成率为 40.9%,远低于单指标通过率。 技能引导显著提升效果,证明仅关注任务完成会高估真实可靠性。
MARL-BGs 是 JAX 原生异构对抗多智能体强化学习基准,模拟运行速度达每秒 50,000 个 5v5 游戏步。 提供 52 张手工地图、月度锦标赛及 LLM API,支持评估 Qwen3.5-9B。 填补了 SMAX 与 Dota 2 之间的性能空白,为研究提供高效算力支持。
提出 EvoCowork 基准,评估智能体在固定权重下处理 240 项办公任务的递归自改进能力,涵盖演示文稿、文档、表格及跨办公工作流。 最佳配置整体得分 42.25,跨办公任务得分 30.62;ACE 和 AHE 方法在同域提升 4.90 和 2.64 分,但跨办公任务仅变化 +0.03 和 -1.72 分。
研究团队推出 ASIWorld,一个结合持久世界状态与可观测性限制及异步编程接口的生存沙盒基准,用于测试智能体在长时交互中执行相互依赖任务的能力。 在探索性研究中,九种智能体配置使用统一测试框架运行,其中八种完成了生产任务,六种同时完成了生产与探索两项任务。 执行轨迹分析表明,准备不足会导致进度停滞,而成功完成任务的配置在生存成本和额外成就达成率上存在显著差异。
研究人员提出 TasteBench,一种包含视觉、品牌等四类项目的双样本对比基准,旨在区分真实的品味判断与测试作弊行为。 在 n=250 的试点测试中,发现始终选择位置 A 的策略得分为 0.956,且五个 VLM 模型在工艺领域均达到满分 1.0。 该基准指出位置偏差和文本泄露可通过工具修复,但工艺领域的难度天花板需在未来版本解决。
研究者发布 UDHRBench,包含 1,124 个人权对抗问题及 4,496 条来自 ChatGPT、Grok、Gemini 和 Fanar 的回答。专家标注显示模型通过理性推理出现非显性违规,Cohen's kappa 为 0.801。 提出的 LLM-as-a-Judge 框架零样本及少样本提示下加权 F1 达 89.8%。数据集、标注及代码将作为开源资源发布。
ACED-Bench 发布了一个神经符号基准,用于测试大语言模型智能体在科学场景中选择实验、解读有限证据并进行因果决策的能力。 ACED-CORE 包含 180 个任务(60 个因果关系问题与 120 个受约束因果决策任务),ACED-QUAL 含 150 个是/否资格检查;研究评估了 7 款当代 LLM 和 2 款早期模型在三种主动智能体设计下的表现。
该研究提出 PVFH-Bench 基准,用于系统评估视觉语言模型(LVLM)在前提诱导视觉固定幻觉(PVFH)上的表现。 PVFH 指模型被视觉上易混淆的证据锚定,接受错误文本前提并生成关于不存在但视觉上合理物体的回答。
LHTB 2.0 包含 77 个任务并覆盖 13 个领域,评估时间窗口从 90 分钟延长至 3 小时,每 30 分钟记录验证点。 在 15 个前沿模型的 1145 次运行测试中,GPT-6-astra 以 0.69 的平均密集奖励位居首位,GPT-5.6-sol 紧随其后得 0.67 分。 该基准显示仅关注最终结果的评估会忽略大量中间进展,为研究数小时级别的可靠智能体执行提供了过程感知的测试床。
大规模分析 220 个任务,发现多数智能体方案存在数据泄漏等失败模式,且数据泄漏与预测性能正相关。 定性对比 Kaggle 竞赛专家方案,显示数据科学智能体普遍缺乏问题解决创造力及领域知识。 文章主张将失败模式分析纳入评估体系,以推动可信智能体数据科学流水线的开发。
论文提出首个基于Levin Kt且以LLM为参考机器的C-test,用于评估超越当前人类和前沿模型的智能。 测试项目难度通过比特比率标尺估计,可生成高难度题目,十二个LLM的作答曲线显示其在超高难度区间的性能下降。
基准测试高分并不代表日常使用顺畅,它们未捕捉到请求澄清、上下文记忆、处理杂乱输入及承认错误等真实体验。 尽管基准测试在比较模型进步方面仍有价值,但用户更关注系统完成任务时是否造成新问题等实际交互细节。
Parsimony 是一个开源基准,用于衡量 AI 模型在解决编码任务时添加的代码量。该方法基于 SWE-bench Verified 的补丁,通过统计语句、调用等代码单元而非行数来量化净代码增加量,并支持用户导入其他基准数据进行同类图表生成。
Google 在全球范围内上线 Gemini 4 Argon,该模型通过 AI Studio 和 Gemini 平台 API 开放,取代 Gemini Pro 成为新一代前沿系列。
推荐理由:文章梳理了该模型的全球开放路径及价格,并列出了多项自动化任务与安全防护的具体数据。
ToneBench 评测了 78 个模型在创意写作上的表现,用作者的语音指南、故事指南、10 篇真实脚本和 4 个盲审模型做评分,生成 Writing Score 和 Elo。
Max Planck Institute和Stanford团队发布nanoswe研究,基于nanochat架构使用Qwen Coder轨迹数据从零训练模型,仅$10算力即可实现0.53% pass@1,$60算力达到5.0%匹配Claude 2水平,$1000算力实现11.0% pass@1超过Claude 3 Haiku。
魔法原子旗下VLM Agent框架EchoPolicy-0在具身智能零样本评测基准MolmoSpaces中以75.4%的平均成功率位列Combined榜单全球第一,覆盖全部4项v1任务。
Meta Superintelligence Labs 发布第二代模型家族 Muse Wonder 和 Muse Wonder Full,定位为前沿智能体模型,其中 Full 版本仅限 Muse Code 订阅者使用。
推荐理由:文章汇总了 Muse Wonder 发布当天的第三方评测、定价策略及独立开发者反馈,便于快速评估该模型在推理效率与智能体任务上的实际表现。
Elorian和Scale AI发布了Humanity's Sixth Sense基准测试,包含522道关于图像和视频的推理题。GPT-6 Astra以53.6%的通过率领先,远低于93.1%的人类基线。