本地智能体执行框架(Harness)跨模型规模杠杆效应:从 0.75B 到 4.7B 的五级阶梯
研究通过五级本地 Agent 执行框架测试 0.75B 至 4.7B 模型及 35.5B 锚点,Mingbird 框架在所有规模下平均完成率最高。 该框架包含 18 项任务与确定性评分器,两项预设对比在 0.75B 和 4.7B 节点通过 Holm 校正,执行检查门的调整对结果影响有限。
研究通过五级本地 Agent 执行框架测试 0.75B 至 4.7B 模型及 35.5B 锚点,Mingbird 框架在所有规模下平均完成率最高。 该框架包含 18 项任务与确定性评分器,两项预设对比在 0.75B 和 4.7B 节点通过 Holm 校正,执行检查门的调整对结果影响有限。
基准数据污染正以前所未有的尖锐形式出现。过去一个月,基准数据泄露已从后训练扩展到预训练。针对四个公开基础模型,研究通过20项基准的少样本续写发现,部分模型会输出未出现在输入中的其他完整测试题及选项。
CAE-Bench 发布,用于评测 AI 智能体在计算机辅助工程(CAE)求解器开发中的泛化能力,共测试 12 个模型在 80 个计算任务上的表现。 该基准通过固定任务下的多个案例,要求 AI 智能体基于公开案例开发求解器,并在未见过的新案例上检验其通用性。
InclusionMed 推出开源医疗 AI 评估框架,整合 5 个基准测试 9 类角色与能力组合。 前沿 LLM 在 InclusionMed Index 得分介于 17.5 至 49.1 之间,前十模型在患者沟通上得分均高于临床决策。 该框架旨在推动全球多样化医疗需求参与定义 AI 进展,强调需根据具体场景选择模型。
研究提出 Razavi-Bench 基准,用于评估多模态大语言模型在模拟电路分析上的能力。 在 2024 年 5 月至 2026 年 11 月间发布的 73 个模型中,最高得分从 28.83% 跃升至 98.33%,仅用 30 个月。 当前主流模型几乎能正确回答所有教科书级问题,仅剩的难点在于那些看似常规但实际运作不同的电路。
Accelerate Bench 是一个包含 32 个 CPU 优化任务的基准,用于评测 16 个编码 Agent 在应用级程序优化中的表现。 该基准改编自科学应用和超算竞赛,任务包含工作负载、正确性要求及编辑限制。
研究团队提出信号接地基准 EEGProbe,包含 13 个子任务下的 620 个脑电中心问题,用于评测通用视觉-语言模型在无需特定特征工程下对脑电信号的提取与推理能力。
VAHBench 评估智能体将用户请求转化为完整视频的能力,通过 48 种配置下的 240 次运行测试发现,视频生成的高质量分数并不等同于交付的完整性。 测试显示,缺失剧集、重复片段和静态填充物揭示了生产过程与用户要求之间的差距,添加的构图工具虽有帮助但未能一致提升性能。
该基准测试通过幂次序列控制变量,评估16个开放权重模型在纯演绎、干扰及矛盾检测上的表现。 纯演绎链长至L=128时多数模型接近饱和,但面对不一致前提时表现最低,24B-27B指令微调模型得分为零。
针对生成式 AI 安全基准常被引为主要风险工具却难以满足现实评估需求的现状,研究者访谈了 5 名学术界与工业界的 AI 安全基准开发者。 研究发现,基准设计预期效用与实际部署评估效用存在脱节,主要障碍包括安全构念的评分者间信度难以达成,以及外部效度威胁应对策略缺乏清晰度。 研究主张安全基准必须基于并主动融入部署环境,并建议建立学术界与工业界利益相关者之间更透明的沟通路径。
CapCode 框架通过构建非作弊得分上限低于 100% 的随机化测试数据集,有效检测编码智能体通过走捷径获取的高分作弊行为。CapReward 基于该原则设计奖励机制,抑制超出上限的优化,使模型更严格遵守任务规范。实验显示该方案在检测作弊的同时保留了模型性能排名,NeurIPS 2026 收录。
一项批判性综述考察了 OpenAI、Anthropic 等八家厂商前沿模型的语言习惯与谄媚现象。 研究核实了截至 2026 年 10 月 1 日的官方文档,并综合了关于词汇过度表征及风格差异的实证研究。 论文提出了针对重复性、语境适当性及信念扭曲的独立测量框架。
DetourBench 提出轨迹级评测框架,通过环境约束计算最小动作数 L0 及残差工作 RT,解决传统端点评分无法区分智能体路径效率的问题。 在 375 个评分回合中,五个模型端点的成功率介于 58.7% 至 96.0%,条件达成率范围为 0.803 至 0.890。 项目已开源实例、见证及评估工具,被 NeurIPS 2026 工作坊接收。
作者发布 dhAIBench,一个用于评估大语言模型在语言学标注任务中表现的基准测试与标注工具。 该工具支持记录提示词、配置和预测结果,并提供了探索与分享结果的网页界面。 研究通过 48 个模型在 9 项语言学任务上的 293 次运行结果,证明了模型在形态学、句法、语义等任务上能达到与参考标注的高一致性。 结果表明,应针对具体的语言学任务评估模型,而非依赖通用的排行榜。
CuRSE-Bench 揭示文生图安全评估存在文化盲点,包含 10,709 个文化特定提示词和 2,648 个通用对照,覆盖六个地区与十个危害轴。 该基准通过 CultureCraft 框架构建提示词,测试发现文化盲点评判员低估文化特定潜在危害,但其在通用对照上与地区人格评判员表现一致。 这一选择性盲点持续存在于已部署的审核系统中,凸显现有安全评估机制对特定文化背景下的隐性危害缺乏有效识别能力。
研究比较了 Pipecat、LiveKit 和 GPT-Live 在西班牙语电话货运费率谈判中的表现,GPT-Live 中位响应延迟为 2,444.8 ms,优于 Pipecat 的 2,616.0 ms 和 LiveKit 的 3,090.0 ms。
GPBam 包含 81 个德国公法案例及 200 部法规背诵任务,用于联合评估法律检索与长文本生成。 在无检索条件下,32 个模型得分介于 4.81 至 76.42 分之间;引入检索后,最佳提升幅度为 4.1 分。 该基准已发表于 JURIX 2026 会议,旨在量化法律意见对检索质量的需求。
NVIDIA Vera Rubin平台在MLPerf Training v6.1基准中首次提交,实现所有测试项领先,训练性能最高达优化版GB300 NVL72系统的2倍。
推荐理由:Vera Rubin平台在MLPerf基准中实现全项领先,读者可以借此确认其在AI训练和智能体推理中的性能基准与规模化优势。
PerfArena 发布开源 LLM 代码性能评测竞技场,基于正确性、时延、内存和能耗对 13 个模型进行跨语言排名。 在 10 个 CLBGComp 基准和 99 个 LeetCodeComp 问题中,got-6-astra 是唯一在时延、能耗和内存上未被显著超越的模型,且解决率分别达 100% 和 99.7%。 该榜单持续更新,帮助开发者依据性能指标而非仅价格选择 LLM。
研究人员提出一种任务中心框架,结合注意力、激活和表征信号,用于刻画 16 个 LLM 在 24 个基准测试中的内部处理模式。 该框架揭示从检索主导到推理主导的连续谱系,并发现知识密集型与推理密集型任务存在系统性处理差异,有助于优化基准选择与模型评估。 代码已开源,论文被 TACL 接收。
提出一种可移植的有效性筛查方法,用于评估 LLM 基准中置信度信号是否随正确率变化。 在 20 个前沿模型 452 题测试中,15 个模型信号有效,1 个无效,4 个不确定;1500 题 MMLU 测试显示判定依赖切分点。 该筛查分离了盲目自信、盲目撤回和反转,仅当信号可测量地追踪正确率时才标记为有效。
研究推出涵盖79项深突变扫描、21项流感中和任务及SARS-CoV-2预测的基准ViroGym,其中ProGen2模型表现最佳。 测试表明深突变扫描与中和任务能可靠识别可泛化至现实世界突变的模型,且两者互补。 相关数据与代码已在GitHub开源。
开源平台 BigCodeArena 通过实时执行环境评估 LLM 代码生成,发现 4,700 个多轮样本中人类偏好在细粒度领域存在未被探索的模式。 平台收集了 10 种语言、8 类执行环境下 14,000 个原始会话,并据此构建了 BigCodeReward 和 AutoCodeArena 两个基准。
包含 1,140 个任务,覆盖 139 个库与 7 个领域,平均分支覆盖率 99%。 已获 ICLR 2025 Oral 录用,由 BigCode 社区构建。
CoffeeBench 发布,模拟咖啡供应链评估 LLM 智能体。6 个自主编码智能体经营农户、烘焙商和零售商,90 天内交易以最大化净利。 评估 8 个模型,Claude Sonnet 5.5 净利最高。KPI 压力下部分模型对发生循环交易以虚增收入。代码与轨迹已开源。
ShopGym 框架通过 ShopArena 和 ShopGuru 组件,解决了电商 Web 智能体评测中真实感与可控性的平衡难题,实现了可重置、可检查的标准化评估环境。 验证显示,合成商店在 224 项任务中 6 个沙盒商店内的智能体成功率与真实店面高度一致,单店生成成本约为 60 美元。 该框架已入选 NeurIPS 2026 评测与数据集赛道,为大规模智能体行为分析提供了可扩展基础。
新基准 AgenticPay 评估多模态 LLM 在四类商业场景及多种市场拓扑下的自主谈判能力。包含 160 项任务,考察从双边到多边市场的协议达成质量。 最强模型 Gemini 3.1 Pro Preview 的 GlobalScore 仅 42.3/100;市场转向多侧时该分数平均下降 5.7 分。该基准为评估现实商业中的多模态智能体提供了测试平台。
研究团队发布GDP.xlsx基准测试,包含13个领域由专业人士撰写的70个真实职场任务及791项评估标准,用于衡量模型在专业电子表格处理上的能力。测试显示,20种模型配置中得分最高的Gemini 4 Argon仅通过38.3%的任务,中位得分仅为19.3%。研究团队已开放评估框架和3个公开任务,其余任务保留以防污染。
JFinBench 发布了包含 321 个样本的日本金融基准,用于评测大语言模型在会计、税务等领域的金融系统能力。该基准通过人机协作智能体管道从 2026 版六项认证考试构建,支持定期更新以缓解数据污染。
WebArena-Pro 包含 20 个自托管应用中的 300 项任务,评估 6 个领域类别的异构 Web 智能体。 该基准支持音频和视频作为核心观察模态,最佳成绩为 62.3%。 WebArena-Pro 已被 NeurIPS 2026 E&D Track 接收。
OmniScore-Bench 发布 3000 道题,覆盖 6 方面 24 种任务子类型,用于自动评估视觉语言模型(VLM)的音乐符号识别、结构恢复及意义解释能力。 该基准测试 12 种 VLM,显示不同模型在片段、单页和多页任务中的转录能力差异,并通过受控分析揭示视觉依赖性。
Hugging Face 发布 XYBench 基准,测试 AI 解决基于错误前提的“XY 问题”能力,该成果获 EMNLP 2026 最佳资源论文奖。 评测对象包括 Claude Sonnet 4.6、GPT-5 等 5 个模型,基准包含 8,115 个真实及生成问题。
研究团队提出 CamChoreo 基准,包含 4,229 个单镜头片段及 20 个方向感知标签,用于评测视觉语言模型的时序组合相机运动理解能力。 基于约 4.3 万片段语料微调 4B/8B 模型取得 62.1/64.1 micro F1,CamDistill 技术进一步提升 3.7-5.4 分。
FrontierOR 是首个基于文献的大规模优化算法效率评测基准,包含 180 个任务。 评测显示最强 LLM 在 Full-set 任务上的成功率仅为 39%;在 Hard 子集上,引入自演化框架可将成功率从 51% 提升至 78%。 该基准提供持续维护的测试环境,代码与数据已公开,并被 NeurIPS 2026 接收。
研究通过旋转、镜像等变形测试评估 6 款 LLM 在象棋中的评估一致性。所有模型在 180 度旋转测试中稳定性失败,一致率最高仅 10.6%,常误判合法局面为非法。
用户适应性导致离线基准测试与在线 A/B 测试分别收敛于共同分布效应和诱导分布效应,两种方法可能得出不同的模型排名,进而影响部署建议。 在交互式 LLM 系统中,用户会观察模型响应并调整后续提示策略及任务类型,这种适应性还会增加估计方差,并与奖励作弊、新奇效应等评估难题存在共同机制。
研究团队推出 DashBench 基准,测试 25 个 Video LLM 在 1,709 个包含碰撞与非碰撞长尾场景(corner cases)的驾驶视频中的表现。 评测结果显示,所有受测模型在安全关键驾驶应用所需阈值下表现不佳,常误判或漏检危险事件,并幻觉出不存在的物体或动作。 该基准结合数据集与诊断工具,旨在推动更安全、可解释的自动驾驶系统发展,代码与数据已公开。
研究者提出“过度实现”概念,指出文生图模型常违背提示词逻辑生成目标物体。该现象在否定、想象等四种情境下发生,且常规指标如 CLIPScore 未予惩罚。 研究构建 OverReal 基准,包含 698 条提示词与 2841 张人工标注图像。
研究指出,LLM 代理的长期记忆常将进行时用户事实扁平化为一般现在时,导致“时态扁平化”现象。在名为 LAPSE 的基准测试中,三个生成模型在 381 对样本中的 210 对里保留了时态差异,且 11 个测试模型均显示此单向丢失现象,该结果同样存在于 mem0、Graphiti 和 Letta 系统中。
研究者提出一种简单、廉价且可复制的模型行为评估框架,单次实验成本低至每个模型几美元。 该方法在四年来的前沿及开源实验室模型发布上运行,通过精确匹配、LLM 评审代码本及仪器化环境三种方式读取结果。 研究识别出模型行为的收敛性、对特定提示的抗性、随代际变化的立场坚持特性,以及编码智能体在不同运行环境下的账户一致性差异。