SWE-Opt 基准:评估大语言模型在仓库级性能优化中的表现
SWE-Opt 是一个基于 102 个开源项目专家优化案例的仓库级基准,用于评估 LLM 在代码性能优化中的表现。该基准通过参数化测试,在噪声感知条件下评估运行时、峰值内存和时间加权内存使用(TWMU)。
SWE-Opt 是一个基于 102 个开源项目专家优化案例的仓库级基准,用于评估 LLM 在代码性能优化中的表现。该基准通过参数化测试,在噪声感知条件下评估运行时、峰值内存和时间加权内存使用(TWMU)。
DiffCap-Bench 发布覆盖十类差异的图像差异描述基准,引入 LLM-as-a-Judge 评估协议以精准捕捉语义一致性并惩罚幻觉。 该基准通过人类验证的差异列表(Difference Lists)对最新多模态大模型进行评估,揭示了专有模型与开源模型间的性能差距及模型扩展的局限性。
PentestEval 发布了首个全面评估 LLM 在渗透测试中表现的基准,覆盖 6 个分解阶段和 346 个任务。 该基准在 12 个现实场景中对 9 种 LLM 进行阶段级评估,端到端成功率仅 31%,现有智能体表现受限。 研究指出可靠自动化需增强结构化推理与阶段级诊断能力,为细粒度评估提供基础。
MedCUA-Bench 覆盖 10 个医疗领域的 18 种临床场景,通过确定性检查器评估 23 个智能体。 最佳闭源模型严格成功率仅 54.2%,在真实 OpenEMR 上全模型低于 9%,开源智能体平均仅 2.5%。 该基准揭示了当前智能体在临床软件可靠性上的缺口,为未来研究提供可复现测试床。
summary_zh: 审计发现 Lean 4 代码生成基准 CLEVER 的 161 个条目中,有 80 个存在参考规格错误。基于 Claude Opus 4.6、GPT-5.4 和 Kimi K2.5 的智能体系统生成了高达 98.8% 的有效规格,并在无错误前提下实现了 96.2% 的端到端成功率。
研究者提出 Benchmark Health Index(BHI),一个纯数据驱动框架,用于审计大语言模型基准的可靠性。 该框架从能力区分度、抗饱和度和影响力三个维度评估基准,并基于 2025 年 91 个代表性模型的技术报告,系统梳理了 106 个已验证基准。 BHI 提供了宏观量化基准健康状况的依据,支持基准选择与动态生命周期管理。
summary_zh: SynBench 是一个包含 9 个精选数据集的统一评估框架,用于标准化衡量差分隐私(DP)文本生成的效用、保真度与隐私审计。 该框架在对 1B-8B 规模 LLM 的基准测试中显示,当私有数据偏离预训练语料库时生成质量显著下降;即使在高隐私预算下,成员推断(MIA)审计仍检测到可测量的成员信号。
研究指出 AI 基准测试应超越单纯的技术任务难度,系统评估智能体应对组织内相互依存、知识分布等复杂条件的能力。 分析现有主流基准测试发现,其覆盖组织维度极为有限且不均衡,不足四分之一的基准声称涵盖此类内容。 这一视角填补了 AI 评测领域关于组织工作环境的空白,对开发能执行真实经济价值的 AI 智能体具有指导意义。
针对 LLM 代理在上下文压缩(compaction)后的规则合规性问题,研究引入基于开源 pi agent harness 的 ARCBench 基准测试,以测量执行过程中由行为产生的违规来源。 分析发现压缩极少删除规则,多数违规发生于规则仍留存于历史时代理错误将后续请求视为许可;最强定向攻击使违规率翻倍,且保留规则不保证合规,其违规频率超全量历史运行两倍。
研究团队发布 RoboColosseum 分布式评测框架,覆盖 124 个地点,完成 5,699 组开放式对比试验。 框架评估 5 种 VLA 策略和 3 种前沿 AI 智能体在 4 类机器人上的表现;微调后 GR00T N1.7 在 SO-101 上领先。 评测揭示了机器人在开放任务中的泛化瓶颈及微调效果差异。
summary_zh: 提出自动化框架 SessionFarmer,将多轮对话与提交历史转化为自包含软件任务。构建含 242 个任务的开源基准 CropChat,覆盖 61 个仓库与 14 种语言。
新基准 ReConSpatial 评估 18 款前沿 LVLM 的多视角 3D 场景重建能力,指出相对结构与度量重建存在一致差距。 GPT-6-Astra 在结构任务得分 81.4%,但度量重建仅 58.7%;9 项原子空间问答任务关联原子能力与重建质量。 实验表明 3D 地图注入可区分场景构建与路径规划,空间微调在通用视觉语言基准上实现广泛迁移。
S1CogBench 评估了包括 Jev 和 Laya 在内的五个开源模型及 Jev 在 24 项认知任务上的表现。 发现决策可靠性差异大,快速反应主要源于无文本生成,聚合分数掩盖了模型对证据、反馈和记忆负荷的响应。
研究人员提出 ReactionBench,这是首个以人类为锚点的视频反应特异性理解基准。 该基准包含 31,834 个刺激-反应视频片段,涵盖 433 小时时长及 8 个领域,用于评估反应强度排序、时序匹配及解释推理能力。 在七个多模态模型中,最佳模型在四选一匹配任务中准确率仅为 50.9%,表明反应特异性接地仍具挑战性。
研究复现8个基准测试的官方评分器,发现仅评分规则差异就能使同一模型输出准确率变动高达22分。 研究使用5个单张16GB GPU可运行的开源视觉语言模型,通过盲测人类与LLM评审仲裁(Cohen's kappa=0.956)恢复真实答案,指出不同解析规则导致显著分数偏差。 该研究已获WACV 2027接收,并发布代码、标签及协议,建议基准测试报告不合规率并采用至少两种评分规则。
针对 BFCL 忽视中间调用副作用的局限,CAREFUL-Bench 引入效果感知协议。 在 11 个开源模型上,无裁判重放评分器使头部模型因未授权破坏性调用被扣 14.0 分,冗余步骤消耗多达 28% 输入 token。 当前基准无法区分请求澄清与获取破坏性操作许可,揭示了函数调用评测的核心盲区。
GeoGuesser Bench 发布 282 项任务,评测 23 个视觉语言模型在离线街景环境中的交互地理定位能力,地点命名最高准确率 62.5%,物体寻找最高准确率 35.0%。
论文提出名为 Collaborative Intelligence Benchmark 的基准,包含 240 个覆盖 8 个维度的团队协作任务。评估了 18 个闭源和开源模型,发现最佳模型得分仅为 82.2。前沿模型在拒绝不安全捷径方面表现良好,但在人际压力下达成协议的比例仅 14%,且接手较弱模型未完成任务的成功率从 97% 降至 81%。
研究提出基于 VC 理论的诊断框架,评估 11 个 7-8B 模型在 360 道数学推理题中的自我评估能力。 结果显示自我评估表达力与校准存在系统性反向关系,JiuZhang3.0-7B 校准最佳,PVC-VUS 差距最小。 该框架为开发自我反思型 LLM 提供了诊断工具,揭示了该领域面临的根本性挑战。
针对 LLM 智能体中记忆交付后是否被实际使用的问题,研究提出 MemUse 评估框架。该框架基于 8,000 个 SWE-bench Verified 案例,对比记忆交付内容与智能体实际行为及后果。
研究显示,当参考记录存在链接缺失故障时,大模型 LLM 评审仅依赖文本捕获率显著高于依赖记录,Gemini 3.1 Pro 达 23/24,而记录可用时仅 1/24。
14 个系统一决策模型中,5 个在配对和 best-of-4 基准上的表现与 GPT-5.6(无推理模式)统计上无显著差异。
OpenAI 下一代模型 GPT-6.2 Astra 疑似进入灰度测试,Codex 用户用量统计中已出现独立标识 gpt-6.2-astra,但官方 API 目录及公告尚未确认该型号。
OpenAI 发布 LifeVal 基准,用于衡量 AI 模型完成日常事务的能力,任务覆盖照护、健康、教育及财务等场景。 该基准基于 3,995 名受访者调查设计,典型任务包括为糖尿病患者制定饮食计划(得分 90.4%)及组织防洪志愿者(得分 98.0%)。 目前 LifeVal 仍为 OpenAI 内部评估,外界尚未获得完整任务集或独立复现途径,结果需谨慎解读。
OpenAI 推出 LifeVal,这是一个用于衡量 AI 如何帮助人们完成日常事务(如寻找托幼服务、管理财务及政府文书)的基准。
OpenAI 已发布由其内部模型生成的722份数学手稿,分为372个主题簇。Gil Kalai 博客更新梳理了其中26项结果与其过往文章的关联,涵盖 Mahler 猜想、平面色数、Kakeya 问题、Erdős 算术级数猜想等经典难题,部分结果如 Unique Games 猜想已获证明。他提醒学界,这些结果目前仍处于不同验证阶段,需数学家在未来数月的消化与检验。
Anthropic 官网源码意外泄露 Claude Mythos 5.5,Fable 5.5 疑似支持 100 万 token 上下文及 3D 生成功能;OpenAI GPT-6.2 Astra 出现在 Codex 统计中,具备 1M 窗口。 厂商未官宣,新模型线索密集出现引发社区对 11 月旗舰模型集中更新的猜测。
研究提出包含 240 道问题的 BILAL-BENCH 基准,评估 7 个参数量 1B 至 120B 的开源模型在孟加拉语伊斯兰经典来源虚构上的表现。 结果显示 6 个模型在 79.3% 至 95.3% 的来源生成问题上自信虚构,且未见随规模提升的单调改进,圣训来源追溯错误率最高。
审计显示,现有 LLM 智能体劫持检测器在 2% 攻击率下精度仅 0.076,且跨基准迁移性能接近随机水平。 未见过的新工具会导致检测排名在 50% 覆盖率下逆转,且 AgentDrift 到 AgentDojo 的跨基准 AUROC 仅 0.47 至 0.52。 研究团队基于这些发现制定了评估痕迹检测器的新检查清单。
CogBattery 评估了 54 个开源语言模型在 13 项认知范式文本改编中的表现,并与源研究的人类数据进行对比。结果显示,模型虽能复现人类效应方向,但在非目标误报、置信度区分及固定下注偏好上表现远劣于人类,且这些模式跨越多个模型家族。研究指出,匹配人类效应方向不足以确立类人行为,大规模模型也未一致地更接近人类表现。
现有互信息估计基准多局限于低维简化分布,难以评估复杂真实数据下的性能。研究提出基于 Copula 理论的基准框架,涵盖合成流变换与真实图像依赖结构,评估非参数、变分及生成式估计器。 结果显示不存在通用最优估计器,不同类别在特定场景下表现各异。通过识别基本估计壁垒并提出新测试,该基准更有效地揭示了现有方法的局限。
BeyondArena 支持 IID、时序和分组任务,覆盖多特征类型与学科,是首个统一的表格数据综合基准。 基于 142 个策划数据集和 11 个模型的评估显示,当前开源表格基础模型在 10 万行以下数据集中具有竞争力,而传统树模型和深度学习模型在分组或大规模数据上仍占主导。 该基准引导模型研究聚焦于表格数据领域最具挑战性的场景。
Speech-DRAME 提出语音角色扮演评估框架,包含双语人工标注基准 Speech-DRAME-EvalBench 及微调评估器 DRAME-Eval。 基准支持原型评估与现实感评估,在合成数据上 DRAME-Eval 的皮尔逊相关系数分别达 0.629 和 0.602,显著优于零样本评测。 在真实语音测试中相关系数仅为 -0.142,揭示合成到真实数据存在显著迁移差距。
研究者提出 WeGenEditBench 基准与 WeGenEvoStudio 框架,用于评测图像编辑并驱动模型递归自我改进。WeGenEditBench 包含 2,740 个实例和 148 种任务类型,通过原子级要求分解与项级扣分实现可解释评估。
summary_zh: SERIAL-7 发布首个韩英双语文档,基于 177 个规范工件构建跨 7 种表示的可执行验证框架,旨在解决结构化输出的语义正确性与执行可靠性脱节问题。
研究提出 SHAKTI 印地语基准和 TRIDENT 往返翻译检测框架,覆盖四个文类、八种 LLM 及多种提示策略,并通过人类标注验证质量。TRIDENT 包含 S、D、C 三种变体,利用原文与往返翻译间的语义一致性识别 AI 生成文本,其中 TRIDENT-S 在实验中表现最佳,且经七种语言、对抗设置及未知 LLM 测试验证其多语言鲁棒性。
FrontierMat 发布 330 道材料研发前沿问题,最强通用模型得分仅 53.7%。 问题涵盖航空航天、半导体等领域,130 题需跨尺度推理,跨尺度题平均低 8.7 分。 通过领域适配,开源模型分数从 36.7% 提升至 55.4%。
BABA-Bench 发布,包含 47 个交互世界,用于评估 14 个前沿大模型在患者倡导场景中的能力。 基准共进行 1,974 次运行,发现 28% 达成结果的路径无效;提供验证路径后,模型通过率显著提升至 91.5% 和 97.2%。
基准 ReplayRCA 引入“因果修复”评分机制,让模型修复智能体失败。最优模型 Grok 4.7 在 62 个案例中取得 +51.3 分。 在 87 次实时监督运行中,GPT-6.1 Sol 表现最差(-14.5 分),证明事后诊断能力并非实时监督的好代理指标。 环境及评测代码已公开,支持多模态任务。
Avartha 发布名为 Ava Zero 1 的开源权重语音模型,其在 Sierra 的 τ³-Voice 基准测试中以 86.0% 的任务完成率位居榜首,超越 OpenAI GPT Live 1、xAI Grok 及 Google Gemini。
推荐理由:原文通过对比任务完成率,展示该开源语音系统在实时场景下超越主流闭源闭环的能力。