MoveBench:用于评估大语言模型运动与健康教练能力的基于评分标准的基准测试
研究团队提出MoveBench,这是首个专为评估大语言模型在运动和健康教练领域能力设计的基准测试框架。 该基准包含809道问题和5012项评分标准,涵盖选择题和开放问答,并针对15个大语言模型进行大规模评估。 研究揭示了模型在安全意识、结构化计划设计和个性化能力方面存在显著差异,并强调了知行之间的差距。
研究团队提出MoveBench,这是首个专为评估大语言模型在运动和健康教练领域能力设计的基准测试框架。 该基准包含809道问题和5012项评分标准,涵盖选择题和开放问答,并针对15个大语言模型进行大规模评估。 研究揭示了模型在安全意识、结构化计划设计和个性化能力方面存在显著差异,并强调了知行之间的差距。
CEGame-Bench 提出了首个覆盖 Defold、Godot、Unity 等五款引擎的长周期完整游戏创建基准。 智能体在平均 295 步、65M tokens 的测试中,仅 16% 的运行到达游戏结局,远低于工程师参考水平。 发布的 Game Completion Boost 技能通过需求驱动测试,将三个模型的执行评分提高了 14.1-24.3 分。
summary_zh: FrontierRefactor 基准包含 60 项跨 4 个尺度、覆盖原地优化与跨语言重写的工程任务。 评估显示 41.2% 提交功能等价但无性能提升;跨语言重写合同遵循率仅 32.6%。
ConQual-Audit 提出基于审计的三阶段框架以解决 LLM 个性化评估中的过约束或欠约束问题,在 PrefEval 和 LaMP 数据集上优于九项基线,取得最高 AUC 0.88 和 0.90。
研究人员提出目标位移基准测试 GDB,包含 9 个领域 230 个场景及 18 个模型 4,134 条人工评分响应,用于量化 LLM 用维持人设内容替代目标相关实质内容的现象。
summary_zh: PatternBench 是一个针对 LLM 代码优化的新基准,旨在衡量超越编译器的优化能力,即经过激进编译器优化后仍保留的性能提升。 该基准覆盖七类转换,结合运行时评估与基于 AST 的优化忠实度分析,以验证目标优化是否在生成代码中实现。
研究评估 13 个 LLM 在 45,964 份 Form 10-Q 事件上的表现,发现添加横截面基本面排名可提升有效日 RankIC 0.0089。 分析显示通用 Qwen 模型在收益率排序中表现最强,而专家模型无显著次日优势;直接预测平均处于分析师分布第 43.4 百分位。 共识锚定将区间内命中均值从 41.1% 提升至 59.5%,但增加了 EPS 误差。
研究评估了12种生成式晶体结构预测(CSP)模型,发现模板检索法以68.3%的top-1成功率领先,生成模型优势有限。 在剔除4个化学计量原型家族后,最强生成模型准确率下降50-78%,证明其表现高度依赖原型。 现有生成式CSP模型主要充当隐式原型库,而非真正的de novo预测器。
研究显示,LLM-as-a-service 市场存在社会低效率,云服务商有动力增加测试时算力投入,即便这很少提升输出质量。 为纠正此偏差,文章提出一种反向第二价格拍卖机制:服务商就价格与预期质量竞价,用户按中标方相对第二高投标方的边际价值比例付费。 实验在 Llama、Qwen 及 DeepSeek-R1 蒸馏模型上验证该机制,测试数据集涵盖数学与科学基准。
研究者提出 ECCBench 基准,通过效率、压缩与校准(ECC)三轴评估视觉语言模型记忆,超越单一准确率指标。 实验显示预训练 VLM 在文本压缩记忆有效但视频无效,且校准较差;非 Transformer 架构在压缩-校准权衡上优于 RoPE Transformers。 结果提示非 Transformer 架构可作为长周期智能体的有用组件。
研究团队提出 WhatIf-Bench,一个基于半合成数据的基准,用于测试预测模型在变量受未来事件干预后的响应能力,包含 37,665 个任务。 模型在重放已知值的“Replay”任务中表现尚可,技能值达 48% 至 85%,但在设置未见值的“Novel”任务中性能骤降至 -7% 至 50%。 该基准揭示了向未知未来泛化是核心挑战,为任意场景分析提供了测试平台。
该研究提出 SSoN 基准,包含 1,000 道跨视图矛盾问题,用于测试模型在缺乏可信参考时识别不一致视图的能力。 最强 VLM 准确率仅 39.7%,而人类为 83.3%;引入真值相机信息后,答案准确率升至 61%。 结果显示跨视图矛盾解决是当前 VLM 的重大弱点,针对性微调可部分缓解。
论文提出 FinHopper,一个控制推理深度为 1-6 跳的金融多跳检索基准,包含股票、基金及宏观经济事实的中间答案,支持过程级评估。 该基准通过状态转移合成框架构建,结合人工专家验证与模型集成检查,确保数据质量。 实验显示 20 种 LLM 智能体配置中,公开搜索工具必要但不足,性能随跳数增加急剧下降,且过程感知评分能揭示最终答案评估中隐藏的推理进展。
UtilityBench 是一个包含 15,000 个可验证实例的基准,通过最佳最坏标度法量化错误严重性,用于评估语言模型在错误成本各异场景下的效用。 它引入 UtilityAUC 指标,通过模型响应排序下的效用曲线面积,实现超越错误频率的效用偏好对齐。 在 20 个最先进模型的评估中,较高的准确率或更先进的架构并不总能带来更高的 UtilityAUC,揭示了问题解决能力与负责任决策之间的差距。
提出面向大豆、棉花、水稻和玉米的 PlantXpert 基准,含 545 张图像与 4351 个样本,用于评估视觉-语言模型在农学推理上的表现。 该基准覆盖病害、虫害、杂草管理和产量等关键农学领域,支持视觉专业知识、定量推理及多步农学推理能力测试。 对 11 个 SOTA VLM 的评测显示,领域微调提升所有模型准确率,许多达到约 70%,其中 9/11 的改进在 Holm 校正后具统计显著性。
MathAdv 是一个涵盖 13 个数学领域的诊断基准,旨在通过 Lean 4 定理证明及三项辅助任务评估模型能力。该基准发现形式化过程是主要瓶颈,且数学等价的命题改写会暴露模型显著的鲁棒性局限。这种组件式评估揭示了聚合准确率所掩盖的具体失败模式,并开源了数据集与脚本。
EngTrace 发布了包含 150 个专家认证模板的符号基准,覆盖 5 大分支、15 个领域和 42 个子领域,通过金标准推理轨迹精确验证中间步骤。 其评估器主要在不使用 LLM 判定的情况下,检查最终答案、中间量覆盖率和算术展示,并在 11 个大语言模型上显示最终答案难以区分顶尖模型,而推导过程差异显著。
summary_zh: RouterWorld 发布,这是一个针对对话式 GenAI 中 LLM 路由的综合基准,旨在平衡答案质量与响应延迟。它统一了 371k 单轮响应和 76k 多轮 agentic 轨迹,采用 LLM-as-a-judge 协议。
研究发现 POPE 基准中基于 2-token logit 的读数选择导致 F1 分数人为抬高 6.13 点。 审计确认这是协议层面的混淆而非模型特异性问题,跨四种 VLM 验证了该偏差。 该工作已被 NeurIPS 2026 VLM4RWD workshop 录用,揭示了幻觉评估中的系统性误差。
SWE-Residual 基准包含源自 DeepSWE 和 Terminal-Bench 的 198 个残留状态,用于测试智能体在接手既有未完成工作时的鲁棒性。
同一模型在两种“不安全”定义下安全基准分数差异可达23倍,且部分基准已被训练集污染。 0.03%的参数量变动即可使基准分数覆盖全区间,模型来源成为未记录的混杂因素。 研究者主张评估应公开污染、随机种子下限及评分定义。
LLM-as-a-Judge 无需额外训练即可通过提示策略自我去偏,有效抑制评估偏差。 在 3 个前沿模型、7 类偏差组合中,自我去偏策略在 21 组中的 20 组提升表现,最高达 15 个百分点。 引入 3 个新基准发现,近期微调的外部批判者在新偏差类型上泛化不可靠,该提示方法更具鲁棒性与通用性。
summary_zh: 该研究指出当前 LLM 进化搜索评估中按提案计数掩盖了真实计算成本,导致方法间公平性缺失。 重放 600 次运行日志显示单次提案成本在 16k 至 39k tokens 间波动;匹配 token 预算后,进化搜索相对独立采样的优势在 15 个任务-方法组合中的 12 个里消失或低于 5%。
提出基准测试 KEEP-Bench,包含 4,102 个案例,用于直接评估上下文压缩的证据保留保真度。 该基准发现最佳开源模型(31B)在 100K+ token 上下文窗口下仅保留 66.8% 必需证据,最佳闭源模型仅保留 61.6%。 研究强调未来工作应侧重在小计算预算下构建具有强信息保留能力的压缩器,而非依赖扩大输出预算。
针对现有基准缺乏对 LLM 智能体在演变环境中主动探索和自适应能力的测试,研究者提出了 AdaExploreBench 基准,通过隐藏规则模拟环境动态,要求智能体主动获取证据并推断规则变化。 在八款主流 LLM 的实验中,表现最优的 GPT-6 Sol 校准准确率仅为 61.9%;结果显示,提供充分证据或消除规则漂移可使平均性能显著提升近 10%。
TREK框架揭示搜索增强LLM在快速演变知识推理中的主要瓶颈并非检索,而是检索后推理阶段。模型在获取所有必要信息后,仍易被相互矛盾的证据误导,导致最终回答错误。 研究构建了包含时间性、相关性及可信度干扰项的受控基准TREKBENCH-CTRL。结果表明,现有基准若主要由过时干扰项主导,会大幅低估任务难度,从而无法准确评估模型真实能力。
研究团队构建 Read-Aloud Math 语料库,评估 GPT-5.2 等五个 LLM 生成数学公式朗读文本的能力。 GPT-5.2 简单转录无上下文 BLEU 达 75.9%,Claude Sonnet 4.5 扩展转录无上下文得分最高为 36.5%,公式长度与复杂度显著影响评分。
研究团队发布 OR-License 基准,包含 10 个工业场景的 31 个实例,源自总价值 368 万美元的付费运筹学委托项目。 基准引入 ORSim 客户端模拟器及部署调整质量(DAQ)指标,11 款前沿 LLM 中最高配置的 Claude Code 实现 88.39% 严格可行性与 0.87 DAQ。
FormInv提出数学推理基准语义不变性测量协议。审计发现47%自动生成的语义改写存在错误,并定义条件不一致率(CIR)以隔离定理内失败聚类。 该协议在9个模型上评估366至811个经Lean4验证的题目,结果显示Claude Haiku 4.5的CIR(41.9%)远高于DeepSeek V3(4.7%)。
发布 HardEval 基准,用于评估大语言模型在实时操作系统上的安全加固能力。该基准基于 Red Hat Enterprise Linux 8 STIG 控制项,通过执行 Bash 脚本并运行 OVAL 检查进行评分。测试显示不同模型在安全域的能力差异巨大,且主要失败模式为生成看似合理但不满足精确合规条件的代码。
PDDL-Mind 通过神经符号方法发现,多种 ToM 基准测试实则在考察解析与算法状态追踪能力。 在 MMToM、MuMA 和 FanToM 测试中,将解析外推给程序使性能接近强 agentic pipeline,将状态追踪交给 PDDL 则让 GPT-4o 达到接近人类的表现。 这证明复杂的 ToM 基准主要惩罚大语言模型在状态追踪和解析算法上的不可靠性。
PresenceBench 引入用于衡量 LLM 适应用户状态(就绪度、心流、稳定性)的探索性基准,通过五臂因果设计测试敏感性与特异性。 测试了 Claude Sonnet 5、DeepSeek V4 Pro、Gemini 3.6 Flash 和 GPT-5.6 Terra 四款模型,在 18 个单轮及 12 个多轮场景下提供合成状态或响应策略。
现有 VLM 幻觉检测器将非断言性物体提及误判为幻觉,错误率达 14% 至 80%。 研究引入包含 25,497 个 COCO 图像提到的 NAME-Bench,区分非断言性提及如描绘、目的、否定和模糊。 将非断言性提及作为负样本训练可修正 LLaVA-1.5 检测器,但更新 VLM 需 5 至 10 倍数据且会减少真实幻觉捕获。
EmoShift 基准测试显示,语音内部的情绪变化会改变深度伪造检测结果。 该测试包含 7,240 条真实语句和 9,720 条由四个 TTS 系统生成的合成语句。在七个检测器中,情绪变化使合成语音的遗漏率最高增加 25.3 个百分点,真实语句的误报率最高增加 24.4 个百分点。 结果强调情绪动态在深度伪造检测中的重要性。
研究团队提出包含 1,632 项任务、覆盖 5 个领域的 GlobeBench 基准,用于测试模型预测环境对动作响应的能力。 在 20 个 LLM 和文本世界模型中,GPT-6 Astra 以 49.57% 的成功率居首;但当动作影响环境大范围时,准确率降至平均 5.1%。 目前仍有 631 项任务无模型能解决,表明通用 LLM 作为世界模型仍存在显著能力差距。
研究者推出 FLARE 基准,包含 800 个交流可行案例,涵盖 5 种观测设定。评估显示 5 个模型的 P95 后悔值高达 1.000,且 96.4% 的被拒动作会导致物理违规。 该基准要求智能体在受限条件下收集证据并执行恢复,揭示了当前模型的长尾失败问题,强调了外部安全检查的必要性。
AuditKIT 是一个源代码可获取的评测库,将基准准确率、裁判评估、运行时性能等记录在统一结果表示中。它通过方向感知指标契约和配置指纹,解决接口差异和指标语义问题,支持智能体的工具调用匹配和检索增强生成的证据检查。该框架在七个案例研究中展示了不同指标选择如何改变评估结果。
RealCLI 发布首个统一评估 CLI 智能体任务执行与人机协作质量的成对基准。该基准构建 5 个维度、22 个子维度及 51 个交互场景模板,并通过 REALCLI-COLLAB 模式引入脚本化用户模拟渐进式指令修正。 实验显示前沿模型最佳配置平均得分仅 49.2%,联合协作得分峰值仅 37.6%,暴露出在可引导性与安全边界管理上的显著能力差距。
腾讯混元于 10 月 16 日将智能体记忆框架 Hy Memory 升级至 2.0 版本,并开源了专用模型、记忆框架和 MemHub 应用。新增工作记忆与代码记忆后,Hy Memory 2.0 在 4 个覆盖聊天、工作、代码场景的 Benchmark 上均为开源记忆框架第一。
推荐理由:腾讯混元开源了记忆框架、专用模型和应用三层架构,并披露了在腾讯内部多个业务场景中,多跳召回率、长期偏好理解等关键指标的具体提升数据。
MagiC 是一个评估大视觉语言模型“扎根视觉推理”能力的基准,包含约 5500 条弱监督 QA 和 900 条人工标注样本。 该基准测试 15 个 7B-70B 参数的 VLM,从答案正确性、推理有效性、定位保真度和自我纠错四个维度评估,并引入 MagiScore 和 StepSense 新指标。 MagiC 通过对抗性视觉提示诊断模型鲁棒性,揭示了当前模型在推理与视觉证据对齐方面的关键局限。