跳到正文
10月20日周二
  1. arXiv · AI31

    MoveBench:用于评估大语言模型运动与健康教练能力的基于评分标准的基准测试

    研究团队提出MoveBench,这是首个专为评估大语言模型在运动和健康教练领域能力设计的基准测试框架。 该基准包含809道问题和5012项评分标准,涵盖选择题和开放问答,并针对15个大语言模型进行大规模评估。 研究揭示了模型在安全意识、结构化计划设计和个性化能力方面存在显著差异,并强调了知行之间的差距。

  2. arXiv · AI38

    CEGame-Bench:首个涵盖五款生产引擎的长周期游戏创建智能体基准测试

    CEGame-Bench 提出了首个覆盖 Defold、Godot、Unity 等五款引擎的长周期完整游戏创建基准。 智能体在平均 295 步、65M tokens 的测试中,仅 16% 的运行到达游戏结局,远低于工程师参考水平。 发布的 Game Completion Boost 技能通过需求驱动测试,将三个模型的执行评分提高了 14.1-24.3 分。

  3. arXiv · AI39

    评估 LLM 在财报解读与股市反应预测中的表现

    研究评估 13 个 LLM 在 45,964 份 Form 10-Q 事件上的表现,发现添加横截面基本面排名可提升有效日 RankIC 0.0089。 分析显示通用 Qwen 模型在收益率排序中表现最强,而专家模型无显著次日优势;直接预测平均处于分析师分布第 43.4 百分位。 共识锚定将区间内命中均值从 41.1% 提升至 59.5%,但增加了 EPS 误差。

  4. arXiv · ML28

    Deep Generative Crystal Structure Prediction: A Benchmark Study and a Controlled Test of Prototype Dependence

    研究评估了12种生成式晶体结构预测(CSP)模型,发现模板检索法以68.3%的top-1成功率领先,生成模型优势有限。 在剔除4个化学计量原型家族后,最强生成模型准确率下降50-78%,证明其表现高度依赖原型。 现有生成式CSP模型主要充当隐式原型库,而非真正的de novo预测器。

  5. arXiv · ML29

    LLM 服务市场中的测试时算力博弈:非效率性与反向第二价格拍卖机制

    研究显示,LLM-as-a-service 市场存在社会低效率,云服务商有动力增加测试时算力投入,即便这很少提升输出质量。 为纠正此偏差,文章提出一种反向第二价格拍卖机制:服务商就价格与预期质量竞价,用户按中标方相对第二高投标方的边际价值比例付费。 实验在 Llama、Qwen 及 DeepSeek-R1 蒸馏模型上验证该机制,测试数据集涵盖数学与科学基准。

  6. arXiv · ML44

    ECCBench 超越准确率维度评估视觉语言模型记忆

    研究者提出 ECCBench 基准,通过效率、压缩与校准(ECC)三轴评估视觉语言模型记忆,超越单一准确率指标。 实验显示预训练 VLM 在文本压缩记忆有效但视频无效,且校准较差;非 Transformer 架构在压缩-校准权衡上优于 RoPE Transformers。 结果提示非 Transformer 架构可作为长周期智能体的有用组件。

  7. arXiv · ML33

    WhatIf-Bench 基准测试提出:评估干预感知时间序列预测

    研究团队提出 WhatIf-Bench,一个基于半合成数据的基准,用于测试预测模型在变量受未来事件干预后的响应能力,包含 37,665 个任务。 模型在重放已知值的“Replay”任务中表现尚可,技能值达 48% 至 85%,但在设置未见值的“Novel”任务中性能骤降至 -7% 至 50%。 该基准揭示了向未知未来泛化是核心挑战,为任意场景分析提供了测试平台。

  8. arXiv · ML42

    FinHopper:用于复杂金融智能体及逐步评估的渐进式多跳基准

    论文提出 FinHopper,一个控制推理深度为 1-6 跳的金融多跳检索基准,包含股票、基金及宏观经济事实的中间答案,支持过程级评估。 该基准通过状态转移合成框架构建,结合人工专家验证与模型集成检查,确保数据质量。 实验显示 20 种 LLM 智能体配置中,公开搜索工具必要但不足,性能随跳数增加急剧下降,且过程感知评分能揭示最终答案评估中隐藏的推理进展。

  9. arXiv · ML26

    UtilityBench:测量不同成本错误下的语言模型效用

    UtilityBench 是一个包含 15,000 个可验证实例的基准,通过最佳最坏标度法量化错误严重性,用于评估语言模型在错误成本各异场景下的效用。 它引入 UtilityAUC 指标,通过模型响应排序下的效用曲线面积,实现超越错误频率的效用偏好对齐。 在 20 个最先进模型的评估中,较高的准确率或更先进的架构并不总能带来更高的 UtilityAUC,揭示了问题解决能力与负责任决策之间的差距。

  10. arXiv · NLP23

    PlantXpert:面向植物表型分析的多模态大语言模型基准

    提出面向大豆、棉花、水稻和玉米的 PlantXpert 基准,含 545 张图像与 4351 个样本,用于评估视觉-语言模型在农学推理上的表现。 该基准覆盖病害、虫害、杂草管理和产量等关键农学领域,支持视觉专业知识、定量推理及多步农学推理能力测试。 对 11 个 SOTA VLM 的评测显示,领域微调提升所有模型准确率,许多达到约 70%,其中 9/11 的改进在 Holm 校正后具统计显著性。

  11. arXiv · NLP35

    MathAdv 基准揭示定理证明器在形式化与鲁棒性上的瓶颈

    MathAdv 是一个涵盖 13 个数学领域的诊断基准,旨在通过 Lean 4 定理证明及三项辅助任务评估模型能力。该基准发现形式化过程是主要瓶颈,且数学等价的命题改写会暴露模型显著的鲁棒性局限。这种组件式评估揭示了聚合准确率所掩盖的具体失败模式,并开源了数据集与脚本。

  12. arXiv · NLP26

    EngTrace:一项面向工程推理可验证过程评估的符号基准

    EngTrace 发布了包含 150 个专家认证模板的符号基准,覆盖 5 大分支、15 个领域和 42 个子领域,通过金标准推理轨迹精确验证中间步骤。 其评估器主要在不使用 LLM 判定的情况下,检查最终答案、中间量覆盖率和算术展示,并在 11 个大语言模型上显示最终答案难以区分顶尖模型,而推导过程差异显著。

  13. arXiv · NLP32

    LLM-as-a-Judge 如何通过提示策略实现自我去偏

    LLM-as-a-Judge 无需额外训练即可通过提示策略自我去偏,有效抑制评估偏差。 在 3 个前沿模型、7 类偏差组合中,自我去偏策略在 21 组中的 20 组提升表现,最高达 15 个百分点。 引入 3 个新基准发现,近期微调的外部批判者在新偏差类型上泛化不可靠,该提示方法更具鲁棒性与通用性。

  14. arXiv · NLP31

    KEEP-Bench: 评估上下文压缩中的证据保留

    提出基准测试 KEEP-Bench,包含 4,102 个案例,用于直接评估上下文压缩的证据保留保真度。 该基准发现最佳开源模型(31B)在 100K+ token 上下文窗口下仅保留 66.8% 必需证据,最佳闭源模型仅保留 61.6%。 研究强调未来工作应侧重在小计算预算下构建具有强信息保留能力的压缩器,而非依赖扩大输出预算。

  15. arXiv · NLP21

    AdaExploreBench 提出 LLM 智能体在动态环境中的主动探索与测试时自适应基准

    针对现有基准缺乏对 LLM 智能体在演变环境中主动探索和自适应能力的测试,研究者提出了 AdaExploreBench 基准,通过隐藏规则模拟环境动态,要求智能体主动获取证据并推断规则变化。 在八款主流 LLM 的实验中,表现最优的 GPT-6 Sol 校准准确率仅为 61.9%;结果显示,提供充分证据或消除规则漂移可使平均性能显著提升近 10%。

  16. arXiv · NLP39

    搜索增强LLM在快速演变知识推理中的失败机制分析:TREK框架

    TREK框架揭示搜索增强LLM在快速演变知识推理中的主要瓶颈并非检索,而是检索后推理阶段。模型在获取所有必要信息后,仍易被相互矛盾的证据误导,导致最终回答错误。 研究构建了包含时间性、相关性及可信度干扰项的受控基准TREKBENCH-CTRL。结果表明,现有基准若主要由过时干扰项主导,会大幅低估任务难度,从而无法准确评估模型真实能力。

10月19日周一
  1. arXiv · ML35

    HardEval:执行验证的 AI 驱动安全加固与合规修复基准

    发布 HardEval 基准,用于评估大语言模型在实时操作系统上的安全加固能力。该基准基于 Red Hat Enterprise Linux 8 STIG 控制项,通过执行 Bash 脚本并运行 OVAL 检查进行评分。测试显示不同模型在安全域的能力差异巨大,且主要失败模式为生成看似合理但不满足精确合规条件的代码。

  2. arXiv · NLP23

    PDDL-Mind 揭示 ToM 基准测试主要考察算法状态追踪

    PDDL-Mind 通过神经符号方法发现,多种 ToM 基准测试实则在考察解析与算法状态追踪能力。 在 MMToM、MuMA 和 FanToM 测试中,将解析外推给程序使性能接近强 agentic pipeline,将状态追踪交给 PDDL 则让 GPT-4o 达到接近人类的表现。 这证明复杂的 ToM 基准主要惩罚大语言模型在状态追踪和解析算法上的不可靠性。

  3. arXiv · NLP36

    NAME-Bench 基准重新思考视觉语言模型中的物体幻觉检测

    现有 VLM 幻觉检测器将非断言性物体提及误判为幻觉,错误率达 14% 至 80%。 研究引入包含 25,497 个 COCO 图像提到的 NAME-Bench,区分非断言性提及如描绘、目的、否定和模糊。 将非断言性提及作为负样本训练可修正 LLaVA-1.5 检测器,但更新 VLM 需 5 至 10 倍数据且会减少真实幻觉捕获。

  4. arXiv · NLP23

    EmoShift 基准测试揭示语音深度伪造检测器在情绪变化下的失效模式

    EmoShift 基准测试显示,语音内部的情绪变化会改变深度伪造检测结果。 该测试包含 7,240 条真实语句和 9,720 条由四个 TTS 系统生成的合成语句。在七个检测器中,情绪变化使合成语音的遗漏率最高增加 25.3 个百分点,真实语句的误报率最高增加 24.4 个百分点。 结果强调情绪动态在深度伪造检测中的重要性。

  5. arXiv · NLP23

    GlobeBench:评估基于文本的世界模型在可扩展环境模拟中的能力

    研究团队提出包含 1,632 项任务、覆盖 5 个领域的 GlobeBench 基准,用于测试模型预测环境对动作响应的能力。 在 20 个 LLM 和文本世界模型中,GPT-6 Astra 以 49.57% 的成功率居首;但当动作影响环境大范围时,准确率降至平均 5.1%。 目前仍有 631 项任务无模型能解决,表明通用 LLM 作为世界模型仍存在显著能力差距。

  6. arXiv · ML31

    FLARE:基于物理的电力馈线恢复语言模型智能体基准测试

    研究者推出 FLARE 基准,包含 800 个交流可行案例,涵盖 5 种观测设定。评估显示 5 个模型的 P95 后悔值高达 1.000,且 96.4% 的被拒动作会导致物理违规。 该基准要求智能体在受限条件下收集证据并执行恢复,揭示了当前模型的长尾失败问题,强调了外部安全检查的必要性。

  7. arXiv · NLP24

    AuditKIT: 用于评估、评判和比较大型语言模型及智能体系统的统一评测框架

    AuditKIT 是一个源代码可获取的评测库,将基准准确率、裁判评估、运行时性能等记录在统一结果表示中。它通过方向感知指标契约和配置指纹,解决接口差异和指标语义问题,支持智能体的工具调用匹配和检索增强生成的证据检查。该框架在七个案例研究中展示了不同指标选择如何改变评估结果。

  8. arXiv · NLP35

    RealCLI 提出 CLI 智能体人机协作统一评测基准

    RealCLI 发布首个统一评估 CLI 智能体任务执行与人机协作质量的成对基准。该基准构建 5 个维度、22 个子维度及 51 个交互场景模板,并通过 REALCLI-COLLAB 模式引入脚本化用户模拟渐进式指令修正。 实验显示前沿模型最佳配置平均得分仅 49.2%,联合协作得分峰值仅 37.6%,暴露出在可引导性与安全边界管理上的显著能力差距。

10月16日周五
  1. 腾讯混元83

    腾讯混元发布 Hy Memory 2.0 并全栈开源记忆框架、模型及 MemHub 应用

    腾讯混元于 10 月 16 日将智能体记忆框架 Hy Memory 升级至 2.0 版本,并开源了专用模型、记忆框架和 MemHub 应用。新增工作记忆与代码记忆后,Hy Memory 2.0 在 4 个覆盖聊天、工作、代码场景的 Benchmark 上均为开源记忆框架第一。

    推荐理由:腾讯混元开源了记忆框架、专用模型和应用三层架构,并披露了在腾讯内部多个业务场景中,多跳召回率、长期偏好理解等关键指标的具体提升数据。

  2. arXiv · NLP33

    MagiC:评估面向扎根视觉推理的多模态认知

    MagiC 是一个评估大视觉语言模型“扎根视觉推理”能力的基准,包含约 5500 条弱监督 QA 和 900 条人工标注样本。 该基准测试 15 个 7B-70B 参数的 VLM,从答案正确性、推理有效性、定位保真度和自我纠错四个维度评估,并引入 MagiScore 和 StepSense 新指标。 MagiC 通过对抗性视觉提示诊断模型鲁棒性,揭示了当前模型在推理与视觉证据对齐方面的关键局限。