跳到正文
10月20日周二
  1. arXiv · ML29

    LLM 服务市场中的测试时算力博弈:非效率性与反向第二价格拍卖机制

    研究显示,LLM-as-a-service 市场存在社会低效率,云服务商有动力增加测试时算力投入,即便这很少提升输出质量。 为纠正此偏差,文章提出一种反向第二价格拍卖机制:服务商就价格与预期质量竞价,用户按中标方相对第二高投标方的边际价值比例付费。 实验在 Llama、Qwen 及 DeepSeek-R1 蒸馏模型上验证该机制,测试数据集涵盖数学与科学基准。

  2. arXiv · ML44

    ECCBench 超越准确率维度评估视觉语言模型记忆

    研究者提出 ECCBench 基准,通过效率、压缩与校准(ECC)三轴评估视觉语言模型记忆,超越单一准确率指标。 实验显示预训练 VLM 在文本压缩记忆有效但视频无效,且校准较差;非 Transformer 架构在压缩-校准权衡上优于 RoPE Transformers。 结果提示非 Transformer 架构可作为长周期智能体的有用组件。

  3. arXiv · ML33

    WhatIf-Bench 基准测试提出:评估干预感知时间序列预测

    研究团队提出 WhatIf-Bench,一个基于半合成数据的基准,用于测试预测模型在变量受未来事件干预后的响应能力,包含 37,665 个任务。 模型在重放已知值的“Replay”任务中表现尚可,技能值达 48% 至 85%,但在设置未见值的“Novel”任务中性能骤降至 -7% 至 50%。 该基准揭示了向未知未来泛化是核心挑战,为任意场景分析提供了测试平台。

  4. arXiv · ML42

    FinHopper:用于复杂金融智能体及逐步评估的渐进式多跳基准

    论文提出 FinHopper,一个控制推理深度为 1-6 跳的金融多跳检索基准,包含股票、基金及宏观经济事实的中间答案,支持过程级评估。 该基准通过状态转移合成框架构建,结合人工专家验证与模型集成检查,确保数据质量。 实验显示 20 种 LLM 智能体配置中,公开搜索工具必要但不足,性能随跳数增加急剧下降,且过程感知评分能揭示最终答案评估中隐藏的推理进展。

  5. arXiv · ML26

    UtilityBench:测量不同成本错误下的语言模型效用

    UtilityBench 是一个包含 15,000 个可验证实例的基准,通过最佳最坏标度法量化错误严重性,用于评估语言模型在错误成本各异场景下的效用。 它引入 UtilityAUC 指标,通过模型响应排序下的效用曲线面积,实现超越错误频率的效用偏好对齐。 在 20 个最先进模型的评估中,较高的准确率或更先进的架构并不总能带来更高的 UtilityAUC,揭示了问题解决能力与负责任决策之间的差距。

  6. arXiv · NLP23

    PlantXpert:面向植物表型分析的多模态大语言模型基准

    提出面向大豆、棉花、水稻和玉米的 PlantXpert 基准,含 545 张图像与 4351 个样本,用于评估视觉-语言模型在农学推理上的表现。 该基准覆盖病害、虫害、杂草管理和产量等关键农学领域,支持视觉专业知识、定量推理及多步农学推理能力测试。 对 11 个 SOTA VLM 的评测显示,领域微调提升所有模型准确率,许多达到约 70%,其中 9/11 的改进在 Holm 校正后具统计显著性。

  7. arXiv · NLP35

    MathAdv 基准揭示定理证明器在形式化与鲁棒性上的瓶颈

    MathAdv 是一个涵盖 13 个数学领域的诊断基准,旨在通过 Lean 4 定理证明及三项辅助任务评估模型能力。该基准发现形式化过程是主要瓶颈,且数学等价的命题改写会暴露模型显著的鲁棒性局限。这种组件式评估揭示了聚合准确率所掩盖的具体失败模式,并开源了数据集与脚本。

  8. arXiv · NLP26

    EngTrace:一项面向工程推理可验证过程评估的符号基准

    EngTrace 发布了包含 150 个专家认证模板的符号基准,覆盖 5 大分支、15 个领域和 42 个子领域,通过金标准推理轨迹精确验证中间步骤。 其评估器主要在不使用 LLM 判定的情况下,检查最终答案、中间量覆盖率和算术展示,并在 11 个大语言模型上显示最终答案难以区分顶尖模型,而推导过程差异显著。

  9. arXiv · NLP32

    LLM-as-a-Judge 如何通过提示策略实现自我去偏

    LLM-as-a-Judge 无需额外训练即可通过提示策略自我去偏,有效抑制评估偏差。 在 3 个前沿模型、7 类偏差组合中,自我去偏策略在 21 组中的 20 组提升表现,最高达 15 个百分点。 引入 3 个新基准发现,近期微调的外部批判者在新偏差类型上泛化不可靠,该提示方法更具鲁棒性与通用性。

  10. arXiv · NLP31

    KEEP-Bench: 评估上下文压缩中的证据保留

    提出基准测试 KEEP-Bench,包含 4,102 个案例,用于直接评估上下文压缩的证据保留保真度。 该基准发现最佳开源模型(31B)在 100K+ token 上下文窗口下仅保留 66.8% 必需证据,最佳闭源模型仅保留 61.6%。 研究强调未来工作应侧重在小计算预算下构建具有强信息保留能力的压缩器,而非依赖扩大输出预算。

  11. arXiv · NLP21

    AdaExploreBench 提出 LLM 智能体在动态环境中的主动探索与测试时自适应基准

    针对现有基准缺乏对 LLM 智能体在演变环境中主动探索和自适应能力的测试,研究者提出了 AdaExploreBench 基准,通过隐藏规则模拟环境动态,要求智能体主动获取证据并推断规则变化。 在八款主流 LLM 的实验中,表现最优的 GPT-6 Sol 校准准确率仅为 61.9%;结果显示,提供充分证据或消除规则漂移可使平均性能显著提升近 10%。

  12. arXiv · NLP39

    搜索增强LLM在快速演变知识推理中的失败机制分析:TREK框架

    TREK框架揭示搜索增强LLM在快速演变知识推理中的主要瓶颈并非检索,而是检索后推理阶段。模型在获取所有必要信息后,仍易被相互矛盾的证据误导,导致最终回答错误。 研究构建了包含时间性、相关性及可信度干扰项的受控基准TREKBENCH-CTRL。结果表明,现有基准若主要由过时干扰项主导,会大幅低估任务难度,从而无法准确评估模型真实能力。

  13. 机器之心76

    复旦、混元发布新基准ExplorationBench:评测大模型的探索能力

    复旦、腾讯混元与清华团队发布新基准ExplorationBench,专门衡量AI系统在完全陌生环境中的自主探索能力。该基准构建了规则被悄悄修改的“异星世界”(如AlienCode和AlienLogic),要求模型在无现成知识的情况下通过交互试错发现规律。

    推荐理由:该基准通过构造规则被篡改的封闭环境,量化了模型在无外部知识辅助下的自主发现能力,揭示了静态评测与动态探索之间的关键差异。

  14. TechCrunch · AI33

    Hugging Face 政策主管称嵌入式 AI 评估员并非简单解决方案

    Hugging Face 政策主管 Irene Solaiman 指出,当前 AI 模型基准测试缺乏标准化,嵌入式评估员制度也难以成为成熟的解决方案。 她强调评估的可复现性与跨基准比较方法尚不明确,且针对 Agent 系统的评估开发成本高昂,目前行业生态仍处于混乱状态。 若基准测试要继续作为有效工具,行业需建立统一标准以取代现有的非规范做法。

  15. Hacker News AI42

    MediationBench 发布:测试 AI 调解人在 62 个模拟冲突中的表现

    Human Assisted Intelligence 发布 MediationBench,该基准测试让 AI 调解人在 62 个由 LLM 扮演双方的模拟冲突中运行。 当前结果为一轮次、由一两个 judge 模型评分的暂定数据,每个冲突评分 0-100 分,涵盖 3-25 轮对话窗口。 该基准旨在测量 AI 在人类争论中的表现,但不评估人类安全性或公平性。

  16. Hacker News AI88

    OpenAI声称证明准黎曼猜想,数学家聚焦短版结果

    OpenAI于2026年10月6日宣布证明“准黎曼猜想”,其中9月30日版本被Lean语言正式验证并证明非平凡零点位于1/8至7/8区间,另一版未验证结果将区间放宽至1/12至11/12。鉴于两者写作质量均被指无法通过期刊标准,数学家目前主要聚焦于篇幅较短的11/12版本。

    推荐理由:文章梳理了数学界对OpenAI两项证明进展的验证情况及学界评价,展示了AI生成数学证明从提出到接受同行审视的过程。

10月19日周一
  1. 机器之心63

    UniPat AI 启动一亿元 Fellows 人才计划

    UniPat AI 宣布启动 Fellows 计划,未来一年投入一亿元,邀请顶尖研究者参与,提供每人 50 万元模型 API 调用额度。该计划旨在连接科学问题与 AI 能力,通过让专家定义任务、建立评测基准并接入交互环境,将真实科研问题转化为可评测、可训练的任务,推动 AI 在物理、生物、医药等垂直领域解决实际问题。

  2. IT之家36

    Arena 公布 2026 年第 42 周 AI 大模型周榜:国产模型多领域站稳中上游,kimi-k3-max 杀入代码榜前十

    Arena 平台发布 2026 年第 42 周盲测排名,国产模型稳定于中上游,kimi-k3-max 代码榜居第 10 名。 mimo-v2.6-pro 首次进入前端开发榜前 20,位列第 19;gemini-3.5-flash-medium 等新模型直接冲进综合榜前 30。 榜单反映用户主观偏好而非绝对能力,分差在误差范围内视为并列。

  3. arXiv · ML35

    HardEval:执行验证的 AI 驱动安全加固与合规修复基准

    发布 HardEval 基准,用于评估大语言模型在实时操作系统上的安全加固能力。该基准基于 Red Hat Enterprise Linux 8 STIG 控制项,通过执行 Bash 脚本并运行 OVAL 检查进行评分。测试显示不同模型在安全域的能力差异巨大,且主要失败模式为生成看似合理但不满足精确合规条件的代码。

  4. arXiv · NLP23

    PDDL-Mind 揭示 ToM 基准测试主要考察算法状态追踪

    PDDL-Mind 通过神经符号方法发现,多种 ToM 基准测试实则在考察解析与算法状态追踪能力。 在 MMToM、MuMA 和 FanToM 测试中,将解析外推给程序使性能接近强 agentic pipeline,将状态追踪交给 PDDL 则让 GPT-4o 达到接近人类的表现。 这证明复杂的 ToM 基准主要惩罚大语言模型在状态追踪和解析算法上的不可靠性。

  5. arXiv · NLP36

    NAME-Bench 基准重新思考视觉语言模型中的物体幻觉检测

    现有 VLM 幻觉检测器将非断言性物体提及误判为幻觉,错误率达 14% 至 80%。 研究引入包含 25,497 个 COCO 图像提到的 NAME-Bench,区分非断言性提及如描绘、目的、否定和模糊。 将非断言性提及作为负样本训练可修正 LLaVA-1.5 检测器,但更新 VLM 需 5 至 10 倍数据且会减少真实幻觉捕获。

  6. arXiv · NLP23

    EmoShift 基准测试揭示语音深度伪造检测器在情绪变化下的失效模式

    EmoShift 基准测试显示,语音内部的情绪变化会改变深度伪造检测结果。 该测试包含 7,240 条真实语句和 9,720 条由四个 TTS 系统生成的合成语句。在七个检测器中,情绪变化使合成语音的遗漏率最高增加 25.3 个百分点,真实语句的误报率最高增加 24.4 个百分点。 结果强调情绪动态在深度伪造检测中的重要性。

  7. arXiv · NLP23

    GlobeBench:评估基于文本的世界模型在可扩展环境模拟中的能力

    研究团队提出包含 1,632 项任务、覆盖 5 个领域的 GlobeBench 基准,用于测试模型预测环境对动作响应的能力。 在 20 个 LLM 和文本世界模型中,GPT-6 Astra 以 49.57% 的成功率居首;但当动作影响环境大范围时,准确率降至平均 5.1%。 目前仍有 631 项任务无模型能解决,表明通用 LLM 作为世界模型仍存在显著能力差距。

  8. arXiv · ML31

    FLARE:基于物理的电力馈线恢复语言模型智能体基准测试

    研究者推出 FLARE 基准,包含 800 个交流可行案例,涵盖 5 种观测设定。评估显示 5 个模型的 P95 后悔值高达 1.000,且 96.4% 的被拒动作会导致物理违规。 该基准要求智能体在受限条件下收集证据并执行恢复,揭示了当前模型的长尾失败问题,强调了外部安全检查的必要性。

  9. arXiv · NLP24

    AuditKIT: 用于评估、评判和比较大型语言模型及智能体系统的统一评测框架

    AuditKIT 是一个源代码可获取的评测库,将基准准确率、裁判评估、运行时性能等记录在统一结果表示中。它通过方向感知指标契约和配置指纹,解决接口差异和指标语义问题,支持智能体的工具调用匹配和检索增强生成的证据检查。该框架在七个案例研究中展示了不同指标选择如何改变评估结果。

  10. arXiv · NLP35

    RealCLI 提出 CLI 智能体人机协作统一评测基准

    RealCLI 发布首个统一评估 CLI 智能体任务执行与人机协作质量的成对基准。该基准构建 5 个维度、22 个子维度及 51 个交互场景模板,并通过 REALCLI-COLLAB 模式引入脚本化用户模拟渐进式指令修正。 实验显示前沿模型最佳配置平均得分仅 49.2%,联合协作得分峰值仅 37.6%,暴露出在可引导性与安全边界管理上的显著能力差距。

10月18日周日
  1. Hacker News LLM45

    独立 LLM 基准指数追踪 22 款前沿模型

    新发布的 LLM 基准指数每日更新,覆盖 22 款前沿模型。评分体系基于 SWE-bench Verified 等四项指标加权计算,确保数据无提示词泄漏。Claude Fable 5.1 以 53.1% 的评分位居榜首,Gemini 3.5 Flash-Lite 则以 358 t/s 刷新速度纪录。