跳到正文
10月21日周三
  1. 阿里语音AI77

    Qwen-Audio-3.1-Realtime 发布:实现全双工实时语音交互

    Qwen-Audio-3.1-Realtime 发布,实现“边听、边想、边说、边动”的全双工实时语音交互,支持并行工具调用与异步任务执行。在 Audio MultiChallenge 评测中达到 52.21% 通过率,在 Full-Duplex-Bench v1.5 中用户打断响应率 84.5%,表现优于 GPT-Realtime-2。

    推荐理由:原文给出了全双工交互架构和多模态后训练方法,读者可以据此了解实时语音Agent的技术实现路径。

  2. arXiv · AI43

    BreakingWeb:通过受控环境干预构建高难度浏览器代理基准

    研究团队提出基准 BreakingWeb,包含 519 个任务对,通过受控干预使 6 个浏览器代理平均通过率下降 22.9 个百分点。 这些干预改变网站内容、服务器状态或网络响应,而人类用户首试通过率仅下降 10.0 个百分点。 75% 的代理失败源于信念错误,即代理在未完成必要更改时宣告任务结束。

  3. arXiv · AI31

    Agents-as-Peers:一种用于 LLM 评估的多智能体同侪互评协议

    Agents-as-Peers 提出多智能体互评协议,在 12 个 LLM 和 420 道题目中收集 55,440 个非自我互评判断。 实验发现自我评分普遍高于互评分数,且首位答案获得额外 0.39 分优势;互评分数与 TruthfulQA 准确率相关达 r=0.904。 该协议支持将排名与测量出的偏差及评分者效应一同报告。

  4. arXiv · AI25

    Code2Video-Compass:面向通用代码视频生成的基准评测

    该研究提出 Code2Video-Compass 基准,包含 2,104 个任务,覆盖 T2V、I2V 及 V2V 设置,用于评估代码生成视频。 其双层级评估框架结合 12 项客观指标与 5 项主观指标,测试了来自 9 个系列的 15 个 MLLM。 结果显示,随着构建、动态动画及状态依赖复杂度增加,领先模型在生成高质量视频时表现普遍下降。

  5. arXiv · AI20

    AnomalyJev:通过声明级验证评估图像异常检测解释

    研究团队提出轻量级框架 AnomalyJev,通过从图像异常检测解释中提取声明并与真值验证,评估多模态大语言模型生成的文本解释,无需生成 token。 该框架利用基于指针的头部处理上下文化表示,构建了包含 640 个人工标注解释及超过 1600 个专家评级的测试集,显著提升了与人类标注者的一致性。

  6. arXiv · AI31

    MMEnterprise-Bench:评测多模态记录演进下的企业智能体

    论文提出基准测试 MMEnterprise-Bench,包含 1,613 个基于模拟协作项目中演进多模态记录的问题。 评测涵盖证据推理、冲突解决和不可回答性三类任务,测试了 10 个专有及开源多模态 LLM。 结果显示最强模型在跨源或时间冲突证据面前仍表现挣扎,增加检索预算或未显著提高答案准确率。

  7. arXiv · AI34

    MAMath-Bench:面向多智能体数学推理的过程感知与鲁棒性评估基准

    MAMath-Bench 是一个包含 1003 道题目、涵盖 11 个数学类别及文本/图像/音频多模态的过程感知基准。 该基准通过细粒度里程碑标注,评估多智能体系统在解题正确性、推理过程可靠性及对抗性扰动鲁棒性三个维度的表现。 研究发现,多智能体协作不总能提升最终答案准确性,且现有系统对细微结构扰动的对抗性推理错误仍显脆弱。

  8. IT之家84

    OpenAI 研究:增强 GPT-6 提升 COBOL 等冷门编程语言迁移准确率至 97.9%

    OpenAI 发布研究报告,展示增强 GPT-6 Astra 等模型在 COBOL、Fortran 和 Visual Basic 等低资源编程语言上的能力。评测显示,GPT-6 Astra 在 MultiLangBench 中 20 种语言的平均测试通过率达 87.4%,较 GPT-5.6 Sol 提升显著。

    推荐理由:OpenAI 公布了 GPT-6 系列在冷门编程语言迁移上的新评测数据,读者可据此了解模型在旧系统现代化方面的最新进展与成本变化。

  9. Hugging Face Blog70

    FairStress:LLM决策中公平性的深度评估基准

    Ai2 发布 FairStress,一个用于测量 LLM 在影响人们机会、资源和医疗的高风险决策中人口公平性的基准。FairStress 包含 300 个真实场景,通过引入对抗性前缀,不仅测量最终选择,还评估模型在面对劝说时改变决策的稳定性。

    推荐理由:揭示了传统人口公平基准隐藏的反刻板印象过度纠偏现象,并给出了对抗性前缀下的稳健性评估框架。

10月20日周二
  1. Hugging Face Blog72

    ALTK-Evolve 用提示词级学习记忆在 τ²-bench 客服基准中超越多家前沿模型

    ALTK-Evolve 通过让 GPT-4.1 从自身在 τ²-bench 上的运行轨迹中自动提炼行为指南(如先验证身份、一步只做一个动作等)并附加到系统提示词,无需更新模型权重,即可让 GPT-4.1 在 τ²-bench 零售域的 Pass^4 指标达到 67.5%,超越榜单快照中所有其他零售条目(包括微调模型 RAFT-30B-A3B)。

    推荐理由:用GPT-4.1从自身运行轨迹提炼规则并加入提示词,在无需微调权重的情况下显著提升客服智能体的准确率与可靠性,提供了一种可迁移的智能体增强方法。

  2. 36氪90

    MiniMax M3.1 Flash 发布,在 Agent 基准上实现低成本追平旗舰模型

    MiniMax M3.1 Flash 正式发布,并确认是匿名模型 Space Bunny 的正式版,主打高速推理与低成本。该模型在 Automation-Bench、DeepSWE、ALE 等基准上表现强劲,在 ALE 任务中花费约 739 元即可跑完,性能追平甚至部分反超旗舰级模型如 Claude Opus 5。

    推荐理由:M3.1 Flash 的定价与多任务基准成绩被并排放在 DeepSeek V4.1 Flash 和 Opus 5 的坐标系中,可以直接看出当前低段位模型的价格锚点。

  3. arXiv · AI35

    InfraBench:评估跨层级、生命周期与风险的基础设施智能体

    InfraBench 发布 12 项种子任务基准,18 种智能体模型配置在 3 次尝试中平均有效得分介于 45.5% 至 89.2% 之间,最强配置 77.8% 完全通过。 生命周期检查通过率显示功能修复达 91.5%,但持久性降至 80.9%,清理仅为 38.9%,表明即时恢复并非完整运维能力指标。该基准及评测框架已开源,计划扩展至 40-60 项任务。

  4. arXiv · AI31

    基于六个 LLM 基准测试评估 IRT 在 AI 评测中的可靠性

    研究通过 18,000 次模拟实验表明,标准 IRT 估计器在大型 AI 基准测试中常面临计算不可行性或结果不可靠的挑战。实验对比了 4 种估计器,并基于 6 个广泛使用的 LLM 基准测试数据,系统评估了其在模型排名和性能预测上的差异。 该研究发表于 NeurIPS 2026 评测与数据集赛道,指出了潜在特质模型在支持或扭曲 AI 基准测试结论时的边界条件。

  5. arXiv · AI42

    PACE基准测试:编码智能体在企业级成熟仓库中的表现评估

    研究推出包含43项企业级任务的PACE基准测试,以评估编码智能体执行产品需求文档(PRD)的能力。11种模型配置中,GPT-5.6-Sol完全交付率最高,达14.0%。 测试结果显示模型在实现完整性和集成方面存在瓶颈。同一模型的多次运行在评估一致性上优于专家共识,准确率95.2%。

  6. arXiv · AI20

    CaFE 框架通过结构多样性增强时序基础模型评估

    CaFE 提出可刷新评估扩展,为静态基准增加结构多样性。基于 GIFT-Eval 和 FEV-Mini20 实验,该框架通过定义 8 种结构特征并重新采样数据,生成多维度能力画像。 在真实数据过滤下,CaFE 选出的模型优于聚合榜单选择。这使得模型选择能够针对特定的结构响应需求,克服了单一分数掩盖性能短板的局限。

  7. arXiv · AI31

    MoveBench:用于评估大语言模型运动与健康教练能力的基于评分标准的基准测试

    研究团队提出MoveBench,这是首个专为评估大语言模型在运动和健康教练领域能力设计的基准测试框架。 该基准包含809道问题和5012项评分标准,涵盖选择题和开放问答,并针对15个大语言模型进行大规模评估。 研究揭示了模型在安全意识、结构化计划设计和个性化能力方面存在显著差异,并强调了知行之间的差距。

  8. arXiv · AI38

    CEGame-Bench:首个涵盖五款生产引擎的长周期游戏创建智能体基准测试

    CEGame-Bench 提出了首个覆盖 Defold、Godot、Unity 等五款引擎的长周期完整游戏创建基准。 智能体在平均 295 步、65M tokens 的测试中,仅 16% 的运行到达游戏结局,远低于工程师参考水平。 发布的 Game Completion Boost 技能通过需求驱动测试,将三个模型的执行评分提高了 14.1-24.3 分。

  9. arXiv · AI39

    评估 LLM 在财报解读与股市反应预测中的表现

    研究评估 13 个 LLM 在 45,964 份 Form 10-Q 事件上的表现,发现添加横截面基本面排名可提升有效日 RankIC 0.0089。 分析显示通用 Qwen 模型在收益率排序中表现最强,而专家模型无显著次日优势;直接预测平均处于分析师分布第 43.4 百分位。 共识锚定将区间内命中均值从 41.1% 提升至 59.5%,但增加了 EPS 误差。

  10. arXiv · ML28

    Deep Generative Crystal Structure Prediction: A Benchmark Study and a Controlled Test of Prototype Dependence

    研究评估了12种生成式晶体结构预测(CSP)模型,发现模板检索法以68.3%的top-1成功率领先,生成模型优势有限。 在剔除4个化学计量原型家族后,最强生成模型准确率下降50-78%,证明其表现高度依赖原型。 现有生成式CSP模型主要充当隐式原型库,而非真正的de novo预测器。