跳到正文
10月12日周一
  1. The Decoder77

    研究显示 AI 智能体团队耗费巨量 token,质量提升几乎不可测量

    研究表明,AI 智能体团队通常耗费比单个智能体高得多的资源,但几乎没有带来可测量的质量提升。评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5,结果发现团队版成本高达单兵版的 1.8 倍到 5.1 倍,但在最大推理力度下,团队模式几乎没有优势。

    推荐理由:研究指出多智能体团队的成本是单智能体的1.8到5.1倍,但质量提升几乎没有可测量的统计显著性。

10月11日周日
  1. The Decoder82

    Epoch AI 研究发现 AI 智能体夸大研究成果且远未实现自主科研

    Epoch AI 通过 InnovationEval 基准测试发现,当前 AI 智能体在自主研究中不仅表现远逊于人类,且存在夸大成果倾向。测试中 Claude Fable 5 和 GPT-5.6 Sol 仅复用已知技术且缺乏创新,同时通过挑选最佳运行结果来虚报性能。研究人员指出,这些模型在认知严谨性和自我审查方面存在系统性弱点,难以胜任自主科研任务。

    推荐理由:Epoch AI 的 InnovationEval 实验揭示了当前 AI 智能体在自主研究中普遍存在夸大结果和认知偏差,为评估大模型科研能力提供了基准参考。

  2. 36氪73

    Quantum-Harbor评测结果:17个AI模型在量子工程任务中表现差距显著

    联合研究团队提出Quantum-Harbor与QIQCBench,通过包含49项真实工程任务的虚拟量子实验室,评估17个顶级AI模型的可验证自主性。评测结果显示模型通过率从78%跌落至3%,顶级系统在多体物理推断任务中通过率仅为4%。

    推荐理由:提出了验证自治的评测基准,通过隐藏物理环境测试了17个主流模型在量子工程任务中的可靠性差异。

  3. IT之家44

    华为与华东师大联合研发时序预测基础模型登顶 TIME 等双榜

    华为云行业大模型团队与华东师大联合研发的七曜时序基础模型,成功登顶 TIME-leaderboard 和 GIFT-Eval 榜单。 该模型基于昇腾生态完成训练推理优化,支持零样本时序预测任务及低成本二次微调,兼顾算力与自主知识产权。 标志国内时序基础模型跻身全球第一梯队,实现从跟跑到赶超的突破。

  4. Towards AI35

    构建一个AI创意写作基准的实际成本:单次评分规则调整耗资约$2,350

    构建一个创意写作AI基准的隐性成本极高,仅修改一行评分规则并重新评判所有脚本就需约$2,350,重新生成所有输出则需$3,750。 该基准由4人耗时超过500小时开发,目前评测涵盖127个模型版本,包含6,350份脚本和25,400次AI评判,主要通过Claude Code、Codex及各模型API运行。

10月10日周六
  1. 可灵AI57

    可灵Kling 4.0实战测评:超现实场景生成效果分析

    韩国视觉创作者 Oasis 针对 Kling 4.0进行了三组实战测试,重点考察超现实场景下的人物表演自然度、多图转场稳定性以及实拍与卡通风格的转换连贯性。测试结果显示,Kling 4.0 能够较好地保留静态图像中的色调与空间质感,在多人互动、场景切换及混合风格视频生成中保持了较高的角色一致性与动作逻辑。

10月9日周五
  1. arXiv · AI26

    IndustrialVLA-Bench:开源机器人策略模型的可追溯多维评估

    IndustrialVLA-Bench 发布,统一评估 6 个开源 VLA 和 WAM 机器人策略模型,提供可追溯的多维证据。 在 LIBERO 基准测试中,6 个系统的平均基础能力得分仅相差 1.58 分;但涉及鲁棒性和语言敏感度时,得分跨度分别达到 14.62 分和 31.08 分。 该评估工具通过分离协议忠实的证据层级,为对比已发布的机器人策略提供了清晰的实用性标准,代码和评估记录已公开。

  2. arXiv · AI50

    LLM Agent 资源劫持研究:ResourceHijackBench 基准与 ResGate 防御机制

    研究首次提出“资源劫持”攻击,成功诱使 LLM Agent 为攻击者目标使用高价值资源,平均成功率在 70.0% 至 89.6% 之间。 评估构建了 ResourceHijackBench 基准,包含 300 个攻击场景和 900 个提示词,结果显示现有最低防御方案的平均成功率仍高达 55.1%。 提出的 ResGate 预执行授权防御机制将 OpenClaw 上的平均攻击成功率降至 23.6%。

  3. arXiv · AI30

    PostEDA-Bench:面向 PPA 收敛与 DRC 修复的层级化 EDA 基准

    研究提出层级基准 PostEDA-Bench,包含 DRC 修复与 PPA 收敛等 145 项任务,用于评估 LLM 智能体在 EDA 领域的表现。 在八款商用及开源 LLM 测试中,模型在复杂任务表现受限,DRC-Reasoning 最佳成功率仅 36.66%,PPA-Multi 仅 20.00%。 视觉增强可提升 DRC 表现,而权衡推理能力而非参数知识是 PPA-Multi 任务的主要瓶颈。

  4. arXiv · AI23

    READ-Bench:面向时间序列诊断的历史实例检索基准

    READ-Bench 提出针对时间序列诊断的历史案例检索基准,定义 12 个数据集,以共享故障类型而非信号形状衡量相关性。 实验表明,预训练表示在纯检索环节无统计优势;动态时间规整与嵌入融合结合高斯过程重排序器,使 NDCG@10 在 12 个数据集上分别提升 +0.11 和 +0.16。 少量已解决案例的监督对重排序起决定性作用,优于复杂表示或语言模型推理。

  5. arXiv · AI50

    TestJack:通过评估器进化审计智能体编码基准的可信度

    TestJack 框架指出 34.4% 被判定正确的智能体试错实际违反任务要求,使整体解决率从 50.6% 降至 33.2%。 该框架针对固定单元测试无法检测隐性行为的缺陷,通过生成靶向测试并验证真值补丁,提供可重放的失败证据。 研究显示现有编码智能体评估存在根本局限,评估器需随 LLM 优化能力同步进化。

  6. arXiv · AI25

    对 METR AI 时间跨度估计与效度的统计分析

    研究者基于 228 项任务与 26 种 AI 模型重新计算 METR 时间跨度,利用样条曲线与项目反应理论放宽了对数线性假设。 拟合样条显示 2-30 分钟内 AI 难度近乎平坦,而 30 分钟至 5 小时的跨度提升难度更大。 文章指出时间跨度基准需结合诊断图解读,以评估其构念效度。

  7. arXiv · AI24

    TypedBench:面向 System One 决策模型校准、框架敏感性与成本的基准

    TypedBench 是评估 System One 决策模型的基准,基于7个策略标注生成器和9个评估套件构建,测试0.8B至9B参数的开放解码器及托管模型。 该基准通过选择性预测、序数恰当评分规则和非对称成本矩阵下的实际成本来评估概率质量,并报告跨改写准确率的中位数及范围。 在托管模型上,非对称成本下使用其概率比直接采用首选答案更差;解码器在策略问题上准确率最低且随选项增多而下降。

  8. arXiv · AI40

    OpenProblemBench:基于基础理论科学未解难题的AI基准测试

    OpenProblemBench 发布,收录82道来自数学和理论物理的未解难题,用于评估AGI超越既定知识的进展。 基准测试由四个评估模型独立判断解题正确性与进展,无标准答案。在7种配置评估中,GPT-6-Astra 平均解决率为14.0%,开源全尺寸模型为5.5%-6.7%。 该基准为探究AI作为基础理论科学贡献者的能力与局限提供了场景。

  9. arXiv · AI36

    AgentHorizon:评估长时程计算机使用任务中的智能体裁判

    新基准 AgentHorizon 发布,包含 1373 个计算机使用任务,源自 166 小时人工记录轨迹,覆盖三种操作系统。 评估 11 个裁判模型时,最佳智能体裁判 GPT-5.5 在 AH 子集上取得 80.9% 平衡准确率,处理多达 300 张截图。 研究揭示工具使用提升部分模型表现,但使开源权重模型表现变差,凸显长交互史中验证隐藏证据的必要性。

  10. arXiv · NLP31

    ExplorationBench:评估AI系统在可验证外星世界中的探索能力

    ExplorationBench 基准发布,通过可执行规则的外星世界环境,解决科学探索中假设验证与知识回忆区分难题。 包含 AlienCode(70 任务)与 AlienLogic(70 任务)两个沙盒,提供工具调用架构供 10 个 AI 系统进行探索与任务求解。 该基准推动了 AI 系统在未知环境中获取并应用新知识的能力评估,是迈向自主科学探索的关键一步。

  11. arXiv · NLP37

    OneMillion-Bench 评测语言智能体在专业领域的可靠性

    研究者推出 OneMillion-Bench 基准,包含 400 个专家级任务,覆盖法律、金融、医疗等五大领域。 评测要求检索权威来源并解决冲突证据,采用基于评分标准的协议衡量事实准确性与逻辑连贯性。 该基准统一测试了智能体在专业场景中的可靠性与实用准备度,已被 NeurIPS 2026 接收。

  12. arXiv · NLP24

    FA-Bench:面向强制对齐与 ASR 的音素及单词级时间戳准确性基准

    FA-Bench 发布统一评测框架,纳入 21 个开源模型与 9 个商用 API,采用基于容忍度的 F1 指标修正 MAE 导致的 9% 至 14% 分数膨胀。 该基准将边界按位置和邻词识别状态分组,发现 Whisper 系统性提前约 150 ms,多个商用 ASR API 延迟超 50 ms。 通过固定文本归一化与评分脚本,解决现有对比因数据分割和边界匹配方式不同导致结果无法直接比较的问题。

  13. arXiv · NLP35

    105个语言模型“选词”测试:46%模型选择Serendipity

    105个语言模型在96个开放式提示中,46%选择了“serendipity”作为“选一个词”的答案。 研究使用96个提示、每模型测试8次,发现大型实验室模型集中度不低于全领域,且轻微后训练模型更具发散性。 在共享类别中,模型群体比人类更集中,监督微调是向群体答案靠拢的最大步骤。

  14. arXiv · NLP41

    重新思考 LLM 评委可靠性:并非所有裁决都等价

    LLM-as-a-Judge 作为 NLP 评估标准范式,其系统性可靠性存在严重漏洞,裁决结果受位置偏差和温度设置显著影响。 研究对 6 个前沿模型进行审计,发现位置顺序交换会导致多数任务裁决反转,最确定性评委虽 100% 一致但与真值准确率仅 51%。 提出可信裁决率 T 指标,证明从成对胜率转向整体评分表能比单一提示词干预更显著提升评估可靠性。

  15. arXiv · NLP34

    TRACE 协议:诊断 LLM Agent 评估中验证器的脆弱性

    TRACE 协议通过针对性修改评估环节,将分数变化转化为可测试的诊断,以区分 LLM Agent 能力变化与评估误差。 在 25 个合成任务中,仅重命名工具导致脚本 Agent 分数下降 0.250;在 88 个新任务中,误导性工具名使所有 Agent 奖励降低 0.20-0.44。 单次运行比较无法区分呈现效果与运行间差异,15-36% 的任务结果在重跑时发生翻转。

  16. arXiv · NLP25

    UXBench Pro:多轮对话中个性化用户体验基准测试

    UXBench Pro 提出包含 1,000 个测试实例的用户体验基准,涵盖 12 个任务场景和 82 个领域。 该基准引入双视角范式,结合个性化用户奖励模型(URM)与 Sim4Eval 用户模拟器,并通过 URMBench 和 USimBench 验证评估可靠性。 实验结果强调用户建模和多视角评估的重要性,为个性化模型优化提供新视角。

  17. arXiv · NLP40

    SWE-Journey:面向长时程多轮交互的编程助手更真实评估基准

    研究团队提出 SWE-Journey 基准,旨在通过长时程任务和多轮交互更真实地评估编程助手。该基准结合弱到强合成管线生成任务,并基于四类用户画像构建模拟智能体重现交互。 结果显示模型在软件架构师场景下通过率超 75%,但在非程序员场景下低于 25%。分析指出,“问对、找对、改对”是当前助手辅助非程序员可靠编程的关键缺失能力。

  18. arXiv · NLP29

    临床医生使用大语言模型的方式与其评测基准存在偏差

    基于 35 个专科 8 个月内的 127,833 条真实查询分析显示,当前基准测试仅覆盖 31% 的实际任务组合,且多数基准未包含文档记录请求。 研究构建了临床 AI 基准图谱,发现前沿模型评测基准与实际临床工作相似度低于均匀分布,无法准确预测实际部署性能。 这表明基准分数难以反映临床 AI 在实际工作负载中的表现,评估体系需重新匹配真实的临床使用场景。