跳到正文
10月29日周四
  1. Hacker News AI58

    AI 智能体能否胜任高级专家工作:现有证据的解读

    现有实证研究显示,AI 在部分受控任务中可媲美或优于专家,但在开放判断、方法选择及特定场景下存在显著局限。Bostan Consulting Group 的试验表明,AI 助手在“技术前沿”内能提升效率,但在前沿外易导致错误率上升;METR 研究发现资深开发者在使用早期 AI 工具时实际耗时反而增加 19%,与其主观感受相悖。

  2. LessWrong · All Posts82

    追踪廉价开源权重模型的网络能力:小米 MiMo-V2.6-Pro 评估

    作者评估了小米发布的开源权重模型 MiMo-V2.6-Pro,该模型在 ExploitBench 网络任务中排名第三,低于 Mythos 和 GPT-5.5。MiMo 性能受种子影响显著,且通过接入互联网和漏洞利用代码可提升实际攻击能力,测试中成功利用未修补的 PHP 漏洞获取服务器访问权限。

    推荐理由:原文评估了小米 MiMo 模型的低成本与网络攻击能力,指出其在特定任务上超越部分高价模型,揭示了开源模型安全风险。

  3. Latent Space41

    Elorian 发布视觉推理模型 Glimpse 及 DecoyCount 基准

    Elorian 发布视觉推理模型 Glimpse,在 DecoyCount 基准中以 50.48% 准确率超越 GPT-6 Astra (43.17%),成为唯一突破 50% 的模型。 Glimpse 是单轮独立运行结果,而前沿模型为三轮平均;Glimpse 的训练数据中未发现与测试集重叠。 该基准揭示了模型区分视觉缺失与推理错误的机制,Elorian 称其在机器人等场景具备成本优势。

10月28日周三
  1. The Decoder57

    Artificial Analysis 新版智能指数拉开开源与闭源模型差距

    Artificial Analysis 更新其 Intelligence Index v5,使 Kimi K3.1 Pro 从第四跌至第九。新指数将开源模型与榜首的差距扩大到 12 分(此前为 3 分),首次采用 60% 的私有测试集以防止针对已知考题训练。文中还引用研究员观点指出,部分排名变化源于强化学习环境与测试任务的相似性,且闭源测试集存在无法外部校验 prompt 错误的缺陷。

  2. arXiv · NLP35

    多语言情境化评估的现状与命运:NLP 领域的基准审计

    研究者审计了51个涵盖219种语言的多语言基准,指出覆盖广但单薄,36%的语言仅被单一基准评估,且高资源语言评测任务数远超低资源语言。 56%的数据集通过翻译英语构建,导致文化代表性不足,且存在基准污染问题。 作者建议构建原生、文化扎根且抗污染的评价框架,以更好地服务语言社区。

  3. arXiv · AI36

    CalArena:大规模事后校准基准

    CalArena 发布了覆盖近 2000 个实验的事后校准基准,涵盖表格和计算机视觉任务。 该基准聚合了经典模型、深度学习架构及基础模型的预测,并包含数十种校准方法的统一实现。 研究者提出以合理评分规则中的事后改进(PHI)替代传统校准误差估计器,并开源了数据与代码。

  4. arXiv · AI29

    UnityBench-Mini3D:评估LLM智能体在Unity中开发3D游戏的能力

    发布UnityBench-Mini3D,包含77个Unity项目级任务,用于评估LLM智能体在3D游戏开发中的表现。 该基准使用1,178个人工编写的里程碑测试进行评估,覆盖场景结构、组件配置和运行时行为。 在21个模型和9个编码框架测试中,简单任务平均通过率为80.9%,困难任务为35.2%,总体为57.7%。

  5. arXiv · AI28

    LiveSearch:基于可执行验证代码的专业金融搜索智能体实时基准

    LiveSearch 是一个金融搜索实时基准,它将问题存储为对专业金融数据服务的可执行验证代码,在评估时动态确定正确答案。 该基准通过每日自动重新执行程序来避免答案过时,且构建过程仅由语言模型将工具响应转化为程序,不参与答案选择。 在通用网络搜索条件下,六款最新的工具调用模型回答准确率介于 70.9% 至 76.7% 之间,且在三天内 70% 的问题黄金值发生变化。

  6. arXiv · AI25

    因果建模分析思维链忠实度评估中的正确性条件选择偏差

    研究通过七变量结构因果模型分析思维链(CoT)忠实度评估中限制于正确回答实例产生的选择偏差,推导了观测差距公式。 对18篇论文进行协议审查,并在四个算术任务部署中验证了正向选择差距,其中 GLM-5.3 模型在1000个样本下显示出 +7.4 个百分点的差距。 当反事实依从性可观察时,直接评估所有推理轨迹可估算总体忠实度,无需进行正确性过滤。

  7. arXiv · AI26

    RubricAtlas:从专家报告中挖掘类型级评分细则以评估深度研究智能体

    提出 RubricAtlas 框架,基于 3,079 份中文金融研报构建类型级评分细则,覆盖 99 种研究类型。 实验显示单份报告仅覆盖半数分析问题,不同参考报告选择会改变评测分数与排名。 在 10 个智能体上,两条评审流水线达成 0.71 的检查点一致率和 0.87 的 Kendall τ 排名一致性。

  8. arXiv · AI44

    InfraDev:代码智能体能否开发 AI 基础设施及如何评估

    InfraDev 基准由 36 个源自 Megatron-LM、vLLM 和 verl 的真实 PR 任务组成,用于评估代码智能体在分布式 AI 基础设施开发中的表现。 该基准联合生成隐藏探针和提示词进行评分,共享执行环境使存储减少 52-57%,构建时间减少 13-14%。 六个前沿模型中表现最好者仅解决 38.9% 的任务,探针拒绝了 32% 通过官方测试但错误的提交。

  9. arXiv · AI28

    Recoverability-Controlled Safety Miscalibration in Large Language Models

    RiskCueBench 基准显示,在意图可恢复时,LLM 增加上下文特异性会导致拒绝率降低 0.175,全局安全评分降低 0.440。 该基准包含 160 个潜在意图和 640 个表面提示,覆盖 25 个模型组及 32,000 个输出,证实安全行为可能因表面形式而错配。 这促使评估方法在语义可恢复性条件下报告响应行为。

  10. arXiv · AI38

    揭示 LLM 中规避性数据污染的 Zero-CoT 截断方法

    研究提出 Zero-CoT Probe (ZCP) 黑盒检测法,通过截断 Chain-of-Thought 过程来揭示 LLM 中隐藏的规避性数据污染。 该方法将零 CoT 性能与同构扰动参考数据集对比,并引入 Contamination Confidence 指标量化污染的概率和严重程度。 在已识别及特别微调的污染模型上进行的实验证明,ZCP 能稳健地检测出直接和规避性的数据污染。

  11. arXiv · AI35

    多国胸片AI分类模型回顾性诊断准确性研究

    研究回顾评估了10个胸片AI分类模型在来自六国的12个数据集上的表现,主要结局为95%敏感度下的特异度。 MAVL和MedKLIP总体特异度最高(0.37),但PPV仅0.18-0.19;在机构队列中,多数模型特异度比公开基准低0.09-0.15。 这表明公开基准性能高估了模型在未见数据上的表现,部署前需进行外部验证。