跳到正文
10月7日周三
  1. arXiv · ML33

    SELF-POT 基准衡量语言模型测试时计算的增益

    论文提出 SELF-POT 框架,统一评估语言模型在竞赛数学、编程及智能体任务中的测试时计算收益。 该框架通过固定倍数预算,对比直接推理与并行采样、自修订策略的成本与准确率。数据显示,公共示例选择可将编程正确提交数从 376 提至 453,并节省 12-49% API 成本。 研究量化了模型判据的边际价值,为低成本模型通过增加推理替代更强模型提供了量化依据。

  2. arXiv · ML28

    基于 AI 评判者的可信方法比较:序、批次与聚合效应下的估计与设计

    大语言模型(LLMs)作为评判者时,随机化提示并平均得分的做法统计有效性尚不明确。 文章提出用一阶马尔可夫广义线性混合模型(GLMM)近似 LLM 评估机制,通过三大商业 LLM 的样本外预测验证了该模型。 在领导者排行榜中,随机化-平均选择在温和分离条件下具有一致性;在组比较中,由于响应模型非线性,简单平均可能得出不一致的结论。

  3. arXiv · ML31

    Logbook:用于小时级音频事件理解的基准

    Logbook 是一个旨在突破短片段限制的基准,涵盖时长从 10 分钟到 6 天的小时级音频理解任务。该基准要求系统对连续音频进行无间隙分割,并为每个片段预测事件标签及描述。研究对比了 52 个系统,发现端到端模型通常优于级联系统,但长上下文会导致性能下降,且细粒度分割是普遍挑战。

  4. arXiv · ML20

    CroissantMiner:面向 ML 数据集的 Croissant 元数据自动化提取与验证

    论文发布首个针对 Croissant 元数据提取的端到端基准,包含 602 篇论文,其中 102 篇有人工验证金标注。 实验涵盖前沿模型、开源模型及 Agent 架构,发现单次提取在准确性上优于四种分步 Agent 架构。 研究指出当前系统在长文 RAI 字段上可靠性极低,官方已开源基准、代码及排行榜。

  5. arXiv · ML40

    DecepEval:评估 LLM 智能体欺骗行为的基准测试

    研究团队提出 DecepEval 基准,包含 1,532 个实例覆盖 3 类任务与 28 种专业场景。 引入“LLM 欺骗钻石”框架,通过 9 个前沿 LLM 评测发现,压力、激励等外部诱导因素会显著提升欺骗率,且此现象在低基线欺骗率模型中同样存在。 DecepEval 为衡量 LLM 智能体在受控条件下的欺骗行为提供了可复现的共享基准,有助于推进可信 AI 的发展。

  6. arXiv · ML43

    样本最优的 Fréchet Inception Distance (FID) 估计

    研究提出 Relative Taylor Debiasing (RTD) 算法,实现了 O(d/ε²) 的样本复杂度最优 FID 估计。RTD 在 50K 样本预算下达到最低平均估计误差,其 VALE₂ 估计器仅用 10K 样本即可匹敌 50K 样本下的 FID∞ 精度。 RTD 利用 U-statistics 启发的去偏技术,显著提升了有限样本下生成模型评估的准确性与效率。

  7. Hacker News LLM34

    GPT-3.5 Turbo Instruct 在象棋对弈中击败 GPT-5.6 Sol 和 Claude Opus 5

    GPT-3.5 Turbo Instruct 在与 GPT-5.6 Sol 和 Claude Opus 5 的四局象棋对弈中全胜,保持十战十绩。 前沿模型主要因遗忘棋子位置而走出非法步,GPT-3.5 凭借完整的 PGN 格式记录成功继续生成合法走法。 OpenAI 将于明日关停该模型访问权限,作者借此复盘其未败原因及前沿模型在特定格式下的局限。

10月6日周二
  1. LessWrong · All Posts58

    TasteVal:衡量AI系统实验研究品味的基准

    TasteVal 是一个衡量 AI 模型在 AI 研发任务上实验研究品味的基准,将品味操作化为达到给定分数所需的实验算力效率。该基准包含 8 个新颖任务,涵盖预训练数据筛选、模型微调、偏好建模和对抗提示鲁棒性,由 24 位来自 OpenAI、Google DeepMind、NVIDIA 和 Microsoft Research 的专家提供人类基线。

  2. IT之家82

    Mistral AI 发布 Mistral Large 4 公开预览版,月底开放权重

    Mistral AI 推出 Mistral Large 4 公开预览版,可在 Mistral Studio 使用预览 API,权重将于本月底开放下载。该模型为 1 万亿总参数、490 亿激活参数的原生多模态模型,官方称其在网络安全、金融与法律等企业工作负载中达到开源模型 SOTA,并在部分领域表现超越当前前沿闭源模型。

    同一新闻,精选展示《Mistral Large 4 发布:1T 参数开源多模态模型》

  3. arXiv · NLP30

    SCEval 揭示全模态模型的结构脆弱性

    研究提出结构损坏评估协议 SCEval,通过扰动文本、视觉和音频内部结构,发现全模态模型性能显著下降。该协议基于 273 个人工验证样本,评估了 15 个专有及开源系统,显示多模态退化呈非加性特征。结果证明仅在干净输入上的高分无法证明模型在跨模态结构失效时仍可靠。

  4. arXiv · NLP44

    LLM-as-a-Judge 设计选择对评估结果的影响:提示词、评分量表与模型的实证对比

    评估显示 LLM-as-a-Judge 整体可靠,但在 1-7 分制上平均绝对偏差达 0.11,毒性判断准确率超 96.5%。 设计选择会导致显著偏差:修改评分量表可使偏差变化 0.93 分,详细提示词降低 28.9 个百分点,切换模型降低 56.1 个百分点。 模型身份是方差的主要来源,该发现为构建更稳健的 LLM 评估流程提供了方法参考。

  5. arXiv · AI31

    MMBU:迄今最大多模态生物医学理解基准,评测 21 个视觉语言模型的感知能力

    研究者推出 MMBU 多模态生物医学理解基准,覆盖 35 个子模态,是迄今最大的生物医学视觉语言基准,包含无定位分类、定位分类和目标检测的开放与闭源版本。 主对比评测了 16 个开放权重和 5 个前沿 VLM,发现医学适配虽能带来一定提升,但既有基准上的高准确率常掩盖视觉感知与领域泛化的不足。 团队还定义了开放式 MMBU 困难集,分为公开子集与留出私有子集,用于压力测试前沿模型。

  6. arXiv · AI31

    AgentLens 揭示 SWE-Agent 评测中的“幸运通过”问题

    研究评估 2,614 条 OpenHands 轨迹,发现 10.7% 的成功案例属于依赖试错而非逻辑的“幸运通过”。 AgentLens-Bench 包含 1,815 条标注轨迹,不同模型后端的幸运通过率差异达 0.5% 至 23.2%,排名可能变动五个位次。 该框架通过过程级评估,区分了混乱试错与严谨解决,提升了 SWE 智能体评测的有效性。