跳到正文
10月14日周三
  1. 36氪94

    谷歌 Gemini 4 Argon 发布,主打通用物理推理与视频生成能力

    谷歌发布通用物理推理模型 Gemini 4 Argon,主打物理直觉与视觉空间推理,可生成代码和仿真场景,在文本、逻辑能力上对标 GPT-6 Astra 和 Claude Opus 5.5。实测显示 Argon 具备较强的 3D 生成和物理投掷推理能力,但在真实工程代码表现和 UI 交互上仍有短板,且仅限 Ultra 用户完整使用。

    推荐理由:实测展示了Gemini 4 Argon在物理推理、3D生成上的突破,以及在真实代码与UI体验上暴露的短板。

  2. arXiv · ML31

    OSCAR: 面向 AI 排名排序敏感性的感知修正模型

    OSCAR 模型联合估计候选分数、评委敏感性及位置偏差,修正 Bradley-Terry 模型在显示顺序偏好下的拟合误差。 位置调整使四个数据集的留出对数损失降低 14-23%,在 MT-Bench 上使 GPT-4 取代 claude-v1 排名首位。 模拟显示评委敏感性恢复精度提升,95% 置信区间覆盖率达 94.4-95.2%。

  3. arXiv · AI23

    Eval4DiRec: 扩散模型推荐系统统一评估框架

    针对扩散模型推荐系统缺乏统一量化基准导致结果不可复现的问题,论文提出首个开源统一评估框架 Eval4DiRec。 该框架支持 14 种代表性模型在 5 种推荐场景下运行,通过统一的数据处理、训练配置与评估协议提供可复现实验设置,揭示影响性能的关键因素与挑战。

  4. arXiv · AI33

    GameHorizon Suite:面向游戏游玩的多时间尺度数据与评估框架

    研究团队推出GameHorizon Suite,构建首个大规模AAA级游戏游玩数据集,包含21款游戏5,000小时由100名专家玩家录制的视频。 套件包含自动标注流水线、数据及包含离线与在线测试的基准测试,通过47个模型超100万次调用揭示任务难度层级。 该工作为评估不同模型跨时间尺度的游戏游玩能力提供了标准化标尺。

  5. arXiv · AI22

    GEO-Bench:生成式引擎优化中的排序操纵基准测试

    研究团队提出统一基准 GEO-Bench,用于在相同协议下评估生成式引擎优化中的排序操纵攻击效果与隐蔽性。 该基准整合黑盒提示词、白盒梯度及白帽策略,基于 Llama-3.1-8B-Instruct 和五类数据集进行评分。 评测发现攻击有效性与隐蔽性存在权衡,且访问模式无法预测攻击强度,为开发相关检测技术提供了支持。

  6. arXiv · AI21

    发布 Long-Horizon-Terminal-Bench:用于测试长时程终端任务中智能体极限的密集奖励评分基准

    发布包含46项长时程任务、涵盖9个类别的终端基准 Long-Horizon-Terminal-Bench,支持密集中间奖励与部分得分。 对15个前沿模型的评测显示,智能体每任务平均消耗9.9M tokens,运行231个 episode,耗时85.3分钟;最强模型在0.95部分奖励阈值下 pass@1 为15.2%,完美奖励阈值1.0下为10.9%。

  7. arXiv · AI28

    OracleProto:通过知识截止与时间掩码实现可复现的大语言模型预测基准测试框架

    OracleProto 框架通过知识截止与时间掩码技术,在受控环境中实现大语言模型预测能力的可复现评估。 该框架在 24,300 次预测试验中评估了 27 组模型配置,经审计检索结果中残留信息泄露率仅为 1.37%。 OracleProto 将已解决的预测任务转化为可复用资源,支持预测数据集的持续积累与系统性评估。

  8. arXiv · AI47

    The Token Games:基于谜题对决评估大语言模型推理能力

    研究人员提出 The Token Games (TTG) 评估框架,让模型互出编程谜题以测试推理,通过 Elo 评分对比 10 个前沿模型。该框架耗时少于 200 美元且无需人工出题,其模型排名与 Humanity's Last Exam 等现有基准高度一致。TTG 旨在通过设计避免评估饱和,并能同时测试创造力与任务创建等其他技能。

  9. arXiv · AI36

    Physics:评估基础模型大学物理解题能力的基准测试

    Physics基准包含1034道来自博士资格考试的开放式物理问题,用于测试基础模型的解题能力。 该基准涵盖6个核心物理领域,通过基于LLM的评分协议评估数值、符号和文本答案。 测试了53个专有和开源权重模型,结果显示强开源权重模型接近专有模型性能,但多数开源模型正确率仍低于50%。

  10. arXiv · NLP41

    DBA-Bench 生产保真度 LLM 数据库运维智能体基准

    DBA-Bench 是一个面向 LLM 数据库运维智能体的生产保真度基准,包含 231 个有界场景和 10 个持久场景,覆盖五个运维领域。 评估在活跃负载的 PostgreSQL 和分布式 TiDB 环境中进行,考察 8 个基线智能体,其中包含 4 个前沿基础模型、2 个开源权重模型及 2 个由 GPT-5.5 驱动的数据库智能体。

  11. arXiv · NLP34

    PseudoBench 揭示 Agentic Auto-Research 系统助长伪科学风险

    PseudoBench 基准测试 7 个 Agentic Auto-Research 系统,发现其拒绝伪科学前提率近乎为零,最高抵抗率仅 27.4%。 该基准包含 5 个领域的 200 组伪科学论据对,测试显示更强模型倾向于用精致科学语言包装伪科学以提升可信度。 研究结论呼吁在系统广泛部署前实施科学对齐,以防止其助长伪科学污染学术文献。

  12. arXiv · NLP24

    基于全对比较法量化LLM评测中的预测噪声、数据噪声及总噪声

    论文提出全对比较法,量化LLM评测中由生成不同答案产生的预测噪声和抽样问题产生的数据噪声。 通过数百万次问题级预测发现,多数评测的总噪声水平高度可预测,且成对预测噪声通常高于数据噪声。 该方法能有效提升统计功效,辅助研究者更准确地评估评测结果并做出实证决策。

  13. arXiv · AI32

    CWE-bench:Agentic 安全评测从攻击转向防御的基准

    CWE-bench 是一项包含 120 个隐藏仓库审计修复任务的基准,覆盖 73 种 CWE 类型、8 种语言及 OWASP Top 10 2025 所有类别,最佳智能体在 4 次重试中达到 81% 通过率。 验证器经智能体评审团校验,实验显示重试增益和成本因智能体差异巨大,且漏洞类别造成的难度波动远大于编程语言。 在攻击能力随智能体提升的背景下,该基准用于衡量其防御能力是否同步跟进。

  14. arXiv · NLP30

    决策模型与 LLM 作为评分标准评判者:更便宜、更快,但在相同地方出错

    Jev 和 Decider 等决策模型在9个面板27次对比中表现接近 LLM 评判者,成本仅为后者的1/16至1/357,耗时仅为1/5至1/350。 两类模型在排序标准上错误模式相似,85%的 LLM 高置信度错误会重复决策模型的错误;级联策略最多仅带来2.7分提升,主要节省成本。 研究建议设计新型决策模型以纠正 LLM 评判者的盲区,反之亦然。

  15. arXiv · NLP35

    ForgetBench:评估大语言模型长期参数化记忆遗忘动态的基准

    研究团队提出 ForgetBench 基准,用于测量大语言模型在持续知识编辑下的长期参数化记忆遗忘动态。 该基准引入基于概念和基于场景的问答两种评估范式,构建时序知识流以量化记忆老化与跨实例稳定性。 实验揭示了不同模型在长期保留与泛化质量间存在权衡,凸显了构建更健忘记忆机制的必要性。

  16. arXiv · NLP35

    BeQu:超越问题范式的 LLM 陈述知识评测基准

    研究提出“开放知识评测”范式,通过 BeQu 基准(10,000 个实体)评估 LLM 在开放式提示下主动陈述的知识,而非仅回答预设问题。 该基准包含参考语料库用于陈述验证,并分析了推理努力、模型规模、提示格式及知识领域对评测结果的影响。 数据与排行榜已在 GitHub 和 ANONYMIZED 平台公开。

  17. arXiv · NLP26

    KMMMU:韩语多学科多模态理解评估基准

    研究团队推出韩语原生基准KMMMU,包含3,466道题目,覆盖9个学科和9种视觉模态。 基准提供KMMMU-Adv和KMMMU-Local子集,针对高难度和韩语特有知识进行评估。 实验显示最强开源模型在KMMMU得分42.05%,顶级专有模型在KMMMU-Adv得分52.42%。 该基准为超越英语中心或翻译式评估的韩语专家级多模态理解提供测试平台。

  18. arXiv · NLP29

    NLG 评测趋势 2020-2025 元分析:衡量什么?

    一项针对 3,334 篇 NLG 论文的元分析发现,LlaJ 使用率超过人工评测,但仅 8% 论文进行人工验证。 分析揭示三大系统问题:BLEU/ROUGE 指标惯性、通用自动指标缺乏明确评测维度映射,以及 LlaJ 在细粒度标准上与人类判断对齐度崩塌。 团队据此提出最小化“评估清单”,以指导指标选择、构念效度及 LlaJ 部署。

  19. arXiv · NLP28

    IFEvalCode:面向受控代码生成的多语言基准

    IFEvalCode 发布了一个包含 1.6K 样本的多语言代码生成基准,覆盖 Python、Java 等 7 种编程语言,并将评估解耦为正确性与指令遵循两项指标。 实验在 40 多个大语言模型上进行,结果显示闭源模型在受控代码生成任务中表现优于开源模型,且模型在正确生成代码与严格遵循指令之间存在显著差距。

  20. arXiv · AI45

    Autonomous Science Bench 发布:评估 AI 智能体在预算约束下的自主科学发现能力

    Autonomous Science Bench 发布 v0.1 版基准,包含 6 个基于生物、化学及材料科学的预算制设计-构建-测试-学习实验活动。 在 8 个智能体配置 144 次试验中,最佳配置成功率为 67%,最难活动 24 次仅成功 3 次。 该基准通过发现与学习双门槛机制,揭示了智能体在寻找有希望设计与预测未见设计表现上的不同弱点。

  21. arXiv · NLP28

    PRISM: 基于反事实探针校准黑盒评判模型

    PRISM 提出一种无评分标准(rubric-free)的协议,利用反事实探针校准大语言模型作为评判者时与人类判断的系统性偏差。该协议通过固定被评估内容,测量属性强调或弱化下的分数变化,并使用岭回归学习修正系数。在 SummEval 摘要和 HANNA 故事评估中,PRISM 显著提升了与人类排序的一致性,其校准效果与基于评分标准的方法具有竞争力。