跳到正文
10月22日周四
  1. arXiv · AI26

    AlignGemini 提出正交监督解耦方法,实现 AI 生成图像检测的跨生成器泛化

    AlignGemini 通过正交监督解耦(Align, Don't Blend)解决 AIGI 检测泛化难题,在五个真实场景中提升 9.5%。 该方法让 VLM 仅接收语义监督,视觉专家仅接收伪影监督,无需复杂训练策略即可基于两个生成器实现跨生成器泛化。 研究同时引入覆盖八个当代生成器的诊断基准 AIGI-Now,以支持细粒度的检测能力评估。

  2. arXiv · ML54

    FrontierCS 2:面向计算机科学与研发的大模型Agent评测基准

    研究团队发布了FrontierCS 2,这是一个包含48个开放性任务的评测基准,用于评估LLM Agent在计算机科学与研发中的贡献能力。该基准要求Agent在现有研究代码仓库中提交补丁,最终通过保留的测试集进行评估,任务涵盖机器学习系统、高性能计算、数据库、安全与机器人等13个领域。

  3. arXiv · ML29

    基准测试是难度经验测度的观点:揭示匹配偏差与覆盖缺口

    研究指出基准测试隐含了对难度的经验测度,并定义了测度不匹配和覆盖缺口两种失败模式。 在7个领域、25个基准上的实证分析显示,许多基准隐式地过度加权了特定的难度区间,且存在大量未覆盖区域。 该研究提出了BenchFill算法,通过重写题目有效减少局部覆盖缺口,为基准评估提供了诊断手段。

  4. arXiv · AI31

    TIDE:基于行为诱导决策树的 LLM 细粒度诊断评估方法

    TIDE 提出将诊断评估重构为行为驱动的决策树归纳,通过层级能力树实现细粒度能力诊断。 该方法利用 LLM 裁判提出候选分裂,并基于行为信息增益选择最优分裂,在五个模型和四个基准测试中揭示了聚合分数无法识别的能力差异,例如 Claude Opus 4.6 在微观经济市场推理中达到 100% 而 GPT-5.4 为 83.3%。

  5. arXiv · AI40

    UserSWE:评估多轮动态交互中编码智能体的基准

    提出 UserSWE 基准以评估编码智能体在多轮对话中修复仓库级 Bug 的能力,涵盖 42 个仓库的 72 项任务。 测试基于 20,859 个开发会话校准的 persona chain,每轮执行测试并由双智能体判定结果。 评估显示 Claude Fable 5.1 在单轮解决任务最多,GPT-6-Astra 在八轮时表现最佳,证明单轮性能无法充分表征交互能力。

  6. arXiv · NLP28

    REPOCOD 基准测试:大语言模型尚不能替代程序员

    研究者构建了 REPOCOD 基准,包含 11 个真实项目中的 980 个 Python 全函数生成任务,其中 50.8% 需要仓库级上下文。 该基准配备 314 个开发者编写的测试用例,评估发现 10 个大语言模型均未超过 30% 的 pass@1,且检索增强生成优于依赖上下文。 这表明当前模型在真实软件开发场景中表现有限,需构建更强 LLM 辅助开发者。

  7. arXiv · NLP28

    RealControlBench:面向 LLM 和智能体可解释性驱动细粒度控制的基准

    RealControlBench 发布,评估 LLM 及智能体在五种行为维度上的细粒度转向效果。 该基准扩展至多轮执行交互,共同评估目标可控性与能力保留,考察转向效应对提示、领域及架构的鲁棒性。 现有转向方法在真实控制目标中不可靠,常导致模型基础任务性能显著下降。

  8. arXiv · NLP27

    大语言模型幻觉与事实可靠性基准测试:Fluent but Fallible 研究

    研究通过 70 个学术提示词对比了 ChatGPT、DeepSeek V3 等 10 款大语言模型在幻觉与响应偏差上的表现。 Perplexity 和 DeepSeek V3 整体准确率最高,LLaMA 3 幻觉抗性较强,Falcon 实现零幻觉但召回率最低。 结果揭示了响应完整性与事实可靠性之间的根本权衡,且受提示词复杂度显著影响。

  9. arXiv · ML28

    STRABLE:用于字符串表格机器学习的基准

    研究提出包含 108 个真实表格的基准数据集 STRABLE,评估了 445 条处理字符串与数字表格的数据流水线。 实验发现:对于类别主导的表格,结合简单字符串嵌入的专用表格学习器能以低计算成本获得良好预测;在自由文本主导的表格上,大型 LLM 编码器表现出竞争力,且性能受后处理影响。 STRABLE 为研究“字符串表格”学习提供了基础,其通用可泛化的流水线排名接近预言排名。

  10. Hugging Face Blog84

    NVIDIA 发布 Kumo Relational:无需训练的预训练关系型基础模型

    NVIDIA 发布预训练关系型基础模型 Kumo Relational,支持直接在企业数据库上通过单次前向传播完成预测,无需任务级训练或特征工程。该模型在 15 个关系型数据库的 41 项任务上超过监督式关系深度学习模型和专家构建的梯度提升树管线;在 SAP SALT 基准上比 AutoGluon 集成模型的 MRR 高出 8%。

    推荐理由:Kumo Relational 作为无需训练的预训练关系型基础模型,给出了 41 项任务上的具体性能数据,可作为替换生产级特征工程管线的参照。

10月21日周三
  1. 阿里语音AI77

    Qwen-Audio-3.1-Realtime 发布:实现全双工实时语音交互

    Qwen-Audio-3.1-Realtime 发布,实现“边听、边想、边说、边动”的全双工实时语音交互,支持并行工具调用与异步任务执行。在 Audio MultiChallenge 评测中达到 52.21% 通过率,在 Full-Duplex-Bench v1.5 中用户打断响应率 84.5%,表现优于 GPT-Realtime-2。

    推荐理由:原文给出了全双工交互架构和多模态后训练方法,读者可以据此了解实时语音Agent的技术实现路径。

  2. arXiv · AI43

    BreakingWeb:通过受控环境干预构建高难度浏览器代理基准

    研究团队提出基准 BreakingWeb,包含 519 个任务对,通过受控干预使 6 个浏览器代理平均通过率下降 22.9 个百分点。 这些干预改变网站内容、服务器状态或网络响应,而人类用户首试通过率仅下降 10.0 个百分点。 75% 的代理失败源于信念错误,即代理在未完成必要更改时宣告任务结束。

  3. arXiv · AI31

    Agents-as-Peers:一种用于 LLM 评估的多智能体同侪互评协议

    Agents-as-Peers 提出多智能体互评协议,在 12 个 LLM 和 420 道题目中收集 55,440 个非自我互评判断。 实验发现自我评分普遍高于互评分数,且首位答案获得额外 0.39 分优势;互评分数与 TruthfulQA 准确率相关达 r=0.904。 该协议支持将排名与测量出的偏差及评分者效应一同报告。

  4. arXiv · AI25

    Code2Video-Compass:面向通用代码视频生成的基准评测

    该研究提出 Code2Video-Compass 基准,包含 2,104 个任务,覆盖 T2V、I2V 及 V2V 设置,用于评估代码生成视频。 其双层级评估框架结合 12 项客观指标与 5 项主观指标,测试了来自 9 个系列的 15 个 MLLM。 结果显示,随着构建、动态动画及状态依赖复杂度增加,领先模型在生成高质量视频时表现普遍下降。

  5. arXiv · AI20

    AnomalyJev:通过声明级验证评估图像异常检测解释

    研究团队提出轻量级框架 AnomalyJev,通过从图像异常检测解释中提取声明并与真值验证,评估多模态大语言模型生成的文本解释,无需生成 token。 该框架利用基于指针的头部处理上下文化表示,构建了包含 640 个人工标注解释及超过 1600 个专家评级的测试集,显著提升了与人类标注者的一致性。

  6. arXiv · AI31

    MMEnterprise-Bench:评测多模态记录演进下的企业智能体

    论文提出基准测试 MMEnterprise-Bench,包含 1,613 个基于模拟协作项目中演进多模态记录的问题。 评测涵盖证据推理、冲突解决和不可回答性三类任务,测试了 10 个专有及开源多模态 LLM。 结果显示最强模型在跨源或时间冲突证据面前仍表现挣扎,增加检索预算或未显著提高答案准确率。

  7. arXiv · AI34

    MAMath-Bench:面向多智能体数学推理的过程感知与鲁棒性评估基准

    MAMath-Bench 是一个包含 1003 道题目、涵盖 11 个数学类别及文本/图像/音频多模态的过程感知基准。 该基准通过细粒度里程碑标注,评估多智能体系统在解题正确性、推理过程可靠性及对抗性扰动鲁棒性三个维度的表现。 研究发现,多智能体协作不总能提升最终答案准确性,且现有系统对细微结构扰动的对抗性推理错误仍显脆弱。

  8. Hugging Face Blog70

    FairStress:LLM决策中公平性的深度评估基准

    Ai2 发布 FairStress,一个用于测量 LLM 在影响人们机会、资源和医疗的高风险决策中人口公平性的基准。FairStress 包含 300 个真实场景,通过引入对抗性前缀,不仅测量最终选择,还评估模型在面对劝说时改变决策的稳定性。

    推荐理由:揭示了传统人口公平基准隐藏的反刻板印象过度纠偏现象,并给出了对抗性前缀下的稳健性评估框架。

10月20日周二
  1. Hugging Face Blog72

    ALTK-Evolve 用提示词级学习记忆在 τ²-bench 客服基准中超越多家前沿模型

    ALTK-Evolve 通过让 GPT-4.1 从自身在 τ²-bench 上的运行轨迹中自动提炼行为指南(如先验证身份、一步只做一个动作等)并附加到系统提示词,无需更新模型权重,即可让 GPT-4.1 在 τ²-bench 零售域的 Pass^4 指标达到 67.5%,超越榜单快照中所有其他零售条目(包括微调模型 RAFT-30B-A3B)。

    推荐理由:用GPT-4.1从自身运行轨迹提炼规则并加入提示词,在无需微调权重的情况下显著提升客服智能体的准确率与可靠性,提供了一种可迁移的智能体增强方法。

  2. arXiv · AI35

    InfraBench:评估跨层级、生命周期与风险的基础设施智能体

    InfraBench 发布 12 项种子任务基准,18 种智能体模型配置在 3 次尝试中平均有效得分介于 45.5% 至 89.2% 之间,最强配置 77.8% 完全通过。 生命周期检查通过率显示功能修复达 91.5%,但持久性降至 80.9%,清理仅为 38.9%,表明即时恢复并非完整运维能力指标。该基准及评测框架已开源,计划扩展至 40-60 项任务。

  3. arXiv · AI31

    基于六个 LLM 基准测试评估 IRT 在 AI 评测中的可靠性

    研究通过 18,000 次模拟实验表明,标准 IRT 估计器在大型 AI 基准测试中常面临计算不可行性或结果不可靠的挑战。实验对比了 4 种估计器,并基于 6 个广泛使用的 LLM 基准测试数据,系统评估了其在模型排名和性能预测上的差异。 该研究发表于 NeurIPS 2026 评测与数据集赛道,指出了潜在特质模型在支持或扭曲 AI 基准测试结论时的边界条件。

  4. arXiv · AI42

    PACE基准测试:编码智能体在企业级成熟仓库中的表现评估

    研究推出包含43项企业级任务的PACE基准测试,以评估编码智能体执行产品需求文档(PRD)的能力。11种模型配置中,GPT-5.6-Sol完全交付率最高,达14.0%。 测试结果显示模型在实现完整性和集成方面存在瓶颈。同一模型的多次运行在评估一致性上优于专家共识,准确率95.2%。

  5. arXiv · AI20

    CaFE 框架通过结构多样性增强时序基础模型评估

    CaFE 提出可刷新评估扩展,为静态基准增加结构多样性。基于 GIFT-Eval 和 FEV-Mini20 实验,该框架通过定义 8 种结构特征并重新采样数据,生成多维度能力画像。 在真实数据过滤下,CaFE 选出的模型优于聚合榜单选择。这使得模型选择能够针对特定的结构响应需求,克服了单一分数掩盖性能短板的局限。