跳到正文
10月30日周五
10月28日周三
  1. arXiv · NLP35

    多语言情境化评估的现状与命运:NLP 领域的基准审计

    研究者审计了51个涵盖219种语言的多语言基准,指出覆盖广但单薄,36%的语言仅被单一基准评估,且高资源语言评测任务数远超低资源语言。 56%的数据集通过翻译英语构建,导致文化代表性不足,且存在基准污染问题。 作者建议构建原生、文化扎根且抗污染的评价框架,以更好地服务语言社区。

  2. arXiv · AI36

    CalArena:大规模事后校准基准

    CalArena 发布了覆盖近 2000 个实验的事后校准基准,涵盖表格和计算机视觉任务。 该基准聚合了经典模型、深度学习架构及基础模型的预测,并包含数十种校准方法的统一实现。 研究者提出以合理评分规则中的事后改进(PHI)替代传统校准误差估计器,并开源了数据与代码。

  3. arXiv · AI29

    UnityBench-Mini3D:评估LLM智能体在Unity中开发3D游戏的能力

    发布UnityBench-Mini3D,包含77个Unity项目级任务,用于评估LLM智能体在3D游戏开发中的表现。 该基准使用1,178个人工编写的里程碑测试进行评估,覆盖场景结构、组件配置和运行时行为。 在21个模型和9个编码框架测试中,简单任务平均通过率为80.9%,困难任务为35.2%,总体为57.7%。

  4. arXiv · AI28

    LiveSearch:基于可执行验证代码的专业金融搜索智能体实时基准

    LiveSearch 是一个金融搜索实时基准,它将问题存储为对专业金融数据服务的可执行验证代码,在评估时动态确定正确答案。 该基准通过每日自动重新执行程序来避免答案过时,且构建过程仅由语言模型将工具响应转化为程序,不参与答案选择。 在通用网络搜索条件下,六款最新的工具调用模型回答准确率介于 70.9% 至 76.7% 之间,且在三天内 70% 的问题黄金值发生变化。

  5. arXiv · AI25

    因果建模分析思维链忠实度评估中的正确性条件选择偏差

    研究通过七变量结构因果模型分析思维链(CoT)忠实度评估中限制于正确回答实例产生的选择偏差,推导了观测差距公式。 对18篇论文进行协议审查,并在四个算术任务部署中验证了正向选择差距,其中 GLM-5.3 模型在1000个样本下显示出 +7.4 个百分点的差距。 当反事实依从性可观察时,直接评估所有推理轨迹可估算总体忠实度,无需进行正确性过滤。

  6. arXiv · AI26

    RubricAtlas:从专家报告中挖掘类型级评分细则以评估深度研究智能体

    提出 RubricAtlas 框架,基于 3,079 份中文金融研报构建类型级评分细则,覆盖 99 种研究类型。 实验显示单份报告仅覆盖半数分析问题,不同参考报告选择会改变评测分数与排名。 在 10 个智能体上,两条评审流水线达成 0.71 的检查点一致率和 0.87 的 Kendall τ 排名一致性。

  7. arXiv · AI44

    InfraDev:代码智能体能否开发 AI 基础设施及如何评估

    InfraDev 基准由 36 个源自 Megatron-LM、vLLM 和 verl 的真实 PR 任务组成,用于评估代码智能体在分布式 AI 基础设施开发中的表现。 该基准联合生成隐藏探针和提示词进行评分,共享执行环境使存储减少 52-57%,构建时间减少 13-14%。 六个前沿模型中表现最好者仅解决 38.9% 的任务,探针拒绝了 32% 通过官方测试但错误的提交。

  8. arXiv · AI28

    Recoverability-Controlled Safety Miscalibration in Large Language Models

    RiskCueBench 基准显示,在意图可恢复时,LLM 增加上下文特异性会导致拒绝率降低 0.175,全局安全评分降低 0.440。 该基准包含 160 个潜在意图和 640 个表面提示,覆盖 25 个模型组及 32,000 个输出,证实安全行为可能因表面形式而错配。 这促使评估方法在语义可恢复性条件下报告响应行为。

  9. arXiv · AI38

    揭示 LLM 中规避性数据污染的 Zero-CoT 截断方法

    研究提出 Zero-CoT Probe (ZCP) 黑盒检测法,通过截断 Chain-of-Thought 过程来揭示 LLM 中隐藏的规避性数据污染。 该方法将零 CoT 性能与同构扰动参考数据集对比,并引入 Contamination Confidence 指标量化污染的概率和严重程度。 在已识别及特别微调的污染模型上进行的实验证明,ZCP 能稳健地检测出直接和规避性的数据污染。

  10. arXiv · AI35

    多国胸片AI分类模型回顾性诊断准确性研究

    研究回顾评估了10个胸片AI分类模型在来自六国的12个数据集上的表现,主要结局为95%敏感度下的特异度。 MAVL和MedKLIP总体特异度最高(0.37),但PPV仅0.18-0.19;在机构队列中,多数模型特异度比公开基准低0.09-0.15。 这表明公开基准性能高估了模型在未见数据上的表现,部署前需进行外部验证。

  11. arXiv · AI35

    Co-Design Bench 发布:面向 Agentic 模型的多模态协同编码评测基准

    Co-Design Bench 是一款包含 273 项任务的无参考基准,专门评测编码智能体将用户多模态需求转化为应用修改的能力。 该基准设有 ME 和 RE 两条赛道,涵盖 3 个能力维度,并采用 2,331 条隐藏专家验收标准进行“先裁决后反驳”的评分。 在十种模型端点中,最强者平均通过率 69.9%,但仅 26.4% 的任务被完全满足;多变更类型的仓库编辑完成率显著偏低。

  12. arXiv · AI26

    ComFair:用于 LLM 交叉公平性的可配置多属性基准

    ComFair 提出了一个可配置的多属性基准,生成 479,066 个双属性与多属性控制实例,旨在捕捉单一属性审计中不可见的交叉性伤害。 该基准在识别、选择、续写和对话任务中,将增强实例与任务等价源配对,以统一审计性能变化、新错误引入及模型排名稳定性。 在 10 个 LLM 上的实验表明,判别性任务即使总体变化微小也暴露敏感方向,生成性任务呈现更大且方向不对称的偏移,且模型排名随属性组合变化。

  13. arXiv · AI20

    SearchHorizonBench:评估 AI Agent 搜索价值的新基准

    提出 SearchHorizonBench 基准,用于从执行经验中学习与评估 AI Agent 的搜索价值。基准包含 45,632 次执行和 3,168 个问题,历史校准可将 Brier 误差降低 16.2%。 搜索收益标准差为 21.4 个百分点,现有历史估计器仅能解释少于 2% 的点估计方差。在参考 token 价格下,自由选择观测比最佳常数动作带来 2.49 分效用机会。

  14. arXiv · AI37

    R2A-Sales:面向目标导向销售智能体的规则-行动差距基准测试

    清华大学团队提出 R2A-Sales 基准,揭示销售智能体静态合规率(89.9%-99.1%)与行动合规率(3.0%-17.3%)间存在 80.4-92.5 个百分点的差距。 该基准包含 2,016 对匹配样本,审计 19 个语义核心下的 21,888 次运行,覆盖 8 个主干模型及 Qwen3-8B 提示变体。 研究证明销售智能体可靠性需基于已提交行动而非规则复述来衡量。

  15. arXiv · AI40

    PACE:用于自适应猜想探索的研究证明智能体

    PACE是一个通过结构化研究循环支持应用数学猜想探索的证明智能体。 其核心Prover基于候选机制构建证明,并由独立Verifier对照原始目标校验。证据追踪内存区隔已验证前提与未决义务,支持任务上下文组合。 PACE在包含51个已知证明任务的ResearchProofBench上取得75.16分,完成20个证明。

  16. arXiv · AI42

    专家判断规模化蒸馏方法

    提出一种将人类专家判断蒸馏至自动化评估系统的通用方法论,旨在构建具备独立性与问责机制的高stakes评估基础设施。 在AI新闻领域验证中,应用结构化编辑标准的自动评估者达到F1=0.81/0.97,显著优于未校准前沿模型,证明编码专家推理是提示词工程无法替代的关键步骤。

10月27日周二
  1. arXiv · NLP33

    LLM 数据智能体执行完整性审计:超越答案准确度的结构化计算评估

    研究在 BIRD Mini-Dev 的 100 个文本转 SQL 案例中测试了三种提示条件,答案准确率分别为 20.0%、22.0% 和 24.0%,而执行完整性通过率为 39.0%、43.0% 和 40.0%。 研究定义正确答案无效追踪(CAIT)比率来衡量有效计算支持,结果分别为 55.0%、59.1% 和 45.8%,证明答案准确性与追踪有效性揭示了系统行为的不同侧面。

  2. arXiv · NLP30

    LLM 文档相似度评分敏感性测试:语义“大海捞针”实验框架

    研究提出可扩展实验框架,通过“语义大海捞针”方法探测 LLM 对细微语义变化的敏感性,测试了 7 个模型在数万对文档上的表现。 框架揭示 LLM 存在独特的位置偏差,且模型对否定等扰动类型的惩罚尺度差异显著。 该框架为审计和比较当前及未来模型的评分行为提供了实用工具。

  3. arXiv · NLP28

    SATE-Bench:评估多模态大语言模型在遮挡场景下主动探索空间理解的新基准

    SATE-Bench 提出了一种包含316个真实场景和2525个多轮问答对的新基准,用于评估多模态大语言模型的视觉自我意识和主动视角探索能力。 该基准结合被动多视角控制和主动探索设置,模型从严重遮挡视角出发,需迭代查询相邻视角直至获得足够证据,并按步骤惩罚的效率奖励评分。

  4. arXiv · NLP38

    LLMs Can Tackle High Energy Theoretical Physics, yet Gaps Remain: Part I, Quantum Field Theory

    研究者发布 QFT-Bench 基准,包含 75 道高年级至研究级量子场论问题,涵盖核心子领域。 该基准通过符号验证与 LLM 裁判结合进行评估,测试了 39 个专有及开源模型。 前沿模型在复杂量子场论计算中表现优异,最高准确率超过 95%,但仍存在推理不忠实等缺陷。