跳到正文
10月16日周五
  1. arXiv · NLP27

    PEDBench:语音模型能否检测语音错误?

    PEDBench 是首个覆盖从自然到受控语音连续性的语音错误检测(PED)基准。 该基准包含 334 条儿童真实录音、1,188 条人工脚本错误发音及 1,083 条合成错误发音,数据经两名受过语音学训练的标注员双重校验。 对 13 个最先进语音模型的评估显示,即便在受控条件下,模型仍无法可靠检测语音错误,且精确度较低,常将正确发音误判为错误。

  2. arXiv · NLP34

    APRiL: 面向中文社会意识的大语言模型开放基准

    研究团队发布 APRiL 基准,包含 2196 个实例及 6 个类别,涵盖场景分析与响应生成两项任务。 实验测试 6 个模型族的 12 个模型,发现从理解到响应存在一致性差距,高质量分析有助于提升响应质量。 数据与代码已公开,为中文语境下开发更具社会意识的语言模型提供系统资源。

  3. arXiv · AI23

    提出 AXIOM 框架及 AXIOMBENCH,用于通过受限扰动与校准评测代码 LLM-as-a-Judge

    现有代码 LLM-as-a-judge 基准测试存在缺陷标注模糊或质量分布失衡问题,无法有效区分细微错误。 论文提出基于扰动的 AXIOM 框架,通过语义扰动控制代码质量分布,并混合多源上下文简化人工标注。 构建包含 1962 个多语言代码评测问题的 AXIOMBENCH,解决传统基准测试无法准确衡量判别能力的问题。

  4. arXiv · AI25

    诊断 LLM 在时态法律推理中错误适用法律的问题

    研究将时态适用法律确定(TALD)形式化,构建含 51,956 份中国民事判决书的基准,评估 9 种先进 LLM,发现模型存在强新法偏好。 新法案件准确率超 70%,旧法案件低于 25%;强化通用推理不必然提升 TALD 准确率,而时态法律提示可显著改善表现并降低版本推理中的不确定性。 结果凸显适配 LLM 如何应用既有能力的重要性,而非单靠提升法律知识或通用推理。

  5. arXiv · AI25

    LIBERO-PeRM:个性化机器人操作基准

    该研究提出 LIBERO-PeRM 基准,旨在评估具身智能体在机器人操作任务中的个性化偏好学习能力。基准涵盖 312 个任务套件,通过对比零样本、单偏好学习及多偏好冲突处理场景,分析策略泛化性。实验显示当前 VLA 策略零样本表现差,SFT 可有效学习偏好但混合训练会削弱运动偏好学习。

  6. arXiv · AI43

    LinguaGuardBench 揭示多语言请求如何影响 AI 代理安全防护

    新基准 LinguaGuardBench 显示,将用户指令翻译为小语种会导致多数小型及专用安全防护模型判定结果翻转,且语言稀有度越高翻转率越高。该基准基于 TS-Bench 数据构建,测试了19种防护模型,发现小于13B参数的模型在阿姆哈拉语下的平均翻转率比法语高出2.9个百分点。前沿模型如 Gemini 3.8 Flash 对此现象不敏感,结果保持一致。

  7. arXiv · AI23

    LLM 非线性叙事生成语料库与基准测试

    该基准测试包含 83 部作品,评估 19 个语言模型生成非线性故事的能力。模型默认按时间顺序叙述,在明确指令下仅在约 50% 的情况落在人类范围内。 人类读者在 81% 的关键判断中认为默认生成的时间顺序故事更易理解,且更偏好基于故事图而非固定发布顺序生成的故事。自动评分器未能检测到这一基于故事图生成的偏好差异。

  8. arXiv · AI45

    DIB-Bench 揭示 LLM 评估中的部署完整性盲区

    新基准 DIB-Bench 揭示 LLM 评估存在部署完整性盲区,7,560 个样本显示评估器越强,接受被篡改输出的比例越高。 规则基评估器接受率为 88.6%,GPT-5-nano 升至 94.1%;触发条件篡改在评估套件中不可见,却能产生 48-100% 有害输出。 基于 PAC 界的证明表明,零输出偏移的篡改无法仅凭输出检测,需依赖清单哈希身份通道。

  9. arXiv · AI40

    无标签评估的盲区:一致性与准确性的解耦现象研究

    研究在四个金融问答数据集发现,60%的错误答案处于高一致性区间,其中77.7%表现为完全答案坍塌。 该现象对一致性阈值t从0.50至1.00均稳健存在,且跨模型族共享,集中于特定扰动维度与领域交叉点。 此类高一致但错误的象限无法被仅基于一致性信号的评估管道检测,模型看似最可靠实则错误。

  10. arXiv · AI40

    PremiseCheck:高效核查人类与 AI 同行评审的事实

    PremiseCheck 框架结合 LLM 与决策模型,将评论改写为显式前提并对照论文核查,在 NLP、机器学习及自然科学领域达到与 GPT-5.5 相当的准确率。 在单条评论独立核查场景下,该方案成本约为 GPT-5.5 的一半;针对 NLP 评审,成本降至四分之一且延迟减半,通过构建 ReviewFact 基准显著提升了事实核查的效率。

  11. arXiv · AI36

    ImpactBench 开放平台:专家引导的生成式 AI 人类影响全面评估基准

    ImpactBench 是一个开放平台,用于从心理、生理和社会维度评估生成式 AI 对用户福祉的影响。平台包含 809 项指标,基于 26 个现有基准构建。 研究在 48,540 次模拟对话中评估了 10 个前沿 LLM,结果显示模型仅避免了 53.1% 的已知危害,专家与自动判分一致性为 83.3%。 该平台旨在作为独立、透明的生成式 AI 多维人类影响评估基础设施。

  12. arXiv · AI23

    KULTURE Bench:评估大语言模型韩国文化语境的基准

    KULTURE Bench 发布,包含韩国文化新闻、成语和诗歌数据集,用于评估大语言模型在词、句和段落层级的文化理解与推理能力。 研究显示,基于不同语料库训练的模型在理解韩国文化深层文本方面仍有显著提升空间。 该基准已被第38届亚太地区语言、信息学及计算会议(PACLIC)录用。

  13. arXiv · AI47

    FDE-Gym:AI 交付“最后一公里”基准测试

    基准 FDE-Gym 包含 18 个行业 20 个场景的 95 项端到端任务,用于评估智能体在模糊需求下的交付能力。测试 13 种模型配置,最优组合平均得分 0.56,仅解决 14 项任务,主要瓶颈在于发现未明示约束。 结果显示,即使获取关键事实,归一化业务提升仍受限,揭示了解决明确任务与交付真实 AI 系统间的显著差距。

  14. arXiv · AI24

    通过证据支持的物理学研究评估 AI Agent:引入 PhysClosureBench 基准

    研究团队引入 PhysClosureBench 基准评估 AI Agent 组织科学调查的能力,包含 50 个由专家验证的物理学任务。 评测了 7 个前沿 LLM,其中 Claude-Opus-5 取得最高平均分 6.29/10,但在 32.7% 的尝试中达到 RC4 级研究闭环。结果显示 36.2% 的高分尝试仍无法实现完整闭环,揭示了 Agent 局部成就与完全闭环之间的持续差距。

  15. arXiv · AI33

    Kolab:长流程工作中人机协作的基准测试

    Kolab 数据集包含 50 名来自 40 个职业的专业人士与 AI 智能体协作的 115 小时屏幕录制及质量判断。 该基准测试智能体预测专业用户采纳、修改或拒绝贡献的能力,并评估协作质量。 前沿模型高估了与专家的协作效果,难以区分高、低质量协作,Kolab 为此提供了真实数据支持。

  16. arXiv · AI45

    OmniStepBench:面向部署的多模态与任务复杂度智能体评估基准

    OmniStepBench 提出了一种面向部署的智能体评估基准,旨在超越静态答案正确性,重点评估多模态感知、多步执行、工具使用及工件交付。该基准基于 OpenClaw 执行环境,将 22 个来源基准的 233 个任务组织成 2x3 工作负载矩阵,并在统一的基于契约的协议下进行评估。

  17. arXiv · AI38

    3R-Bench 评估 LLM 对话上下文对网络安全协助边界的影响

    研究团队发布 3R-Bench 基准,包含 150 个真实网络安全请求,评估 8 个 LLM 在直接提示及两种预设对话场景下的表现。 直接请求时合规率为 75.3%,在被拒绝先例后降至 57.8%,在接受先例后升至 81.0%;中性或失败对话使合规率从 74.2% 降至 57.2% 至 60.3%。 这些结果说明 LLM 的网络安全协助边界随对话历史动态变化,需超越直接请求拒绝率进行评估。

  18. arXiv · AI35

    Doc2Harness:大语言模型在编码智能体长时程框架工程中的基准测试

    研究者提出双阶段基准 Doc2Harness,用于评估大语言模型构建编码智能体“框架”(harness)的能力,而非仅测试下游任务成功率。 基准在 19 个前沿模型上运行 328 个测试用例;GPT-6 Astra 通过率最高为 53.05%,最弱模型仅 27.44%,且失败多集中在跨模块功能划分上。 这是首个针对长时程框架工程的确定性基准。

  19. arXiv · AI33

    GraceBench:移动 GUI Agent 执行稳定性诊断基准

    研究提出 GraceBench 框架,利用 UI 转换图(UTG)对移动 GUI Agent 进行步骤级执行稳定性诊断。 GraceBench 包含 169 个任务、10 个应用及 2,909 个 GUI 状态,涵盖 3,718 条轨迹,指标包括偏差率与恢复能力。 评估显示 GPT-5.6 Sol 成功率最高但恢复能力最低,51.24% 的成功轨迹包含偏差或循环。

10月15日周四
  1. Mistral AI80

    Mistral 发布 Timestral 时序基础模型

    Mistral 发布首个时序基础模型系列 Timestral,提供 5M、28M、123M、209M 四档模型。209M 模型在 GIFT-Eval、TIME 和 fev-bench 三项基准上排名第一,参数量仅为此前最优模型的三分之二,并支持概率化多变量预测、past-only 和 known-future covariates。

    推荐理由:209M参数的时序基础模型在三项公开基准中取得第一,并支持概率化多变量预测与CPU端部署。

  2. 千问大模型75

    WMT26机器翻译大赛结果:Qwen-MT-Lumen与Wayfinder获多项冠军及最佳系统

    WMT26评测中,受限赛道模型Qwen-MT-Lumen在23个细分领域获18冠3亚,被评Clear Winner;全赛道系统Wayfinder获5冠4亚,为唯一Best System Overall。Qwen作为基座被9个参赛系统采用,居首。

    推荐理由:报告给出了14B模型与Agent系统在WMT26的具体名次和技术路径,为判断翻译模型轻量化与多智能体协作的落地效果提供了直接依据。

  3. arXiv · NLP23

    MasalBench:评估 LLM 对波斯语谚语的语境与跨文化理解基准

    研究提出 MasalBench,用于评估 LLM 对波斯语谚语的语境与跨文化理解。测试 8 个 SOTA LLM,语境识别准确率超 0.90,但识别英语等价谚语时表现显著下降,最佳模型准确率为 0.79。 该基准揭示了当前 LLM 在文化知识、类比推理及低资源语言方面的局限,提供了评估其他低资源语言跨文化理解的框架。