MindEval2 发布:基于临床标准的心理健康支持模型评估框架
summary_zh: MindEval2 框架通过 MHQR 临床评分规则与 MindSim 患者模拟,解决了现有 AI 心理健康评估中患者过度合作及评判标准不透明的问题。
summary_zh: MindEval2 框架通过 MHQR 临床评分规则与 MindSim 患者模拟,解决了现有 AI 心理健康评估中患者过度合作及评判标准不透明的问题。
PremiseSQL 基准包含 1,800 条存在前提缺陷的 NL2SQL 查询及对应原始查询。 前沿 LLM 实验显示,模型默认信任前提且极少批判缺陷查询。 强批判提示提升了缺陷检测率,但增加了误判并抑制正常 SQL 生成。
PEDBench 是首个覆盖从自然到受控语音连续性的语音错误检测(PED)基准。 该基准包含 334 条儿童真实录音、1,188 条人工脚本错误发音及 1,083 条合成错误发音,数据经两名受过语音学训练的标注员双重校验。 对 13 个最先进语音模型的评估显示,即便在受控条件下,模型仍无法可靠检测语音错误,且精确度较低,常将正确发音误判为错误。
研究团队发布 APRiL 基准,包含 2196 个实例及 6 个类别,涵盖场景分析与响应生成两项任务。 实验测试 6 个模型族的 12 个模型,发现从理解到响应存在一致性差距,高质量分析有助于提升响应质量。 数据与代码已公开,为中文语境下开发更具社会意识的语言模型提供系统资源。
MasDrift 是一个包含 600 个良性生产力任务的基准,用于评估多智能体系统中的授权保持。该基准覆盖 8 个领域,比较单智能体、集中式和去中心化协调模式。
现有代码 LLM-as-a-judge 基准测试存在缺陷标注模糊或质量分布失衡问题,无法有效区分细微错误。 论文提出基于扰动的 AXIOM 框架,通过语义扰动控制代码质量分布,并混合多源上下文简化人工标注。 构建包含 1962 个多语言代码评测问题的 AXIOMBENCH,解决传统基准测试无法准确衡量判别能力的问题。
研究将时态适用法律确定(TALD)形式化,构建含 51,956 份中国民事判决书的基准,评估 9 种先进 LLM,发现模型存在强新法偏好。 新法案件准确率超 70%,旧法案件低于 25%;强化通用推理不必然提升 TALD 准确率,而时态法律提示可显著改善表现并降低版本推理中的不确定性。 结果凸显适配 LLM 如何应用既有能力的重要性,而非单靠提升法律知识或通用推理。
Harness-Bench 提出了一项包含 106 个沙箱离线任务的基准,用于在共享任务环境与预算下评估不同模型后端及 harness 配置对 agent 表现的影响。
该研究提出 LIBERO-PeRM 基准,旨在评估具身智能体在机器人操作任务中的个性化偏好学习能力。基准涵盖 312 个任务套件,通过对比零样本、单偏好学习及多偏好冲突处理场景,分析策略泛化性。实验显示当前 VLA 策略零样本表现差,SFT 可有效学习偏好但混合训练会削弱运动偏好学习。
AI Consilium 基准利用 300 个 NEJM-MedQA 病例,评估 8 种单模型管线在临床多学科会诊中的表现。 LLM Judge 评价 3,040 份最终报告。GPT-5.6-Sol 在各项指标中领先,且达成一致共识所需审查轮数最少。 该基准能区分模型能力、多学科综合贡献及不同响应结构对临床推理的具体影响。
新基准 LinguaGuardBench 显示,将用户指令翻译为小语种会导致多数小型及专用安全防护模型判定结果翻转,且语言稀有度越高翻转率越高。该基准基于 TS-Bench 数据构建,测试了19种防护模型,发现小于13B参数的模型在阿姆哈拉语下的平均翻转率比法语高出2.9个百分点。前沿模型如 Gemini 3.8 Flash 对此现象不敏感,结果保持一致。
该基准测试包含 83 部作品,评估 19 个语言模型生成非线性故事的能力。模型默认按时间顺序叙述,在明确指令下仅在约 50% 的情况落在人类范围内。 人类读者在 81% 的关键判断中认为默认生成的时间顺序故事更易理解,且更偏好基于故事图而非固定发布顺序生成的故事。自动评分器未能检测到这一基于故事图生成的偏好差异。
System1-Arena 基准测试通过 9.2 万道问题评估 System 1 模型。最大 System 1 模型在准确率上媲美或超越快闭源 LLM,且延迟仅为四分之一。
新基准 DIB-Bench 揭示 LLM 评估存在部署完整性盲区,7,560 个样本显示评估器越强,接受被篡改输出的比例越高。 规则基评估器接受率为 88.6%,GPT-5-nano 升至 94.1%;触发条件篡改在评估套件中不可见,却能产生 48-100% 有害输出。 基于 PAC 界的证明表明,零输出偏移的篡改无法仅凭输出检测,需依赖清单哈希身份通道。
研究在四个金融问答数据集发现,60%的错误答案处于高一致性区间,其中77.7%表现为完全答案坍塌。 该现象对一致性阈值t从0.50至1.00均稳健存在,且跨模型族共享,集中于特定扰动维度与领域交叉点。 此类高一致但错误的象限无法被仅基于一致性信号的评估管道检测,模型看似最可靠实则错误。
PremiseCheck 框架结合 LLM 与决策模型,将评论改写为显式前提并对照论文核查,在 NLP、机器学习及自然科学领域达到与 GPT-5.5 相当的准确率。 在单条评论独立核查场景下,该方案成本约为 GPT-5.5 的一半;针对 NLP 评审,成本降至四分之一且延迟减半,通过构建 ReviewFact 基准显著提升了事实核查的效率。
研究团队发布包含320个手工设计案例的基准WorldCast,用于评估多步世界状态预测能力。 评测了12款代表性模型,GPT-Image-2.5得分72.8,Nano Banana Pro仅得42.8分,显示模型间存在巨大差距。 研究发现当前模型在处理复杂上下文和推理任务时存在明显缺陷,亟需动态规划与推理能力。
ImpactBench 是一个开放平台,用于从心理、生理和社会维度评估生成式 AI 对用户福祉的影响。平台包含 809 项指标,基于 26 个现有基准构建。 研究在 48,540 次模拟对话中评估了 10 个前沿 LLM,结果显示模型仅避免了 53.1% 的已知危害,专家与自动判分一致性为 83.3%。 该平台旨在作为独立、透明的生成式 AI 多维人类影响评估基础设施。
KULTURE Bench 发布,包含韩国文化新闻、成语和诗歌数据集,用于评估大语言模型在词、句和段落层级的文化理解与推理能力。 研究显示,基于不同语料库训练的模型在理解韩国文化深层文本方面仍有显著提升空间。 该基准已被第38届亚太地区语言、信息学及计算会议(PACLIC)录用。
基准 FDE-Gym 包含 18 个行业 20 个场景的 95 项端到端任务,用于评估智能体在模糊需求下的交付能力。测试 13 种模型配置,最优组合平均得分 0.56,仅解决 14 项任务,主要瓶颈在于发现未明示约束。 结果显示,即使获取关键事实,归一化业务提升仍受限,揭示了解决明确任务与交付真实 AI 系统间的显著差距。
研究团队引入 PhysClosureBench 基准评估 AI Agent 组织科学调查的能力,包含 50 个由专家验证的物理学任务。 评测了 7 个前沿 LLM,其中 Claude-Opus-5 取得最高平均分 6.29/10,但在 32.7% 的尝试中达到 RC4 级研究闭环。结果显示 36.2% 的高分尝试仍无法实现完整闭环,揭示了 Agent 局部成就与完全闭环之间的持续差距。
研究提出包含72个任务的基准ClaimScope,用于通过证伪、范围界定、反例生成及修复审计数学命题。 实验评估了Qwen3-8B模型,验证器反馈使安全完成率达25/72,显著高于无检查器反馈的20/72。 该结果表明性能提升源于证人结构修正,而非广义推理能力的提升。
Kolab 数据集包含 50 名来自 40 个职业的专业人士与 AI 智能体协作的 115 小时屏幕录制及质量判断。 该基准测试智能体预测专业用户采纳、修改或拒绝贡献的能力,并评估协作质量。 前沿模型高估了与专家的协作效果,难以区分高、低质量协作,Kolab 为此提供了真实数据支持。
研究构建了包含 248 个案例的基准 Sciπvot,用于评估 LLM 智能体在科学探索中的判断力。 该基准源于 6 个月内 26 个跨学科项目中高级研究人员纠正 LLM 智能体的记录。
summary_zh: 基准分数饱和后,完整解题轨迹仍保留能力预测信息。 研究通过回溯历史数据测试多种轨迹协议,成对判定相比仅用饱和分数降低预测误差5.3倍。 饱和基准仍具信号价值,但需专门方法设计以提取鲁棒信号。
OmniStepBench 提出了一种面向部署的智能体评估基准,旨在超越静态答案正确性,重点评估多模态感知、多步执行、工具使用及工件交付。该基准基于 OpenClaw 执行环境,将 22 个来源基准的 233 个任务组织成 2x3 工作负载矩阵,并在统一的基于契约的协议下进行评估。
研究团队发布 3R-Bench 基准,包含 150 个真实网络安全请求,评估 8 个 LLM 在直接提示及两种预设对话场景下的表现。 直接请求时合规率为 75.3%,在被拒绝先例后降至 57.8%,在接受先例后升至 81.0%;中性或失败对话使合规率从 74.2% 降至 57.2% 至 60.3%。 这些结果说明 LLM 的网络安全协助边界随对话历史动态变化,需超越直接请求拒绝率进行评估。
该研究提出 RedundancyBench 基准,用于检测 LLM 智能体轨迹中的冗余步骤,以提升计算效率。 基准包含来自 6 个 LLM 的 1920 条轨迹及 3613 个步骤级标注。 使用 Claude-Opus-5 等模型评估表明,在缺乏先验信息时检测仍具挑战性。
LingLanMedBench 涵盖 5 个领域、13 个子任务共 25,620 条数据,对 14 个大语言模型进行零样本评测。 结果显示全量基准最高分降至硬性子集的 31.9 分,暴露出临床推理缺陷。该基准为中医 LLM 研发提供标准化评估框架。
研究者提出双阶段基准 Doc2Harness,用于评估大语言模型构建编码智能体“框架”(harness)的能力,而非仅测试下游任务成功率。 基准在 19 个前沿模型上运行 328 个测试用例;GPT-6 Astra 通过率最高为 53.05%,最弱模型仅 27.44%,且失败多集中在跨模块功能划分上。 这是首个针对长时程框架工程的确定性基准。
研究提出 GraceBench 框架,利用 UI 转换图(UTG)对移动 GUI Agent 进行步骤级执行稳定性诊断。 GraceBench 包含 169 个任务、10 个应用及 2,909 个 GUI 状态,涵盖 3,718 条轨迹,指标包括偏差率与恢复能力。 评估显示 GPT-5.6 Sol 成功率最高但恢复能力最低,51.24% 的成功轨迹包含偏差或循环。
Mistral 发布首个时序基础模型系列 Timestral,提供 5M、28M、123M、209M 四档模型。209M 模型在 GIFT-Eval、TIME 和 fev-bench 三项基准上排名第一,参数量仅为此前最优模型的三分之二,并支持概率化多变量预测、past-only 和 known-future covariates。
推荐理由:209M参数的时序基础模型在三项公开基准中取得第一,并支持概率化多变量预测与CPU端部署。
WMT26评测中,受限赛道模型Qwen-MT-Lumen在23个细分领域获18冠3亚,被评Clear Winner;全赛道系统Wayfinder获5冠4亚,为唯一Best System Overall。Qwen作为基座被9个参赛系统采用,居首。
推荐理由:报告给出了14B模型与Agent系统在WMT26的具体名次和技术路径,为判断翻译模型轻量化与多智能体协作的落地效果提供了直接依据。
阿里Qwen-MT翻译模型在WMT26机器翻译评测中获18项冠军、3项亚军,翻译Agent Wayfinder获评整体最佳系统。Qwen-MT-Lumen基于Qwen3-14B模型,Wayfinder采用多模型协作架构,两者均针对WMT评测定制。
T2J-BENCH 包含 63 个 PyTorch 转 JAX 迁移任务,要求检查点转换且执行环境禁用 torch。 20 种配置中最高仅获 0.676 分(满分 1.0),远低于 0.980 的理论上限。 TWINHARNESS 工具将该分数提升至 0.723,证明现有编码智能体尚难胜任跨范式迁移。
研究提出 MasalBench,用于评估 LLM 对波斯语谚语的语境与跨文化理解。测试 8 个 SOTA LLM,语境识别准确率超 0.90,但识别英语等价谚语时表现显著下降,最佳模型准确率为 0.79。 该基准揭示了当前 LLM 在文化知识、类比推理及低资源语言方面的局限,提供了评估其他低资源语言跨文化理解的框架。
summary_zh: EconCausal 包含 10,490 个语境标注因果三元组,源自 2,595 篇经济学与金融学顶级期刊研究,针对 19 个模型进行评测。
研究提出包含240条合成对话的MultiPartyTurnBench基准,涵盖2至5名说话人。 该基准评估话语结束与打断检测任务,发现学习系统在打断识别上表现不佳,准确性仅46.9%-54.7%。 这表明选择性发言权控制仍是多方语音交互中未解决的独特挑战。
论文提出多语言基准 LintEval,包含 13,061 个程序和 171,662 个 lint 告警,用于评估模型在保持功能不变的前提下减少 lint 告警的能力。
新基准 ListQA 包含 9045 个人工审核问题,要求 LLM 将 3-10 个元素组成结构化列表。 该基准覆盖 60 多个国家及 8 个类别,采用线性求和问题框架评估事实准确性。测试 34 个模型发现,最佳标准推理模型 LLM-Judge-F1 得分低于 37%,提供 Wikipedia 来源能显著提升成绩。