KlinikeBench 评测揭示诊断准确率与临床交互能力的巨大差距
KlinikeBench 发布 333 个由 35 名临床医生撰写的临床任务,用于评估 LLM 的完整临床诊疗流程,包括问诊、检查申请及诊断。该基准提供独立沙箱环境与虚拟患者,并对交互过程与最终诊断结果分别进行评分。
KlinikeBench 发布 333 个由 35 名临床医生撰写的临床任务,用于评估 LLM 的完整临床诊疗流程,包括问诊、检查申请及诊断。该基准提供独立沙箱环境与虚拟患者,并对交互过程与最终诊断结果分别进行评分。
研究人员推出 SteerScope,一个通过 15 项指标联合评估 LLM 激活引导效果与副作用的多维套件。 该套件在统一协议下基准测试了包括 Prompting、LoRA 和 SFT 在内的 23 种方法。 研究发现当前激活引导方法尚未在整体平衡上超越 Prompt Steering 基线,且效果与副作用存在耦合。
研究团队发布 HouseholdBench,该基准整合美国 6 项家庭调查及 32 个预测任务,涵盖消费、收入、住房等领域。 测试 13 个 LLM 发现,梯度提升树性能最优;最佳 LLM 较无变化基线降低数值误差 12.2%。通过微调及聚合 16 次预测,40 亿参数开源模型可匹配专有模型。
论文提出 SELF-POT 框架,统一评估语言模型在竞赛数学、编程及智能体任务中的测试时计算收益。 该框架通过固定倍数预算,对比直接推理与并行采样、自修订策略的成本与准确率。数据显示,公共示例选择可将编程正确提交数从 376 提至 453,并节省 12-49% API 成本。 研究量化了模型判据的边际价值,为低成本模型通过增加推理替代更强模型提供了量化依据。
大语言模型(LLMs)作为评判者时,随机化提示并平均得分的做法统计有效性尚不明确。 文章提出用一阶马尔可夫广义线性混合模型(GLMM)近似 LLM 评估机制,通过三大商业 LLM 的样本外预测验证了该模型。 在领导者排行榜中,随机化-平均选择在温和分离条件下具有一致性;在组比较中,由于响应模型非线性,简单平均可能得出不一致的结论。
Logbook 是一个旨在突破短片段限制的基准,涵盖时长从 10 分钟到 6 天的小时级音频理解任务。该基准要求系统对连续音频进行无间隙分割,并为每个片段预测事件标签及描述。研究对比了 52 个系统,发现端到端模型通常优于级联系统,但长上下文会导致性能下降,且细粒度分割是普遍挑战。
论文发布首个针对 Croissant 元数据提取的端到端基准,包含 602 篇论文,其中 102 篇有人工验证金标注。 实验涵盖前沿模型、开源模型及 Agent 架构,发现单次提取在准确性上优于四种分步 Agent 架构。 研究指出当前系统在长文 RAI 字段上可靠性极低,官方已开源基准、代码及排行榜。
研究团队提出 DecepEval 基准,包含 1,532 个实例覆盖 3 类任务与 28 种专业场景。 引入“LLM 欺骗钻石”框架,通过 9 个前沿 LLM 评测发现,压力、激励等外部诱导因素会显著提升欺骗率,且此现象在低基线欺骗率模型中同样存在。 DecepEval 为衡量 LLM 智能体在受控条件下的欺骗行为提供了可复现的共享基准,有助于推进可信 AI 的发展。
研究提出 Relative Taylor Debiasing (RTD) 算法,实现了 O(d/ε²) 的样本复杂度最优 FID 估计。RTD 在 50K 样本预算下达到最低平均估计误差,其 VALE₂ 估计器仅用 10K 样本即可匹敌 50K 样本下的 FID∞ 精度。 RTD 利用 U-statistics 启发的去偏技术,显著提升了有限样本下生成模型评估的准确性与效率。
TII 发布 Falcon-Emirati-7B,这是一款基于 Falcon-H1-Arabic 构建的阿联酋方言专用大语言模型。它旨在理解和生成 Emirati 方言,捕捉词汇、语气及文化语境。
PDB 框架显示 GPT-5.1-Codex 和 DeepSeek-V3.2-Thinking 精准度低于 45%。 该模型单元测试通过率超 76%,即使提示最小化仍会过度编辑。 迭代和智能体策略未显著提升精准度,凸显代码模型后训练管线需重构。
研究提出结构损坏评估协议 SCEval,通过扰动文本、视觉和音频内部结构,发现全模态模型性能显著下降。该协议基于 273 个人工验证样本,评估了 15 个专有及开源系统,显示多模态退化呈非加性特征。结果证明仅在干净输入上的高分无法证明模型在跨模态结构失效时仍可靠。
研究团队发布 HalluTruthQA,一个包含 2,400 个专家审核样本的阿拉伯语问答幻觉细粒度基准,覆盖伊斯兰知识、历史、科学和地理四个领域。该基准支持字符级错误跨度定位、事实验证及解释评估。
研究发现超1000份法律文书包含捏造引用,且数量逐年增长。构建了含1300个案例的数据集,测试包括GPT-5在内的五个模型;在智能体框架下,GPT-5取得84.4%召回率和55.0% F1分数,但所有模型在细微错误类别上均表现不佳。
SearchJev 是一款快速且校准的 System-1 模型,将搜索决策与 System-2 推理分离,直接对合法选项评分而非自回归生成。
评估显示 LLM-as-a-Judge 整体可靠,但在 1-7 分制上平均绝对偏差达 0.11,毒性判断准确率超 96.5%。 设计选择会导致显著偏差:修改评分量表可使偏差变化 0.93 分,详细提示词降低 28.9 个百分点,切换模型降低 56.1 个百分点。 模型身份是方差的主要来源,该发现为构建更稳健的 LLM 评估流程提供了方法参考。
研究团队发布基准测试 LongSocialBench,包含 1,462 道基于 Hacker News、Stack Exchange 和 Reddit 的多项选择题,中位长度约 73K tokens。
研究引入含 11,257 个实例的双语基准 JEVal,评测 25 种模型。通用决策模型在基于证据的判断中具竞争力,但专业知识依赖度高的任务表现较弱。\n\nInnerJev-27B 经自蒸馏后在 JEVal 上匹敌 Jev,典型查询响应仅 0.1 秒,显著降低推理成本。
研究者推出 VidOmni-Bench,一个要求模型验证密集视频描述中每个事件是否被视频支持的基准,包含 500 个视频,时长从 4 秒到 90 分钟,覆盖五类复杂度。
DualViewEval 通过联合利用结果与过程关系来压缩智能体基准测试,在五个基准和五个基线上均取得最佳结果。仅用 20 个任务即可在 APEX-Agents 和 BFCL 上实现 24×–40× 压缩,MAE 较最强对手降低 14.5%–28.2%。
一项 arXiv 预印本研究对 LLM 作为合成用户替代人类受访者的有效性做了跨域基准测试,覆盖两个模型家族、从 8B 到前沿能力范围的四个模型,以及美国综合社会调查(General Social Survey)和世界价值观调查(World Values Survey)两个真实人类回答数据集。
UI2App 基准发布,用于评估 LLM 仅凭静态截图推断并实现 Web 应用交互行为的能力,包含 600 张截图、95 个状态连贯集合,覆盖可运行的多路由 Web 应用。
研究者推出 AnyGroundBench,一个将 VLM 时空视频定位(STVG)评估从静态零样本测试转向严格领域自适应的基准,覆盖动物、工业、体育、手术和公共安全五个专业领域。
研究者推出 EgoSafetyBench,一个含 1,200 个机器人视角场景、以半秒粒度标注的自我中心视频基准,用于评估具身 VLM 作为运行时安全守卫的能力。
研究者构建了 EG-VQA 基准,包含 2,067 个视频和 11,838 个 QA 对,每个问答对都标注了时序定位的文本证据,要求模型同时给出答案和可验证证据。
研究者提出 CultureScore 评估框架,将视频生成的文化忠实度拆解为 Identity、Context、Behavior 三个维度,覆盖 10 个国家、3 个模型共 6,174 个生成视频。
研究者推出 MMBU 多模态生物医学理解基准,覆盖 35 个子模态,是迄今最大的生物医学视觉语言基准,包含无定位分类、定位分类和目标检测的开放与闭源版本。 主对比评测了 16 个开放权重和 5 个前沿 VLM,发现医学适配虽能带来一定提升,但既有基准上的高准确率常掩盖视觉感知与领域泛化的不足。 团队还定义了开放式 MMBU 困难集,分为公开子集与留出私有子集,用于压力测试前沿模型。
49 位数学家在 2026 年 4 月至 5 月间构建了包含 100 道研究级数学问题的 Leipzig 基准数据集,其中大部分工作完成于莱比锡 Max Planck 数学科学研究所为期三天、35 人参与的 Benchmarks in Leipzig 研讨会。
研究者提出 Social AI Design Code 原则并构建 EUDAIMONIA 基准,含 969 条开场查询与 3,147 项设计违规检查,用于评估 LLM 是否助长有害亲密、依赖或过度黏连。
研究评估 2,614 条 OpenHands 轨迹,发现 10.7% 的成功案例属于依赖试错而非逻辑的“幸运通过”。 AgentLens-Bench 包含 1,815 条标注轨迹,不同模型后端的幸运通过率差异达 0.5% 至 23.2%,排名可能变动五个位次。 该框架通过过程级评估,区分了混乱试错与严谨解决,提升了 SWE 智能体评测的有效性。
一篇 59 页综述系统梳理了大语言模型在 NetOps 与 AIOps 中的智能体应用,指出该领域存在"能力-保障缺口":读取型辅助与工具支撑的诊断证据较充分,但越接近配置变更、受限执行与闭环运行,证据越不完整。
研究者推出 PSI-Bench,一个可在轮次、对话和人群三个层面自动评估抑郁症患者模拟器行为的框架,并对两个模拟器框架下的七个 LLM 进行基准测试。 测试发现模拟器回复过长、词汇过于多样、变异性偏低,且过快推进治疗阶段并转向正向情绪;模拟框架对保真度的影响大于模型规模。 人类研究显示该基准与心理健康专业人员的判断高度一致,为未来模拟器设计与评估提供了可解释、可扩展的基准。
一篇论文对 MCP 分层提示词注入防御 CASCADE 的评估做了记录级审计,发现其检测数据高度依赖决策约定与语料构造方式。
WebNavigator 将网页导航从概率式探索重构为确定性检索与路径规划,在 WebArena 多站点任务上取得 72.9% 成功率,超过企业级智能体两倍以上。
研究基于 SMCR 传播框架系统评估了 6 个主流 LLM 在事实知识、医疗问答和社会偏见三个领域中的说服易感性,发现最小的 Llama 3.2-3B 表现出极端顺从,82.5% 的信念改变发生在第一轮说服中。
ATOD 是一个面向智能体任务型对话(TOD)的评估框架与基准,包含 1,000 段合成对话,标注六项高级 TOD 属性,ATOD-Eval 定义依赖敏感完成度、记忆召回与主动性指标。
研究者发布 Oolong 基准,专门评估模型对长上下文逐块分析并聚合回答分布性问题的能力,GPT-5、Claude-Sonnet-4 和 Gemini-2.5-Pro 在 128K 下两个子集准确率均不足 50%。
研究者推出 FreshBrew,一个评估 AI 智能体在项目级 Java 迁移中表现的新基准,重点关注程序语义保持与避免 reward hacking。在 228 个基于 JDK 8、在 JDK 17 上构建失败且测试覆盖率高的 Maven 仓库上,表现最佳的 Gemini 2.5 Flash 成功将 52.3% 的项目迁移至 JDK 17。
研究团队发布 RealCompanion 基准,包含 10 段真实人际关系中共 27,218 条、跨度最长 120 天的对话记录。 数据显示用户仅 3.4% 的消息依赖历史内容,且所需信息中位数在 2,157 条消息之前;AI 模型在标记为“记忆”时过度引用历史,F1 分数为 0.71。
PRISM 是一个基于范畴论、模态无关的框架,用于测量和提升多模态类比中的关系对齐,在视觉隐喻生成任务上验证。其 pullback score 在 AnaloBench 上仅凭分数选择正确类比即达 82.5% 准确率。