OverReal 揭示文生图模型中的过度实现现象及缺陷
研究者提出“过度实现”概念,指出文生图模型常违背提示词逻辑生成目标物体。该现象在否定、想象等四种情境下发生,且常规指标如 CLIPScore 未予惩罚。 研究构建 OverReal 基准,包含 698 条提示词与 2841 张人工标注图像。
研究者提出“过度实现”概念,指出文生图模型常违背提示词逻辑生成目标物体。该现象在否定、想象等四种情境下发生,且常规指标如 CLIPScore 未予惩罚。 研究构建 OverReal 基准,包含 698 条提示词与 2841 张人工标注图像。
研究指出,LLM 代理的长期记忆常将进行时用户事实扁平化为一般现在时,导致“时态扁平化”现象。在名为 LAPSE 的基准测试中,三个生成模型在 381 对样本中的 210 对里保留了时态差异,且 11 个测试模型均显示此单向丢失现象,该结果同样存在于 mem0、Graphiti 和 Letta 系统中。
研究者提出一种简单、廉价且可复制的模型行为评估框架,单次实验成本低至每个模型几美元。 该方法在四年来的前沿及开源实验室模型发布上运行,通过精确匹配、LLM 评审代码本及仪器化环境三种方式读取结果。 研究识别出模型行为的收敛性、对特定提示的抗性、随代际变化的立场坚持特性,以及编码智能体在不同运行环境下的账户一致性差异。
研究首次系统调查多模态大语言模型中显著的文本主导现象,提出模态主导指数和注意力效率指数两项评估指标。 分析发现严重 token 冗余导致的注意力稀释是核心原因,应用 token 压缩方法使 LLaVA-7B 的 MDI 从 10.23 降至 0.86,实现模型注意力重新平衡。
研究团队提出 ReA-Bench,一个用于诊断 AI 智能体审计行为的基准测试。 该基准包含六个层级的挑战,并配有成对的轨迹版本,样本主要源自真实生产轨迹。 ReA-Bench 旨在帮助服务商识别风险,弥补现有基准在审计失败归因方面的不足。
drydock-eval 本地评估套件可在单张 RTX 5090 上以约 250 次/小时速度测试 Gemma 4 E4B 编码智能体,通过容器隔离与无网络环境保障安全,且通过 200 项逃逸测试。
研究人员开发了一种算法,用于认证在 AI 系统(如 AI agents)部署前测试中,观测到未见失败模式(unknown unknowns)的概率已足够小。该算法构建了一种 anytime-valid 的置信上界序列,允许开发者在测试过程中反复检查界限,并在其低于预设阈值时停止测试,而无需破坏统计保证。
研究人员提出 ChJGBench,一个基于 3,462 份真实判决、覆盖民刑行三类的中文判决生成评测基准,采用 13 类指标的诊断框架。实验显示法律领域模型相对通用模型并无统一优势,刑事类任务表现普遍优于民事与行政类。该工作发表于 EMNLP 2026 主会。
研究提出 CapLadder 基准(1,985 题)实证 LLM 性能受限,弱教师 LoRA 调节实现 1.9 分校准误差的推理精度控制。 多选题中该调节导致 97% 新错误集中于单一字母,且 Logit 干预仅能恢复 52-59% 准确率。 结果表明精准分数控制不等于可迁移的可信能力降级。
Science Prediction Universe (SPU) 基准包含 100 个公开任务和 16 个私有任务,评估智能体对实验结果排名的预测能力。 测试 13 种智能体配置和 12 个前沿模型,公开基准上任务调整后的斯皮尔曼相关系数从 0.227 到 0.478 不等。 分析显示,科学判断而非工具执行是瓶颈,智能体相互一致性(0.52)高于与实验现实的一致性(0.33)。
研究对比了 Jev 与生成式 LLM 在四个多语言基准上的表现,覆盖 47 种语言。Jev 评估成本仅为 GPT-6.1 的 1/31 至 1/61,在多数任务中具有竞争力,但在知识密集型验证上落后。 Jev 在低资源语言中更易接受错误答案,其概率输出有助于识别错误。研究据此提出评估指令、基于置信度的选择及模型路由建议。
summary_zh: arXiv 论文发布 MDU,这是覆盖英文、法文等 5 种语言及 13 项任务的多语言文档理解基准,含 23146 个样本。 基准评测了 45 个 1.7B 至 235B 参数的开源 VLM 及 1 个商用系统,最高平均分仅为 69.0,仅 8 个系统超过 65 分。
Arena 排行榜等基于 Bradley-Terry 模型的偏好评估易受恶意操纵。 策略投票、策略提示和策略提名可将模型排名提升 15-20 位,组合使用最高提升 45 位。 此漏洞适用于所有允许开放提示、投票或模型提交的偏好评估框架。
语义消融实验常因混淆内容敏感度与预测效用而得出误导性结论。 研究区分了语义内容敏感度与预测效用,指出预测效用随参考基准变化。 在25项语义消融比较中,仅1项明确隔离了语义贡献的预测效用声明具备清晰对照。
研究将基准特定训练视为投票操纵,证明在Borda计数和平均胜率下该问题是NP难的。 针对MMLU和BBH数据集评估,平均胜率最难被操纵,BBH中其中位鲁棒性达22个任务。
研究提出多阶段评估框架 SAGE-QA,在 10,000 条 SQuAD 2.0 验证样本上,结合语义等价评分(SES)和重验证评分(RVS),以区分生成式 LLM 的词法差异与事实错误。
研究人员发布 SO-Arena 基准,用于评估 21 个 System One 模型在 11 个领域及 5 种能力家族中的表现。 该基准通过受控选项集变化测试决策稳定性,并考察无有效选项时的识别能力,发现性能最强的模型在可靠性排名中仅列第七。 研究指出整体高分不必然意味着决策可靠,需将能力谱系与可靠性作为互补维度进行系统评估。
审计显示5个开源医疗VLM在气胸检测上暴露严重缺陷,聚合准确率掩盖了单病种诊断的完全失败。 HuatuoGPT-Vision和Qwen2.5-VL在气胸病例上检测率为零,而MedGemma检测率为38%,该失败在独立数据集上复现且非由提示词或模型规模导致。 需报告各病种的召回率与特异性,以区分模型是否真正识别了特定医疗发现。
提出基准 MLIRBench,包含 1,768 个经执行验证的 torch 与 linalg 程序变异对,评估 9 个 LLM 的语义推理能力。 Gemini 3.1 Pro 在 1,768 对测试中取得 92.65% 的硬标签准确率及 5.04/10 的行为评分,结果显示语义分类能力与详细执行行为预测间存在差距。
ORBIT 是一个包含选择题、开放题和故障排查三种格式并附带参考答案来源的 IT 运维基准。审计发现约 1/10 生成题目存在模板缺陷,被剔除后故障排查格式基于真实从业者线程重建。5 个 LLM 在独立评审下多数选择题答对,开放题答对率介于 1/3 到 50%+,故障排查题正确率较低;ORBIT 旨在辅助选择和监督助手而非部署测试。
提出包含 2541 道问题的 MechBench,用于评估 LLM 在平行机构专业知识、分析与设计上的能力。该基准通过 MechForge 框架构建,包含标准与高难度层级及九项可执行任务。实验显示领先模型在标准层得分超 95,但在高难度层仅 47-60 分。
DistDebug-Bench 是一个包含 120 个来自 11 个生产级分布式系统真实故障的基准测试,旨在评估 LLM 智能体在缺乏完整堆栈跟踪的情况下定位致错代码块的能力。
Google 发布了名为 Gemini 4 Hydrogen 的通用型大语言模型,其 100 万 token 的上下文窗口输入输出能力与 1.50 美元 / M 输入、7.50 美元 / M 输出的定价使其成为高性价比选择。
同一新闻,精选展示《谷歌推出 Gemini 4 Hydrogen,主打速度与执行效率》
Our Secure Future 发布 WPS AI 基准测试,揭示 LLM 在妇女、和平与安全(WPS)领域存在系统性性别盲点,即 WPS 胜任度缺口。测试显示模型在无性别提示的稀疏场景下均未能主动涵盖性别维度,在对抗性场景下部分模型甚至协助规避 WPS 政策。
Smart Mobile House发布了一个供应商中立的基准测试项目,对比TypeSafe Jev、OpenAI Decisions、Cloudflare Clef等AI模型与XGBoost在支付欺诈排序中的表现,核心指标包括前1%交易的查全率、精度及成本延迟。
超过10万广告主已测试ChatGPT Ads,该产品今年夏季达到10亿美元的年化运行率。一项涵盖102个广告主网站的工作论文发现,ChatGPT每个美国用户会话产生0.89美元收入,而Google搜索广告为2.45美元。
一项包含 75 名听众的盲测研究发现,在排除录音链路差异后,听众判断有声读物片段是人类还是 AI(ElevenLabs v4)生成的准确率仅为 48.8%。数据表明听众对判断信心与准确率无关,且 ElevenLabs 语音常被误认为人类。
开源登记簿统计显示,Gary Marcus 在862个结论明确的断言中准确率高达88%,主要预测可靠性和能力。 Ed Zitron 在260个结论明确的断言中准确率仅49%,表现与错误预测持平,支持率不足一半。 该数据直观对比了两位知名 AI 评论人的言论可靠性与预测偏差。
mdlARC 是一个仅用 100M 参数的自回归 Transformer,在不使用预训练 LLM 的情况下于 ARC-AGI 2 半私有任务集上取得 37.08% 的 Kaggle 公开得分。
OpenAI 任命的专家团队已验证其 AI 生成的量子 Yang-Mills 存在性证明。为避开此前单日发布 700 余条 AI 证明的“内容倾泻”,公司邀请理论物理学家 David Gross 领导委员会监督该证明的发布过程。
芬兰非营利团队 Sound Mind Games 将 50 万行 NetHack C 引擎封装进 .NET MAUI 和 Avalonia 中,实现了跨六大平台的图形化重制版 GnollHack。团队构建了游戏内嵌的免费 AI 顾问 Gnoll Overseer,集成 31 个工具并支持前端模型查询;同时开发了 GnollBench 基准,以实际游戏提示和工具测试模型在高风险场景下的准确性。
作者指出社区常依据主观个案结果而非科学评估判断 LLM 能力,易受“p-hacking”或“HARKing”等行为误导。 LLM 擅长处理训练数据充足的领域(如常见游戏代码),但在 Zig 等数据稀缺领域表现不佳,且直接代码翻译存在诸多未覆盖的边界案例。 作者主张 LLM 开发者应设立严格假设,避免将模型对存量数据的复述误判为泛化创新能力。
Google 宣布 Gemini 4 Carbon 正式可用。它定位于 Gemini 4 Argon 之上,通过消耗更多 token 的深层推理和验证循环来处理多步编码和开放式科学问题。
当前采购呈现高密度算力集成趋势,互联网企业占比 65.6% 为最大买方,冷板式液冷占比 90.2%。随着推理负载占比上升及 AI 智能体应用爆发,算力消耗放大;中国整柜交付比例目前为 5.0%。 增量价值正向高配置算力系统集中,液冷增长驱动因素涵盖 AI 计算需求与供给约束。
针对阿拉伯语伊斯兰问答任务,团队基于微调的google/gemma-4-12B-it模型构建了幻觉检测系统。 该系统在包含600个问答实例的数据集上实现0.912的综合得分,其中幻觉标签准确率为0.935。
ARE-bench 发布 75 个基于真实研究者项目的任务,涵盖 7 个研究阶段、33 项需求及 1173 个二元检查项。 在七个前沿模型中,最强模型仅通过 66.2% 的任务所有检查项;一旦加入历史与工作区上下文约束,通过率骤降至 28.4% 至 40.0%。 这表明忽略上下文要求的评测会高估研究 Agent 的真实交付能力。
LLM 验证使最小对基准测试对语言模型更易通过。在 BLiMP 和 QFrBLiMP 数据集中,10 个开源大语言模型(LMs)在预注册 LLM 过滤器标记的项上比接受的项难 18.9 分,且所有 70 种 LM-验证器组合均显示标记项更难。该过滤去除了 LMs 失败但人类未失败的项目,使准确率提升超过随机去除。
针对医疗大语言模型基准分数难以追溯临床证据的问题,研究团队发布了 Med Evidence Bench(MEB)。该基准包含 1,536 条医师构建题目,涵盖指南知识、标准化及真实临床场景。
针对健康领域 AI 智能体结论综合能力的未知,研究提出 9.21K 问题的 SciConBench 基准,并配套 SciConHarness 隔离环境以防止数据泄露。 在清洗后的评估中,前沿模型表现不佳,最佳智能体事实 F1 仅 0.337,远低于无约束环境下的估计。 研究还发现 Google AI Overview 等消费级产品常生成不完整甚至矛盾的结论,表明可靠科学综合仍面临重大挑战。
PhyRubric提出基于评分准则的诊断框架评估T2V模型物理常识。该框架将描述拆解为语义与物理条目,生成34个类别基准并微调3788条数据的开源PhyRubric-Judge。评测显示该模型与人类判断相关性优于开源基线,媲美Gemini 4 Argon。