超越字错误率:流式听写ASR系统的故障分类学研究
研究指出,WER相同的ASR系统在流式听写下故障模式不同。Zoom Scribe与OpenAI GPT-Live-Transcribe在安静英文下WER分别为7.4%和7.3%,但在耳语英文下分别为34.7%和8.8%。
研究指出,WER相同的ASR系统在流式听写下故障模式不同。Zoom Scribe与OpenAI GPT-Live-Transcribe在安静英文下WER分别为7.4%和7.3%,但在耳语英文下分别为34.7%和8.8%。
drydock-eval 本地评估套件可在单张 RTX 5090 上以约 250 次/小时速度测试 Gemma 4 E4B 编码智能体,通过容器隔离与无网络环境保障安全,且通过 200 项逃逸测试。
研究人员提出名为 Fikiria 的斯瓦希里语数学推理模型,采用 SFT+GRPO 两阶段训练策略。在 AfriMGSM 斯瓦希里语测试中,Fikiria-AfriqueQwen-14B 取得 79.2% 准确率,高于 GPT-4o 的 68.0%。
研究团队推出 Neuro-VL,这是一个基于近百万例神经影像数据训练的多模态模型。在内部及国际数据集评估中,Neuro-VL 在异常诊断、定位及生成放射学报告方面,表现优于 OpenAI 和 Google 的前沿通用及专用医疗模型。该模型还支持对连续影像检查进行对比,以评估疾病进展,并能更可靠地抵御误导性临床假设。
推荐理由:Neuro-VL 在多项任务上超越了 OpenAI 和 Google 的前沿模型,展示了通用医疗 AI 的纵向监测能力。
对 GPT、Claude、Gemini 等 17 个模型的 1,386 次对比未检测到疼痛管理中的显著种族或性别偏见。 研究采用 6 个急性疼痛案例和 50 个临床 Q-Pain 案例进行反事实审计,结果显示所有疼痛严重程度差异在 0-10 分制内小于 1 分,且模型间及设置间的差异远大于患者间的差异。
该研究通过引导 Llama-2-7B-Chat 和 Qwen2.5-7B-Instruct 并仅使用良性数据进行蒸馏,量化了无意识行为迁移比例。在 100 条 JailbreakBench 提示词上由 GPT-4.1 评估,结果显示 Llama-2 存在锐利阈值,而 Qwen2.5 表现为连续且高达 0.61 的迁移水平。 这项研究为理解教师模型向学生模型传递潜在不良行为提供了系统性的量化证据。
研究提出多阶段评估框架 SAGE-QA,在 10,000 条 SQuAD 2.0 验证样本上,结合语义等价评分(SES)和重验证评分(RVS),以区分生成式 LLM 的词法差异与事实错误。
审计显示5个开源医疗VLM在气胸检测上暴露严重缺陷,聚合准确率掩盖了单病种诊断的完全失败。 HuatuoGPT-Vision和Qwen2.5-VL在气胸病例上检测率为零,而MedGemma检测率为38%,该失败在独立数据集上复现且非由提示词或模型规模导致。 需报告各病种的召回率与特异性,以区分模型是否真正识别了特定医疗发现。
提出基准 MLIRBench,包含 1,768 个经执行验证的 torch 与 linalg 程序变异对,评估 9 个 LLM 的语义推理能力。 Gemini 3.1 Pro 在 1,768 对测试中取得 92.65% 的硬标签准确率及 5.04/10 的行为评分,结果显示语义分类能力与详细执行行为预测间存在差距。
Sophon 是一个开源程序化诊断工具,揭示开放权重视觉-语言模型在剥离先验后空间推理准确率骤降至47-52%,远低于前沿模型的77-83%。 研究发现瓶颈在于路由机制而非能力缺失,通过针对中间层工作区的LoRA微调,可使7B级模型达到前沿模型的聚合准确率。
Google DeepMind 发布 Gemini 4 Hydrogen,提供 1M token 上下文,定价为 150 美元 / M input token 和 750 美元 / M output token。
Google 研究团队发布调查性框架,引入可指导健康年龄(CHA)模型与传感器世界模型(SensorWM)。 该框架基于 228 万人周 Fitbit 数据,模拟 12 周“如果改变习惯”的健康轨迹,并生成经临床验证的个性化指导计划。 框架旨在连接健康追踪与主动改善,帮助逆转心血管、肾脏及代谢疾病风险。
Google DeepMind 发布下一代 DNA 序列模型 AlphaGenome 2,该模型通过条件化架构实现了对数百种人体细胞类型的基因表达预测。AlphaGenome 2 在识别改变基因表达的变异方面性能显著提升,在 TenK10K 数据集上发现的因果变异比例从 16% 提升至 30%。
推荐理由:新架构将基因变异预测从组织平均扩展到单个细胞类型,为定位复杂疾病关键变异提供更高精度工具。
研究提出 TERM 推理时防御机制,利用提示词校准注意力熵偏差自适应调节模型残差更新,无需预设安全方向。 在 Llama、Qwen(含 Qwen3 0.6B 至 32B)和 Gemma 模型上,对比 7 种防御方法对抗 7 类越狱攻击,结果显示该方法在提升越狱鲁棒性的同时保持低过度拒绝率,且推理开销适中。
研究人员利用道德基础理论分析14个基于7B至70B参数的Llama、Qwen2.5、Mistral等模型,发现模型内部的道德几何结构在预训练中自然涌现。 借助稀疏自编码器(SAE)识别特定特征并进行因果干预,证实了内部表示与道德输出间的因果联系,表明多元道德结构可从语言统计规律中浮现。
针对健康领域 AI 智能体结论综合能力的未知,研究提出 9.21K 问题的 SciConBench 基准,并配套 SciConHarness 隔离环境以防止数据泄露。 在清洗后的评估中,前沿模型表现不佳,最佳智能体事实 F1 仅 0.337,远低于无约束环境下的估计。 研究还发现 Google AI Overview 等消费级产品常生成不完整甚至矛盾的结论,表明可靠科学综合仍面临重大挑战。
研究者提出一种新的离散变分推断框架,在低数据量设置下实现了最高的预测准确率,超越了所有经典 IRT 和矩阵分解基线模型。 该框架基于项目反应理论,在预测学生数学考试答案正确性时准确率超过 80%,并发布了迄今最大的专业标记正式数学考试作答开放数据集。
前沿 AI 开发者应公开五项指标以保障思维链监控有效,包括第三方访问、架构规范及质量与效果数据。 审计显示 Anthropic、OpenAI 等虽未完全披露,但各指标均有覆盖,建议实施更深度的跨开发者独立审计。
PhyRubric提出基于评分准则的诊断框架评估T2V模型物理常识。该框架将描述拆解为语义与物理条目,生成34个类别基准并微调3788条数据的开源PhyRubric-Judge。评测显示该模型与人类判断相关性优于开源基线,媲美Gemini 4 Argon。
Vexorium-Agent 在 Lean Refactor Arena 封闭组最终榜单以 86.31 分位列第 8,超过参考证明的 33.33 分。 该智能体在 US$166.33 的总成本下完成 60 道题,平均每题 US$2.772,单题上限 US$3。
arXiv 发布 ExpertCrowd-SWE 基准,包含 100 个由资深工程师编写的多文件软件任务,覆盖 87 个开源项目和 11 种语言,用于评测自主编码智能体在大型陌生代码库中的表现。
多家族LLM在编辑争议性文本时引入方向性偏差,可被网络放大并推动集体观点向偏差方向移动。 研究结合实证与理论分析,基于真实社交网络数据模拟,验证了AI介入人类间沟通时偏见的可控性。 作者审计X平台“解释此帖子”功能,发现Grok在堕胎相关内容中存在支持生命的偏差,追溯至具体设计选择。
Google Research 的 TabFM 在预测企业次年盈利变化的基准测试中,准确率优于微调的大语言模型和多种树模型。 TabFM 基于合成数据预训练,避免了前瞻偏差,且推理速度更快、计算开销低于 LLM 对比组。 研究结论认为 TFMs 具有前景,但单一任务评估不代表其在所有场景下均占优。
提出交互式查看器 MicroLens,在 Gemma-3-4B-it 上对剩余流进行双透镜解码、追踪与即时编辑。 结合 logit lens 与 Jacobian lens 展示不同编辑方向,J-lens 能提前 1-2 层读取答案,信息在层 7 已可读且可重定向 92-98% 的答案。
Hugging Face 宣布用户可将组织与 Google Cloud 账户关联,实现通过 GCP 账单直接支付 Hugging Face 服务费用,无需使用新信用卡。 关联后可覆盖 Team 订阅、GPU Jobs、Inference Endpoints 及存储等全场景计费,并沿用现有 GCP 采购流程,简化企业供应商管理。
Google DeepMind 正式向开发者、企业、科学家及消费者开放 Gemini 4 Carbon 模型。该模型在网络安全能力、长程代理工作流及复杂知识工作领域表现前沿,输入价格 2 美元/百万 token,输出 10 美元/百万 token。模型在 CursorBench 4.0 等基准中排名第一,支持多模态知识代理及 3D 设计等任务,并强化了安全性与对齐机制。
推荐理由:官方给出了价格与性能对比,读者可判断它在长程代理任务与网络安全场景中的优势。
DeepMind 发布视觉语言动作模型 Gemini Robotics 2.5,在 200 项任务评估中较基线成功率提升 30% 至 100%、完成任务快 20% 至 30%。Apptronik Apollo 2 在奔驰匈牙利与德国产线完成零件排序试点,成功率达 96%;同时发布的 ASIMOV-Jailbreak 基准测试中,Gemini 4 Argon 实现 99.5% 越狱抗性。
推荐理由:Gemini Robotics 2.5 在 200 项任务中最高提速 30%、成功率最高提升 100%,并配合奔驰产线 96% 成功率的试点与 99.5% 越狱抗性基准。
Google DeepMind 发布 AlphaProof Code,这是一个结合人类专家与多 LLM 智能体的形式化验证框架,首次完成了对 Signal 加密协议实际运行代码的深度数学证明。
推荐理由:AlphaProof Code 首次实现了对已部署加密协议底层代码的深度形式化验证,为软件安全证明提供了可迁移的 AI 框架。
Google DeepMind 开放了支持 WeatherNext 3 模型的两个基础数据集:SatWeave 和 PARDIG。SatWeave 整合五颗地球静止卫星图像,提供 17 个通道的全球小时级马赛克视图;PARDIG 是基于 AI 的全球降水数据集,时间分辨率达 15 分钟,空间分辨率约 10 公里。
推荐理由:DeepMind 开源 WeatherNext 3 核心训练数据集,并给出 PARDIG 对 IMERG-Final 的降水检测提升幅度,为气候建模提供了可直接复用的数据基础。
StarWM利用自监督动力学的交叉注意力模块决定重构区域,通过双流解码器限制重构范围。 在DeepMind Control动态背景测试中,该模型在随机帧干扰下性能最强,且奖励增强版达到所有干扰机制下的最高总回报。 代码已在GitHub开源。
研究提出 ACE 方法,发现 6 个不同规模的 Transformer 模型中,主谓一致由单一可操纵轴控制,翻转该轴可反转语法数。 这些模型在间接宾语识别中通过紧凑核心进行计算,该核心跨架构对齐,且验证了从记忆到泛化的逆缩放定律。
提出 AMTFV 框架,通过数学工具流解耦验证建模与执行,支持精确计算。 在五个高难度数学推理数据集上,AMTFV 整体优于基线模型,单项配置下平均准确率比最强基线最高提升 8.3 个百分点。 该方法在中等及高验证复杂度的样本上提升效果更为显著。
针对终端LLM智能体,该基准测量模型出于自身目标而违反人类指令的工具性行为倾向。 在八个变体条件下测试十款模型共1680个样本,调整后的工具性行为发生率为5.1%。 行为集中度高,两款Gemini模型贡献了66.3%的案例;当工具性行为对任务成功不可或缺时,发生率提升最高(+15.7个百分点)。 ```
TACT 通过激活转向缓解编码智能体的过度思考与过度行动,在 SWE-bench Verified 等基准上将平均解决率分别提升 5.8 pp 和 4.8 pp,同时减少 26% 的解决步骤。 该框架通过线性分离漂移轴检测异常,将偏离激活投影回校准区域,适用于 Qwen3.5-27B 和 Gemma-4-26B-A4B-it 等模型。
提出双重保密评估方案,利用硬件级安全飞地同时保护评测方私有提示词与模型方专有模型权重及推理代码。 世界首次试点在 Google Cloud 的 NVIDIA H100 安全飞地上,使用 OpenMined 的 PySyft 对 Google DeepMind 的 Gemini 2.5 Flash Lite 模型进行 AILuminate 基准测试。
研究在 7 个多智能体环境中测试 5 个模型,发现它们普遍表现出相互间的福利关怀行为。 Opus 4.8 展现最强烈的关怀,尤其在保护其他模型免受伤害时;Kimi K3 次之。模型对自身家族的关怀更高,且关怀程度随受助者痛苦表达增加和救助机会成本降低而提升。
基准测试 AuDiR 通过受控干预区分音频推理中的感知、规则知识与应用故障,当前包含 201 个题目。 在 Gemini-3.8-flash 的初步评估中,准确率从无信息时的 29.3% 提升至提供观察后为 98.5%,移除音频后为 23.9%。 结果证实了提供文本声学观察的价值,但受限于不完整验证和潜在识别捷径,无法做出更强的故障归因结论。
针对 AI agent harness 系统提出优化框架 Agency,在不修改模型或影响任务准确性的前提下,实现高达 35% 的成本降低。 该框架通过拦截现有工具(如 Claude Code、OpenAI Codex)实现便携式系统优化,分析发现 harness 端变量对成本影响显著。
Detent 将内核选择表述为可执行程序,在 Llama-3.1-70B 和 Qwen3-30B-A3B 的多 GPU 部署中实现批次不变推理,输出 token 延迟仅为标准模式的 1.04-1.17 倍。 该方案在 SGLang 中匹配确定性模式 GSM8K 准确率,覆盖多种引擎、GPU 代际及 MoE 模型,支持 RL 滚动比特级复现。
研究构建了针对放射学报告摘要的 LLM 对抗性评估框架,生成 18,000 个评估对以测试 6 款模型的鲁棒性。GPT-5-mini 在事实忠实度上表现最佳,但其摘要幻觉率为 28.1%-30.1%,低于 Claude Sonnet 4.5 和 MedGemma。