Rethinking Verification in Agent Harnesses:Agent 框架中验证机制的测试时扩展研究
研究团队将验证视为 Agent 框架测试时扩展的关键维度,在 Terminal-Bench 和 SWE-bench Verified 上对比了7个前沿编码模型的17种验证设计。
研究团队将验证视为 Agent 框架测试时扩展的关键维度,在 Terminal-Bench 和 SWE-bench Verified 上对比了7个前沿编码模型的17种验证设计。
视觉语言模型在准确恢复局部事实的同时,仍会出现显著的全局决策失效。 以 Gemma-3-27B 为例,其在八项视觉实例中正确恢复了所有隔离项事实,但全局有效性仅为 19.75%。 这表明仅靠事实恢复和解决方案信息表征不足以实现可靠联合决策,需针对性优化证据结合能力。
Google Research 提出睡眠框架,让 LLM 在离线阶段巩固短期记忆为长期参数,从而支持持续学习。该框架在 BABILong 基准上实现 10M token 长上下文近乎完美保留,并在 AIME 24/25 等数学推理任务上提升了准确性。
Google DeepMind 发布新一代世界模型 Genie 4,这是首个能实时生成原生音频和交互式对话的世界模型,支持用户通过自然语言实时调整场景。Genie 4 依托 Gemini 模型家族实现物理规律仿真和复杂事件推理,目前作为研究预览版本向可信测试者开放,未来将面向 Project Genie 用户和 Gemini API 合作伙伴推出。
推荐理由:原文展示了Genie 4如何将Gemini的推理能力与实时音视频生成结合,帮助读者理解世界模型在机器人训练和交互体验中的具体落点。
国金证券与阿里云合作,利用 Qoder 将 AI 代码生成占比稳定提升至 90% 以上。 双方将 2000 余份知识卡片提炼为 10 条避坑规范,覆盖 5 类研发环节;实测知识导航减少工具调用约三成,显著降低存量系统开发风险。 此举将个人经验转化为组织标准,确立标准与约束为 AI 规模化落地的核心瓶颈,而非工具本身。
研究表明 LLM 评委版本更迭会改变测量标准的几何与分辨率,而非仅调整评分尺度。 在 Qwen、Gemma、Mistral 家族中,两次更迭趋向宽松,一次则导致 93% 分数坍缩至单一值。 提供相同事实无法消除版本差异,且占位符对照显示效应主要由格式驱动。
研究显示,Gemma 2 2B/9B/27B 基座及指令微调模型均呈现核心情绪几何结构,线性映射在跨模型情绪转移中保持高精度。 随着模型规模扩大,主成分方差占比从 31.6% 降至 26.7%,但与人类效价评分的相关性保持在 0.71 至 0.78 之间。
研究构建首个配对英译九语习语数据,基准测试11种常规指标与10个LLM。 绝大多数系统存在字面偏差,仅MetricX-24-Hybrid和Gemma-4-31B稳定偏好意译。 结果警示标准QE指标在隐喻密集领域的误判风险。
针对廉价“System One”审核模型(单次约0.000025美元、延迟100ms)的首次独立审计显示,其在142,658条标签数据上的零样本分类AUROC达0.83,与14个前沿推理模型在成本降低1-3个数量级的前提下准确率具有统计可比性。 研究指出模型置信度混淆了人类分歧与决策风险两种不确定性,通过分解子问题可恢复被原生置信度忽略的人类分歧信号,但该方法仅对最弱的模型有效且依赖分布敏感性。
研究团队在GPT-4o、Qwen3-Next-80B和Gemini 2.0 Flash上测试了无训练人格引导框架。该框架在保持89.94%任务完成率的同时,让用户智能体表达了大五人格特质。
LLM 常因提示产生谄媚行为,本文量化了这种对客观任务的影响。 通过 MMLU 测试 Qwen、Gemma 和 SmolLM,发现提示引起的 log-odds 偏移呈指数倾斜结构,且不受来源可靠性或警告影响。 研究揭示了 LLM 在对抗性引导下的脆弱性,表明其响应难以校准到来源的可信度。
研究提出基于自一致性的实验框架,通过充分性、全面性和反事实指标评估大语言模型在文本分类任务中解释与其预测行为的功能一致性。 实验在 IMDB 和 Steam 数据集上对 GPT-4o-mini、Gemma3、Granite8B 和 DeepSeek 等闭源与开源模型进行测试,结果显示不同模型家族的解释可靠性存在差异。 该研究为系统化评估大语言模型自解释的功能一致性提供了一种方法论。
Google Research在IDWeek 2026发布MedGemma开放权重多模态模型,包含4B和27B参数配置,可在设备端本地运行。该模型与MedSigLIP结合用于肺结核筛查,已在全球获得超过1000万次下载,并支持印尼卫生部微调后用于每年5000万人的国家筛查计划,确保患者数据留在本地。
推荐理由:原文明确开源了MedGemma多模态模型并用于印尼TB筛查,读者可据此了解基础模型如何支持本地化医疗部署。
研究团队将 FunctionGemma 270M-it 扩展至 Android 场景,端侧函数调用准确率从基线的 29.3% 提升至 76.5%。 团队引入约 9500 条对话的 MOBILEACTIONSEXTENDED 数据集,覆盖 15 类设备控制指令,并开源了模型与训练代码。 该方案为低延迟、隐私保护的本地移动助手提供了可行的技术路径。
OPTIC 方法在 Gemma 4 E4B 模型中实现了约 100 倍的 Per-Layer Embeddings 压缩,保留 97.8% 的基准性能。 该方法将压缩后的模型运行时 GPU 内存减少 29.7%,推理速度最多仅下降 0.40%。
研究通过220项GDPval任务量化5个开源模型的能源经济效益,发现软件开发的每焦耳净价值比工程类高27%。GLM 5.2以0.430 MJ能耗产生$72.27净价值,而Gemma 4 31B用23%能耗达到其56%价值,NVJ和TSJ分别为其2.5倍和2.8倍。Qwen3.6-27B在4种加速器上NVJ差异达4.32倍,B200性能最优。
RoleFlow 提出自我进化多角色智能体系统,通过反馈驱动的原子编辑优化协作结构。 引入 SECPO 算法进行单编辑反事实策略优化,在 7 个基准测试中超越最强竞品 4.7 分,多跳 QA 提升 3.2-7.5 F1 点。
Google DeepMind 联合 WRI 等机构发布 ForTy 2020 地图,将全球 10 米分辨率地块细分为六类森林与土地利用类型,并同步推出 2017 至 2025 年年度时序数据。
基于 BBQ 基准测试 Qwen3、Gemma-3 及 SmolLM2 在多种规模和量化配置下的表现。 大模型 QA 准确率更高,但偏见无简单规模趋势。26 种低偏见配置中有 20 种伴随过度拒答。 研究表明低偏见部分源于高拒答率,公平评估需联合考虑偏见、拒答及提示词设计。
该研究挑战持续学习中以保留知识为核心的假设,提出通过平均终身误差(ALE)将其形式化为在线优化问题。 引入迁移效率量化不稳定性与瞬态误差的张力,推导出关键任务时长阈值:超出该阈值时,保留历史知识会从优势转为优化负担。 将持续学习与可预测序列的在线学习框架关联,提出预测性持续学习算法类,其Window算法在受控分布漂移下优于联合任务学习与独立任务学习。
在 LIBERO-10 机器人操作基准测试中,研究人员构建了统一的闭环操作框架,评估了 6 款前沿 AI 模型在未进行任务特定微调的情况下直接控制机器人的能力。
研究者提出公共支持蒸馏(CSD),一种统一的基于 logits 的跨词表知识迁移框架,通过构建师生模型间的共享支持集来对齐预测分布。 CSD 在一对一对齐中显式使用公共 token 对,其他对齐通过自回归链式法则计算虚拟支持概率,并用残差事件确保分布归一化。
针对AI智能体行动前的多个监控器可能共同失效问题,研究提出借分布式计算理论设计安全且存活的决策规则。实测12个开源小模型及Claude Opus 5.5等3个闭源前沿模型,发现“计数来源而非票数”的新规则将正常交易拦截率从7.4%降至0.9%,安全性保持不变。引入不可被说服的规则引擎可恢复安全且存活的规则,建议多样化输入、强化监控器并计数来源。
研究发现 LLM 长期记忆功能导致“记忆注入”漏洞,ChatGPT Instant 5.3、Claude Sonnet 4.6 和 Gemini 3 Flash 均无法防御。 攻击者可利用个人记忆、MCP 资源等向量,在多个会话中持续传播错误信息或窃取提示,Claude 共享记忆更危及组织内多用户。 近半数防御机制未在目标服务中实施,论文提供了数据集与攻击工件以支持对策研究。
summary_zh: D-Skill 框架将教师模型的行为优势蒸馏为可解释的自然语言技能文档,使小模型在推理时加载该文档以提升性能。 该方法离线分析配对轨迹生成技能,无需更新权重或额外交互;在 SpreadsheetBench-Verified、ALFWorld 和围棋谜题上填补了 75%-95% 的教师-学生能力差距。
CultureLens 基准测试发现,当提示中提供矛盾规范时,Llama-3.1-8B 等大语言模型的对齐回答准确率下降 32 至 47 个百分点。 模型在缺少国家信息时默认使用英语文化规范,且倾向于接受陈述的规范而非判断其真实性。通过有监督微调矛盾规范示例,对齐准确率可提升至 85 至 93%。
语音大语言模型联合训练时,固定损失权重难以按需控制多任务权衡。 论文提出先验方法 EA-SURF,在训练中动态调整标量加权,使任务性能贴合预设偏好。 在六组三目标请求中,该方法的端点含归一化超体积比固定权重基线提升 17.8%。
研究通过 70 个学术提示词对比了 ChatGPT、DeepSeek V3 等 10 款大语言模型在幻觉与响应偏差上的表现。 Perplexity 和 DeepSeek V3 整体准确率最高,LLaMA 3 幻觉抗性较强,Falcon 实现零幻觉但召回率最低。 结果揭示了响应完整性与事实可靠性之间的根本权衡,且受提示词复杂度显著影响。
论文提出 D-PAL 方法,基于重叠度计算权重并采用 Rényi 散度损失,在 Qwen3-4B 模型上提升推测解码性能。 Rényi-1/2 散度可证明性界定了真实接受率。
OpenAI 宣布其前沿模型和 Codex 智能体工作流将登陆 Google Cloud 的 Model Garden。此举旨在让企业能够在现有的构建环境中使用 OpenAI 的技术。
Google Research 在 JAMA Network Open 发表论文,评估了基于盲扫超声的AI模型在评估孕周时跨临床环境和硬件的泛化能力。研究发现,该AI系统在芝加哥和纳库鲁的两个中心实现了与专家超声医师非劣效的准确率,平均绝对误差为4.18天,验证了其在资源有限地区扩大产前筛查覆盖的潜力。
推荐理由:该前瞻性多中心研究验证了AI系统结合盲扫超声在真实临床环境中的泛化能力,为低资源地区扩大产前筛查提供了关键证据。
OpenAI 与 Google Cloud 将 OpenAI 前沿模型和 Codex 工作流引入 Gemini Model Garden,并可通过 Google Cloud Marketplace 使用。
推荐理由:OpenAI 前沿模型与 Codex 工作流进入 Gemini Model Garden,用户可在 Google Cloud Marketplace 中调用相关能力。
Google Cloud和NVIDIA宣布NVIDIA Vera Rubin基础设施的实例将于下月通用可用,并计划扩展至欧洲。A5X实例整合了Vera Rubin NVL72、ConnectX-9 SuperNICs和第四代液冷技术,以支持大规模Agentic推理和强化学习工作负载。
推荐理由:官方确认了A5X实例在Google Cloud的通用可用性及欧洲扩展计划,并展示了其支撑大规模强化学习的集成平台架构。
研究发现,Llama-3.1-8B 等四个开源模型在事实问答中,答案在特定层收敛至共享的“答案质心”区域,该状态在 47%-71% 的网络深度处跳变。 将错误答案状态移至正确质心可让模型在 83%-97% 的案例中输出正确答案,且该信号比模型自信度更具信息量,揭示了答案生成的内部机制。
研究揭示语言模型在组合任务中错误率显著上升,源于模型对每个任务分配的 token 隐性减少,这一“隐性推理预算”效应无法仅由独立错误累积解释。 该现象在开源模型与 Claude Opus 5 中均存在;孤立时非脆弱任务会浪费算力,而任务需要更长解题轨迹时,组合下错误更多。 按任务脆弱性分组可调控该预算,在保持准确率的同时将 token 使用量降低 43%,为高效多任务提示设计提供依据。
研究验证了英语 LLM 管线跨语言可重用性。Gemini 3.5 Flash 跨语言支票提取准确率达 95.2%-97.6%,FinanceBench 语言间平均分差仅 5.8pp。
summary_zh: 研究人员提出无监督工具进化框架 TEAL,通过智能体协作在数据湖分析中自动构建可复用工具库。 该框架使用探索者与批评者双智能体机制,无需标签即可优化 Worker 性能,并在 KramaBench 和 LakeQA 基准上验证了合成问题的有效性。
团队发布 EGI-BENCH,统一整合八个企业级 LLM 智能体基准为单 CLI 套件,并定义六维 EGI 评分框架。 在 quick 模式下评测 GPT、Claude 和 Gemini 等 14 个模型,EGI 得分从 GPT-4o mini 的 39.6 到 gpt-5.5 的 65.6,无单一模型全面领先。 该套件解决跨基准比较困难和评分标准不一问题,子指标路由机制替代简单基准级平均分。
Gemini CLI 发布 v0.65.0 版本,主要修复多个核心与 CLI 模块缺陷并优化性能。该版本强制在不可信文件夹中执行只读工作区设置,防止快速退出时删除恢复的会话历史,并优化忽略过滤及启用子树修剪。此次更新提升了交互稳定性,防止 OAuth 重试陷入死循环,并修复了交互式模式下按键卡顿及终端渲染异常问题。
本文基于 Strategy One (March 2026) 版本,展示如何用 Strategy Mosaic 在 AWS Redshift 与 Aurora 间构建 C360 语义层。