Coding Agent 编写与跨语言转译单元测试能力评测
三项评测显示,Coding Agent 在传统覆盖率指标上远超人类编写的测试套件。 研究指出 Agent 测试质量随项目规模扩大急剧下降,跨语言转译表现不稳定且不可靠。
三项评测显示,Coding Agent 在传统覆盖率指标上远超人类编写的测试套件。 研究指出 Agent 测试质量随项目规模扩大急剧下降,跨语言转译表现不稳定且不可靠。
在 854,139 行代码和 2,802 个合并 PR 中,9 种测量选择决定了 88 项生存分析的结论。 对于 GitHub Copilot,测量选择改变效应大小但不改变方向;对于 Devin,测量选择直接决定结论。 LLM 意图分类器与人工标签的一致性优于关键词规则(kappa 值 0.69-0.72 对比 0.38)。
ASH 提出一种新的提示增强 GRPO 方法,通过在模型激活中注入可训练引导向量,解决推理时无提示导致的训练-推理上下文不匹配问题。 在四个 LLM(Qwen3-1.7B/4B-Base、Llama-3.2-1B/3B-Instruct)实验中,ASH 在 AMC、AIME 等竞赛级及分布外基准上持续提升 pass@$k$ 指标。
研究提出 ActiGrid 框架,对比 DQN 与简单策略在电力系统诊断中的表现,发现 DQN 性能未显著优于熵停止法。 DQN 在 TU Delft 基准上与熵停止无统计差异,在 MSU/ORNL 基准上被简单控制支配;紧凑子集分类器以更少数据源实现更高 Macro-F1(0.928,读取 57% 源)。 在现有基准中,选择性证据获取无需复杂的学习策略,简单方法即可达到较高性能。
ACM Multimedia 2026 发布 EgoLink 挑战,评测模型在第一人称感知、社会推理及交互行动中的能力。 该基准包含两个赛道,最佳系统 Track 1 准确率达 0.9263,Track 2 联合成功率为 0.844。 结果凸显过程验证与证据推理对可靠第一人称多模态智能的重要性。
研究提出 RAW 方法,利用 LLM 随机性作为自然实验,测量部署模型中拒绝请求对用户后续再互动的因果影响。 该方法在 15 个部署 LLM 上应用,发现约半数模型中一次拒绝导致后续再互动率下降 3 至 17 个百分点,其余模型无显著差异;方法仅基于日志运行,成本约 0.30 美元/1,000 次对话,并已开源代码与数据。
针对跨组织协作中智能体身份与授权验证缺失问题,提出基于 PKI 与零信任架构的 Agent Trust Infrastructure (ATI)。ATI 通过外部安全层验证证书、模型及系统提示词配置,在八组织模拟实验中启用后,将攻击遏制率从 43% 提升至 84%。
研究者构建 RSI-Prime 数据集,包含 7 类任务的 350 条完整实验轨迹,旨在提升 LLM 自主训练目标模型的能力。 基于 GLM-5.3 在 PostTrainBench 的测试表明,使用 RSI-Prime 训练可使总体性能相对提升 31.95%,采用决策级损失掩码排除低质量行为。 该数据集为未来 LLM 系统实现自主持续进阶(RSI)提供了可行路径。
自组织 AI 研究人员系统 Colombo 面向基于预言机的优化问题,已在复杂地图(Complexity Atlas)中超过50个设定内建立了最优或接近最优的求解率。
论文提出Resolution Hypothesis,指出Agent Evolution的瓶颈在于嘈杂评估无法可靠识别有效改进,而非提出能力不足。 研究基于7种演化方法、6个模型及超1000万LLM调用,发现候选层面选择效果等同于随机,方法层面排名差异小于独立运行误差。 这促使自我改进Agent的开发重心从设计更多改进系统转向使真实改进可检测且可累积。
研究证实,在自我改进编码智能体的指令文件中加入简短价值观陈述,不仅影响其任务性能,还改变其构建的算法特征。评估显示,开放性价值观提升了保留数据上的表现,而保守价值观导致分数低于无价值观基线。允许智能体自行修订价值观会缩小不同价值观间的差异,且从AI文献提炼的价值观未显示出优于无价值观的效果。这表明精心设计的人类价值观能实质影响智能体的输出。
ForecastGym 通过记录 4 个商业搜索 API 对 150 个预测问题的响应,构建了包含 614 个证据状态和 131k 条结果的冻结基准。 该基准揭示了证据来源的重要性:更换搜索 API 可使 Brier 分数变化达 0.043,且持续笔记策略能以一半输入 token 取得相似评分。 所有测试 LLM 在冻结证据下的预测准确率均落后于市场,表明预测者看到的证据与模型本身同样重要。
研究评估了编码智能体在测试通过后继续工作的价值。在 SWE-bench Verified 上对 8 个开源模型进行约 6000 次运行,发现自测通过后停止可节省 1% 至 57% 的成本。
BORN 框架通过预测算法组件的精度与运行时间,自动合成高效的量子化学程序。 针对含 50,024 基函数的 Hartree-Fock 计算,BORN 在单 CPU 节点上耗时 1.41 小时,比通用基线快 77 倍。 单 GPU 上完成 B-DNA 双链计算仅需 8.1 小时,较预估时间缩短 173 倍。
研究提出开源验证器 Gandalf,在评分标准型智能体环境中以更低成本实现更高 F1。 基于 2,464 个人类判定标准构建 BankerVerifierBench,Gandalf 搭配 Gemini 3 Flash 时 F1 达 0.864(基准 0.852),成本仅为基准的 1/5;搭配 GPT-5.4 时 F1 提升超 0.12。
CrossEnv框架提出利用实体工具图识别环境连接,合成可执行、可验证的跨环境任务,解决单一环境数据无法捕捉服务间依赖的问题。 该框架结合跨环境数据与从单环境多环境协调逐步引入用户交互的课程学习策略,在四个外部基准测试中用更少训练样本达到竞争性性能。 分析证据表明该数据与课程训练有助于向新环境组合及更长工作流迁移。
BRED 控制器通过读取全轨迹证据进行自主研究轮间决策,在三个基准任务上优于基线。 它在 ETTh1 上 MAE 降至 0.4172,SST-2 和 CIFAR-100 准确率分别提升 3.44 和 3.43 点。 代码已公开,验证了 LLM 基于累积证据决策的有效性。
EvoSkill-S1 提出 RL 驱动框架,将可复用技能作为进化对象,通过 5 种遗传启发算子生成子技能。 该框架在 Qwen 和 GPT 系列求解器下,相较于初始技能库相对提升最高 12.39%;对比无直接进化最强外部基线,最大相对改进达 20.39%。
研究人员隔离出演示条件提示搜索(DCPS)作为机制归因控制,发现其在 StablePrompt 中匹配 PPO 准确率的同时成本约为其三分之一。 在 DSPy 系统中,DCPS 在 GPT-4.1-mini 上匹配 GEPA 准确率,rollout 数量减少 55%,API 成本降低 32%。 研究建议基准测试需报告 rollout 数量、token 用量和美元成本。
COTTI 提出对比训练与时间感知推理框架,将历史表征学习与事件时间分数调整分离,解决促销事件导致的流量偏移问题。 该框架包含跨期对比对齐、主动重加权及自适应边界对齐模块,在 Fliggy 数据上离线 AUC 达 0.8127,p99 延迟 38.9ms。 在线实验显示,COTTI 较基线模型转化率提升 3.14%,千次收益提升 2.68%。
MillBill 提出将 Machining 决策与几何执行分离的智能体,使用本地部署的开源模型 Qwen3.8-27B 规划三轴加工操作。 系统通过几何框架生成刀具路径并模拟材料去除以提供反馈,其设置规划考虑了刀具的物理可达性而非仅可见性。 在指定容差内目标表面积占比的评估中,该方案优于自行构建几何与刀具路径工作流的前沿模型方法。
智能体技能复用因环境变更过期,可致性能下降10个百分点、成本增40%。 提出选择性维护机制,无需额外模型调用即可修复状态,最高提升准确率67pp、减少37%步骤。 确保技能在环境演进中保持推理价值。
系统 LMLineage 将智能体输出溯源至输入片段,单 GPU 每秒完成归因,支持 40 轮上下文稳定运行。 评测涵盖 gpt-4o-mini 等 3 模型,发现窗口级嵌入相似度优于全文匹配;概念漂移检测假压缩率为 0%。 该方法无需白盒访问或额外推理,已申请配套专利。
研究团队提出 SciWorkBench 基准,用于评估智能体在生物学、化学等真实科研任务中的能力。 测试涵盖四大领域,由专家验证统一分析框架,并在 Claude Code 和 Codex 框架下评估最新模型。 性能最佳的智能体仅获得 57.38 的平均分,表明当前智能体在将科学知识转化为具体步骤及多模态证据整合方面仍存在显著短板。
针对智能家居中传统模糊测试因假设理想人类决策而失效的问题,提出集成大语言模型(LLM)的增强版IoT Fuzz方法。 该方法通过LLM模拟人类决策过程,在测试环境中增加真实感与不可预测性,以更准确地捕捉智能家居中复杂多变的人类交互。 此方法旨在揭示实际人类决策的影响,从而发现导致隐私泄露、数据窃取或物理伤害的意外跨规则漏洞。
提出 JevRSI 框架,通过 System-1 与 System-2 协作提升决策效率。 采用递归自我改进的模块化 harness,在三个数据集上性能匹配或超越 LLM 智能体。 保留低延迟执行特性,并摊销 System-2 成本。
GPT-6 Astra与Claude Fable 5.1在无梯度下降下直接读写神经网络权重,为拖拉机引导控制器编程。 253参数网络控制车辆沿线弧路径行驶,模型仅通过少量模拟评估即成功修复原网络或从零构建有效控制器,且无需人工干预即可控制真实拖拉机,误差与纯追踪策略相当。
论文提出面向 AI 投研 Agent 的领域评估框架,区分结果质量与执行质量。 框架采用任务特定标准、确定性验证器及 LLM 裁判,并引入有效性机制检查输入完整性。 数值结果显示该框架能识别不同维度上的 Agent 性能差异及评估可靠性问题。
研究提出 IfcGym 环境和 IfcEdit 方法,通过验证器生成训练信号优化 IFC 建筑模型编辑。 若以严格成功率(strict success)为奖励,Qwen3.5-9B 模型在 IfcEditBench 上达到 86.78% 准确率,超越多数提示模型。 在 BIM-Edit 和 BIBIMBAP 公开基准上,该模型得分分别为 55.19 和 54.50,验证了该训练范式的有效性。
针对静态代理Harness在多模型间易失效的问题,提出统一框架。框架包含四个可编辑运行时组件及诊断、补丁、验证、部署的四阶段循环。 优化器通过长轨迹追踪错误,发现pre-stop验证器、循环破坏器和持久记忆等机制。
ConfGuard提出基于物理基础的参考监控器,用于防护预测性维护LLM智能体。在10,196个C-MAPSS测试窗口中,该监控器将隐蔽攻击者对健康资产的影响从0.529降至0.046,并完全消除对故障资产抑制攻击。在Qwen3-14B规划器下,它将紧急级注入攻击降至0.00,通用传感器攻击降至0.12,显著优于现有防御方案。
Inventa 通过自主研究单元与验证共享知识,在五项基准测试中全面领先,EurekaBench 得分 73.6%(CORAL 为 56.2%)。 框架中 mutator 生成想法谱系,orchestrator 在停滞时替换模型或重启;IdeaBench 中每篇论文发现 26.0 个新颖想法(ResearchAgent 为 18.6),且模型调用次数减少 82%。
研究在Harvey LAB文档审查任务中引入基准,发现多智能体委托虽将冲突事实检索率从50.2%提升至68.7%,但冲突检测率从16.2%降至13.2%。 当两名工作智能体读取同一对冲突声明时,检测率高于单智能体;若声明分散在不同工作智能体,则检测率显著降低。 工作智能体向主智能体的交接环节被确认为提升多智能体LLM冲突检测的核心优化目标。
极简 RAG 记忆 BRIDGE 在 LongMemEval-S 和 BEAM 上达到 SOTA 水平,EverMemBench 上优于基线 5.7-6.3 分。 BRIDGE 每次查询仅需约 5-7K reader-prompt tokens,且仅需单次 LLM 调用。 研究指出应评估记忆对智能体行动的支持能力,而非仅看检索效果。
论文提出 DeltaHarness,一种执行引导的策略搜索方法,通过冷启动测量自适应智能体执行框架。在固定调度的视频编辑任务中,修订后的物化策略使完整交付延迟降低 30.0%。 在未留出任务上,进化策略使延迟分别降低 8.2% 和 4.6%。独立确认面板用于控制策略替换,以解决运行时不确定性。
summary_zh: 在 rta-bench-1 基准测试中,涵盖 4 家厂商的 5 个 LLM 交易智能体在 598 次财报和 409 次坏消息暴跌中表现均未击败简单规则或逻辑回归。
Readie 系统通过学习式启动快照降低代码沙箱延迟,启动延迟降低 3-22 倍,端到端运行时缩短 1.3-3.3 倍。 该系统利用 15K 公共及 LLM 合成脚本训练,以优化算法解决紧凑快照与全覆盖的矛盾,支持多样化智能体生成代码。 Readie 使 AI 智能体无需等待长耗时沙箱启动即可迭代生成和执行代码,显著提升智能体运行效率。
Xing 4 是 TeleChat 衍生系列,在昇腾芯片上实现了 285B 参数模型的前训练,使用 8,192 张昇腾 910C 卡。 前训练基于 MindSpore HyperParallel,结合拓扑感知混合分片与长序列工作负载管理。 引入 TeleGym 智能体执行平台,支持异步解耦执行与部分 rollout,为后续更大规模模型奠定昇腾训练基础。
RegimeCouncil 提出了一种无重训的在线仲裁器,通过 Local Advisor 和 Global Advisor 动态决定 LLM 智能体使用记忆的范围,解决了固定策略的局限性。
EvoDisco 将智能体记忆演化建模为进化策略发现,利用可学习策略动态选择并实例化四个语义算子以优化记忆。该策略采用双层适应度更新,结合检索质量改进与历史操作效用遗憾等指标进行评分。