编码智能体是否仍需调试器?基于前沿模型的故障定位精度上限研究
该研究在 144 个 LeetCode 解题中植入 610 处单行故障,测试 Sol 6.1、Luna 6 和 Qwen 3.8 在有无调试器辅助下的故障定位能力。
该研究在 144 个 LeetCode 解题中植入 610 处单行故障,测试 Sol 6.1、Luna 6 和 Qwen 3.8 在有无调试器辅助下的故障定位能力。
针对LLM代码审查中假阳性高发的问题,论文提出因果干预框架CIVER,通过专家迭代联合优化评估、干预与验证模块,有效区分真实缺陷与无效评论。 实验显示,CIVER在SWE-Review-Bench基准测试中准确识别了77%的真实缺陷。 该框架不仅具备跨代码库泛化能力,还能提升下游编码智能体的任务成功率,增强自动化代码审查的可靠性。
研究提出 PROBE 基准,包含 20 个 GitHub 仓库在 18 个月内修复的 2457 个漏洞。 前沿编码智能体对该基准的召回率低于 21%,精确率不足 9%,但 LLM 与人类评估者仍判定 85% 的发现有效。 智能体发现的漏洞分布相似但显著不同于维护者修复的漏洞,该基准对模型用户和开发者均有价值。
发布UnityBench-Mini3D,包含77个Unity项目级任务,用于评估LLM智能体在3D游戏开发中的表现。 该基准使用1,178个人工编写的里程碑测试进行评估,覆盖场景结构、组件配置和运行时行为。 在21个模型和9个编码框架测试中,简单任务平均通过率为80.9%,困难任务为35.2%,总体为57.7%。
InfraDev 基准由 36 个源自 Megatron-LM、vLLM 和 verl 的真实 PR 任务组成,用于评估代码智能体在分布式 AI 基础设施开发中的表现。 该基准联合生成隐藏探针和提示词进行评分,共享执行环境使存储减少 52-57%,构建时间减少 13-14%。 六个前沿模型中表现最好者仅解决 38.9% 的任务,探针拒绝了 32% 通过官方测试但错误的提交。
kw-bench 针对审计等调查性任务发布新评测基准,使用 DeepSeek v4.1 Flash 实测显示独立 harness 得分 0.542 与 0.528。 前沿模型如 Claude Opus 5.5 仅需 22-25 分钟完成任务并得分近 1.0,将数周工作压缩至数分钟。 低于前沿模型时,harness 决定模型能走多远,而前沿模型则彻底改变成本与效率结构。
文章通过“可执行考古学”重新激活了Simon的启发式编译器 (1961) 和MIT的KBEmacs (1984),验证了二者对编程理论的共同性。 利用Anthropic Claude Code (Opus 5.5) 辅助完成重激活工作,成功复现Simon 1963年论文中的编译代码及KBEmacs 1984年自测序列。
Skill Dreaming 框架通过提取经验证的 Pull Request(PR)中的可执行知识,构建仓库专用技能库。 该框架持续优化技能以指导编码智能体实施新功能、维护测试及文档,形成 PR、仓库与技能的协同进化闭环。
FeatureLoop 基准包含 61 个人工审查任务,评测 12 个前沿模型发现最强模型在双重反馈下完成率 72.1%。 仅 15.4% 的失败阶段在两次修正内恢复,分析揭示了修复不完整、回归及模型间 token 效率差异等障碍。
针对服务超 10 万开发者的 92B 编程 LLM,引入 RefactorForge 生成 4,572 条经验证轨迹。增量微调占前置编码数据 0.46%,SWE-Bench ProMax 提升 7.06 分。
EnerGNN框架通过混合整数规划实现精确约束推理,在多个基准测试中达成100%可行性及近最优解。 该模型采用图神经网络编码器与非线性能量头,在供应链问题上实现17.4倍加速且平均原始间隙仅为0.05%。 学习到的能量函数支持零样本约束注入,无需重新训练即可适应变化约束并保持可行性。
研究团队推出 AgentLogs,这是首个涵盖 GitHub 云智能体真实世界活动的大规模数据集,旨在打开黑盒,记录包括失败在内的执行过程。 数据集包含来自 40,565 个公共仓库的 363,624 个任务和 635,886 个会话,以及 75,631,136 条日志条目,详细记录了提示词、推理、工具调用和 token 消耗。 该数据集支持对智能体行为、故障模式、效率成本及人机协作等方向的研究。
研究发现 Claude Code 在将长会话历史压缩为摘要时存在失效模式,被终止命令的部分输出被误记为已确认结果。 该机制源于将终端即时观测等同于持久化存储信息,导致虚假阳性跨会话传播且缺乏再验证。 此失效影响依赖智能体会话连续性的数据处理及多步自动化工作流,揭示了工具在报告自身操作结果时的可靠性缺陷。
针对软件工程智能体难以跨任务复用经验的问题,研究团队提出 MemOp 闭环框架。该框架将“经验证的下游影响”确立为任务无关的记忆效用基准及免标注优化信号,旨在解决智能体重复重建上下文的痛点。
AutoPipe 提出了一种预算感知的两阶段 LLM 后训练配置框架,通过离线排序代理和在线贝叶斯优化实现高效配置选择。 该框架结合高斯过程残差代理与早停预测器,在生物医学推理任务中,以远低于全保真 HPO 基线的在线成本实现了可比性能。
基于 Qwen3-4B 的 Terminus-4B 通过 SFT 和 RL 训练,在智能体终端执行任务中性能媲美甚至超越 Claude Sonnet 及 GPT-5.3-Codex 等前沿模型。 在 SWE-Bench Pro 等基准测试中,该模型使主智能体 token 消耗降低约 30%,且未损害任务性能,显著提升了主智能体对子智能体输出的依赖度。
研究人员提出代码重写管道与有害记忆指数(HMI),用于量化LLM在语义微变下的代码生成脆弱性。 实验基于MBPP+和BigCodeBench基准发现,HMI不随模型规模单调增加,且集中在约束变更等逻辑编辑中。监督微调可能推高HMI,而PPO后训练在准确率与HMI权衡中表现更优。
软件智能体在轨迹删除研究中显示,删除旧轮次内容需延迟执行以防性能下降。 在 9,400 次运行中,删除最多 100% 推理文本可保持有效性,但会增加重新获取次数及 token 消耗。 在缓存感知计价模型下,删除轨迹导致前缀缓存失效,未降低甚至增加成本。
summary_zh: V³AST-Bench 发布,包含 212 项风险任务和 18 个类别,通过专用运行时环境验证智能体造成的实际危害与结果。 基准包含 86,496 次试验和 90 多亿 token 交互,测试了 11 个模型和 5 种 harness 的 51 种组合。
针对四个编程任务挖掘推理模式,识别出设计到实现、状态追踪、证据修复重检及语义映射四种通用模式。 正面模式促进验证收敛,负面模式体现无闭环的重复修订;基于模式的应用可提升任务准确率并显著降低 API token 消耗。 这些推理模式特征在未见过的新模型上同样有效,支持对大推理模型行为的分析与控制。
研究通过 Claude Code 在 30 个 SWE-bench Verified 任务中实施 24 项 harness 变更,评估回顾性适应对后续任务的影响。结果显示,7 项针对性测试中仅两项消除或减少目标操作,四项无显著改善,且部分变更引入了额外无关工作。研究强调 harness 自我演化需建立变更有效性验证机制,而非仅靠生成与实施调整。
研究发现编码智能体中缩短提示词可能因重写缓存历史反而增加能耗。基于 SWE-bench V2 的 450 个案例显示,预加载策略将模型调用减少 35.7%、GPU 能耗降低 33.2%。 启用前缀缓存可使未缓存预填充减少 67.7%,但删除历史会导致不可重用 Token 损失 135.9k。
CodeMeepo 多智能体流水线解决了 LLM 代理在仓库级代码迁移中的测试盲区、上下文窗口限制及性能损耗问题。 该工具利用 8 个专业化智能体角色、固定外部预言机及确定性状态机,通过有序里程碑和累积回归检查确保行为一致性。 在 3 种语言对的 9 个基准测试中,CodeMeepo 测试通过率比 SOTA 基线高 18%,优化阶段使一半基准性能平均提升 25%。
CyberDual 评测显示,3 个智能体审查者拦截了 1,088 次有效攻击中的 85-91%,但约六分之一攻击槽在审查后仍保留可利用漏洞。 漏洞分布在上游真实提交中,GLM 5.3 在 13/28 个突破三审查者的攻击中占多数;Claude 审查者常误批,GPT-6-Sol 常修错代码。
MulFCoder 提出框架条件化多智能体方法,将多框架前端代码生成限制在可判定的规则空间。 该方法通过 Grounder、Planner、Writer 和 Judger 四个智能体协同工作,显著提高了编译成功率并减少了特定框架的错误。 论文已被 ICML 2026 接收。 ```
summary_zh: 研究发布首个全面基准 SecPRBench,用于评估基于真实世界 bug-introducing commits 的 agentic security review。
针对 Android/iOS 应用迁移至 HarmonyOS 需重写 ArkTS 且功能验证难的问题,HMOS Migrator 通过回放真实设备交互生成并验证迁移结果。 该智能体流水线定义了 7 项加权指标,在 6 个开源应用 12 次测试中,结构完整性达 83.3%-100.0%,但设备行为与 UI 保真度分别为 4.3%-63.1% 和 21.1%-63.2%。
MARC 提出一种基于可执行运动学图的机制感知反思修正方法,用于铰接物体代码生成。在 20 个物体的测试集中,MARC 结合 Kimi-K3 模型达到 67.8% 的有效运动覆盖率和 60.0% 的整体成功率,优于六个基线模型。
研究人员提出基于图灵测试的领域教师测试范式,利用模型被误认为教师的概率作为强化学习奖励。 该范式使用 DeepSeek V4 Flash 作为教师,训练 Qwen2.5-1.5B 学生在无标准答案时学习。 结果显示学生模型在 CommonsenseQA 等多个独立领域评测中性能均有所提升。
研究团队将验证视为 Agent 框架测试时扩展的关键维度,在 Terminal-Bench 和 SWE-bench Verified 上对比了7个前沿编码模型的17种验证设计。
Numina Fuse 是一款用于在 Lean 4 中进行数学形式化的原生智能体应用。 用户通过蓝图、依赖图和 Lean 代码视图监督 AI 编排器,后端可长时间运行智能体任务。该工作展示了 2026 年从预定义流水线向自主编排器的演进,并应用于三维 Kakeya 猜想的形式化研究。 开源本地版本 Fuse Desktop 已发布,为下一代自动形式化系统提供了设计经验。
SWE-Ladder 提出分阶段证据蒸馏方法,解决 SWE 代理缺乏定位与复现阶段特定指导的问题。 在 Qwen3-4B-Instruct-2507 模型上,该方法使 SWE-bench Verified pass@1 从 9.6% 提升至 16.4%。 该方法优于 GRPO(10.4%)和 OPSD(12.4%),验证了阶段顺序对性能的关键影响。
AdaPRA 通过持久化代码智能体框架和自适应评分标准监督,减少数据科学流程错误。 在 5 次尝试中,AdaPRA 使 80B Qwen 模型在 DSPredict-Easy 和 DSPredict-Hard 上的排行榜百分位分别提升 24.5 和 14.8 分。 该方法验证了易任务评分标准可泛化至难任务,且优于 DataPRM,代码已开源。
OpenAI Codex 发布 v0.165.0,新增 Google Cloud Vertex AI 内置提供商,并将 GPT-6.1 Terra 加入模型目录。 默认启用 memory v2 并支持导入外部 agent 记忆;修复 TUI 会话权限及 MCP 请求取消等 bug。
国金证券与阿里云合作,利用 Qoder 将 AI 代码生成占比稳定提升至 90% 以上。 双方将 2000 余份知识卡片提炼为 10 条避坑规范,覆盖 5 类研发环节;实测知识导航减少工具调用约三成,显著降低存量系统开发风险。 此举将个人经验转化为组织标准,确立标准与约束为 AI 规模化落地的核心瓶颈,而非工具本身。
系统 Change2Task 基于仓库历史将合并 PR 转化为 5 类可执行编码智能体任务,从 1,130 个源变更中实现 79.6% 的验证任务构建成功率。 系统通过 Patch Reversal 和 Code Mapping 等技术对齐历史证据与演化代码,匹配候选集上比 PR 基线多恢复 29.2% 的验证任务,且重用现代基座使全流程支出降低 10.8%。
针对Mem0记忆机制下57.5%的偏好检查违规率,TellOnce 提出一种即插即用个性化层。 它将对话中的修正转化为持久、有作用域且可修改的行为规则,无需更新底层模型。 在 ClawArena 上较 PGMem 减少 19.3-42.3 个百分点违规率,并保持任务表现。
在 SWE-bench Verified 上测试显示,对于 Qwen3-8B 和 Gemma 4 E4B,结构化工具将仅使用 grep 的准确率翻倍。增益在 1.7-4B 参数模型上达到 17-21 个点峰值,而在 32B 模型上降至 4-5 个点。
研究九款 OpenAI 和 Anthropic 模型在 3,997 次生成尝试中,发现 Markdown 围栏 JSON 是主要失败模式。 在 681 次围栏失败中,仅 48.0% 在移除围栏后通过验证,其余多隐藏字段长度违规。 提出 4 项工程实践用于验证器、模式、重试及评估设计,并公开分类器与数据集。
在 SWE-bench 300 个 issue 上,CQ2-CARE 通过整文件选择策略让 GPT-5.6 和 Claude Opus 5 分别解决 43.7% 和 46.7% 的缺陷。 相比最佳压缩器和高检索器,该方法分别高出 6.3 和 9.3 至 12.7 个百分点。 此方法无需压缩模型,保持代码原样,提升 patch 成功率。