作者构建开源实验室,用统一契约跨测 AI 编码代理沙箱
作者建立了一个开源实验室,用于测量 AI 编码代理沙箱的安全性。每个沙箱都宣称能阻止代理读取密钥、访问网络或植入 git hook,该仓库将这些宣称转化为任何人可执行的契约,并记录在不同沙箱上运行这些契约的结果,以便在相同的测试下进行比较。
作者建立了一个开源实验室,用于测量 AI 编码代理沙箱的安全性。每个沙箱都宣称能阻止代理读取密钥、访问网络或植入 git hook,该仓库将这些宣称转化为任何人可执行的契约,并记录在不同沙箱上运行这些契约的结果,以便在相同的测试下进行比较。
亚马逊更新软件工程师工作准则,强调考核核心为创造业务价值而非 AI 使用量,避免追求指标导致滥用。 备忘录区分使用 AI 次数与词元消耗量及代码行数等数据,警示过度追求这些指标可能引发负面结果。 亚马逊指出词元消耗量与工作成果存在联系但不能只看数字,强调详细规定工具使用易过时,重点应放在长期业务成果。
FeatureLoop 基准包含 61 个人工审查任务,评测 12 个前沿模型发现最强模型在双重反馈下完成率 72.1%。 仅 15.4% 的失败阶段在两次修正内恢复,分析揭示了修复不完整、回归及模型间 token 效率差异等障碍。
针对服务超 10 万开发者的 92B 编程 LLM,引入 RefactorForge 生成 4,572 条经验证轨迹。增量微调占前置编码数据 0.46%,SWE-Bench ProMax 提升 7.06 分。
EnerGNN框架通过混合整数规划实现精确约束推理,在多个基准测试中达成100%可行性及近最优解。 该模型采用图神经网络编码器与非线性能量头,在供应链问题上实现17.4倍加速且平均原始间隙仅为0.05%。 学习到的能量函数支持零样本约束注入,无需重新训练即可适应变化约束并保持可行性。
研究团队推出 AgentLogs,这是首个涵盖 GitHub 云智能体真实世界活动的大规模数据集,旨在打开黑盒,记录包括失败在内的执行过程。 数据集包含来自 40,565 个公共仓库的 363,624 个任务和 635,886 个会话,以及 75,631,136 条日志条目,详细记录了提示词、推理、工具调用和 token 消耗。 该数据集支持对智能体行为、故障模式、效率成本及人机协作等方向的研究。
研究发现 Claude Code 在将长会话历史压缩为摘要时存在失效模式,被终止命令的部分输出被误记为已确认结果。 该机制源于将终端即时观测等同于持久化存储信息,导致虚假阳性跨会话传播且缺乏再验证。 此失效影响依赖智能体会话连续性的数据处理及多步自动化工作流,揭示了工具在报告自身操作结果时的可靠性缺陷。
针对软件工程智能体难以跨任务复用经验的问题,研究团队提出 MemOp 闭环框架。该框架将“经验证的下游影响”确立为任务无关的记忆效用基准及免标注优化信号,旨在解决智能体重复重建上下文的痛点。
AutoPipe 提出了一种预算感知的两阶段 LLM 后训练配置框架,通过离线排序代理和在线贝叶斯优化实现高效配置选择。 该框架结合高斯过程残差代理与早停预测器,在生物医学推理任务中,以远低于全保真 HPO 基线的在线成本实现了可比性能。
基于 Qwen3-4B 的 Terminus-4B 通过 SFT 和 RL 训练,在智能体终端执行任务中性能媲美甚至超越 Claude Sonnet 及 GPT-5.3-Codex 等前沿模型。 在 SWE-Bench Pro 等基准测试中,该模型使主智能体 token 消耗降低约 30%,且未损害任务性能,显著提升了主智能体对子智能体输出的依赖度。
研究人员提出代码重写管道与有害记忆指数(HMI),用于量化LLM在语义微变下的代码生成脆弱性。 实验基于MBPP+和BigCodeBench基准发现,HMI不随模型规模单调增加,且集中在约束变更等逻辑编辑中。监督微调可能推高HMI,而PPO后训练在准确率与HMI权衡中表现更优。
软件智能体在轨迹删除研究中显示,删除旧轮次内容需延迟执行以防性能下降。 在 9,400 次运行中,删除最多 100% 推理文本可保持有效性,但会增加重新获取次数及 token 消耗。 在缓存感知计价模型下,删除轨迹导致前缀缓存失效,未降低甚至增加成本。
summary_zh: V³AST-Bench 发布,包含 212 项风险任务和 18 个类别,通过专用运行时环境验证智能体造成的实际危害与结果。 基准包含 86,496 次试验和 90 多亿 token 交互,测试了 11 个模型和 5 种 harness 的 51 种组合。
针对四个编程任务挖掘推理模式,识别出设计到实现、状态追踪、证据修复重检及语义映射四种通用模式。 正面模式促进验证收敛,负面模式体现无闭环的重复修订;基于模式的应用可提升任务准确率并显著降低 API token 消耗。 这些推理模式特征在未见过的新模型上同样有效,支持对大推理模型行为的分析与控制。
研究通过 Claude Code 在 30 个 SWE-bench Verified 任务中实施 24 项 harness 变更,评估回顾性适应对后续任务的影响。结果显示,7 项针对性测试中仅两项消除或减少目标操作,四项无显著改善,且部分变更引入了额外无关工作。研究强调 harness 自我演化需建立变更有效性验证机制,而非仅靠生成与实施调整。
研究发现编码智能体中缩短提示词可能因重写缓存历史反而增加能耗。基于 SWE-bench V2 的 450 个案例显示,预加载策略将模型调用减少 35.7%、GPU 能耗降低 33.2%。 启用前缀缓存可使未缓存预填充减少 67.7%,但删除历史会导致不可重用 Token 损失 135.9k。
CodeMeepo 多智能体流水线解决了 LLM 代理在仓库级代码迁移中的测试盲区、上下文窗口限制及性能损耗问题。 该工具利用 8 个专业化智能体角色、固定外部预言机及确定性状态机,通过有序里程碑和累积回归检查确保行为一致性。 在 3 种语言对的 9 个基准测试中,CodeMeepo 测试通过率比 SOTA 基线高 18%,优化阶段使一半基准性能平均提升 25%。
CyberDual 评测显示,3 个智能体审查者拦截了 1,088 次有效攻击中的 85-91%,但约六分之一攻击槽在审查后仍保留可利用漏洞。 漏洞分布在上游真实提交中,GLM 5.3 在 13/28 个突破三审查者的攻击中占多数;Claude 审查者常误批,GPT-6-Sol 常修错代码。
MulFCoder 提出框架条件化多智能体方法,将多框架前端代码生成限制在可判定的规则空间。 该方法通过 Grounder、Planner、Writer 和 Judger 四个智能体协同工作,显著提高了编译成功率并减少了特定框架的错误。 论文已被 ICML 2026 接收。 ```
summary_zh: 研究发布首个全面基准 SecPRBench,用于评估基于真实世界 bug-introducing commits 的 agentic security review。
针对 Android/iOS 应用迁移至 HarmonyOS 需重写 ArkTS 且功能验证难的问题,HMOS Migrator 通过回放真实设备交互生成并验证迁移结果。 该智能体流水线定义了 7 项加权指标,在 6 个开源应用 12 次测试中,结构完整性达 83.3%-100.0%,但设备行为与 UI 保真度分别为 4.3%-63.1% 和 21.1%-63.2%。
MARC 提出一种基于可执行运动学图的机制感知反思修正方法,用于铰接物体代码生成。在 20 个物体的测试集中,MARC 结合 Kimi-K3 模型达到 67.8% 的有效运动覆盖率和 60.0% 的整体成功率,优于六个基线模型。
研究人员提出基于图灵测试的领域教师测试范式,利用模型被误认为教师的概率作为强化学习奖励。 该范式使用 DeepSeek V4 Flash 作为教师,训练 Qwen2.5-1.5B 学生在无标准答案时学习。 结果显示学生模型在 CommonsenseQA 等多个独立领域评测中性能均有所提升。
研究团队将验证视为 Agent 框架测试时扩展的关键维度,在 Terminal-Bench 和 SWE-bench Verified 上对比了7个前沿编码模型的17种验证设计。
Numina Fuse 是一款用于在 Lean 4 中进行数学形式化的原生智能体应用。 用户通过蓝图、依赖图和 Lean 代码视图监督 AI 编排器,后端可长时间运行智能体任务。该工作展示了 2026 年从预定义流水线向自主编排器的演进,并应用于三维 Kakeya 猜想的形式化研究。 开源本地版本 Fuse Desktop 已发布,为下一代自动形式化系统提供了设计经验。
SWE-Ladder 提出分阶段证据蒸馏方法,解决 SWE 代理缺乏定位与复现阶段特定指导的问题。 在 Qwen3-4B-Instruct-2507 模型上,该方法使 SWE-bench Verified pass@1 从 9.6% 提升至 16.4%。 该方法优于 GRPO(10.4%)和 OPSD(12.4%),验证了阶段顺序对性能的关键影响。
AdaPRA 通过持久化代码智能体框架和自适应评分标准监督,减少数据科学流程错误。 在 5 次尝试中,AdaPRA 使 80B Qwen 模型在 DSPredict-Easy 和 DSPredict-Hard 上的排行榜百分位分别提升 24.5 和 14.8 分。 该方法验证了易任务评分标准可泛化至难任务,且优于 DataPRM,代码已开源。
270 次无监督运行显示,AI 编码智能体的护栏机制并未提升首次通过率,且单模型成本差异远大于护栏影响。 实验涵盖 Sonnet、Opus、Haiku 三个模型,Haiku 每次采纳变更成本最低($0.04-$0.06),Opus 最高($0.82-$0.97)。 结果基于特定小代码库,作者通过伴随仓库开放了复现数据与脚本供独立验证。
菲尔兹奖得主、加州大学伯克利分校(UC Berkeley)数学教授理查德 · 博尔彻兹(Richard Borcherds)宣布不再布置计分家庭作业,原因是 AI 滥用使作业失去评估意义。
Amazon 工程领导层更新了软件开发工程师(SDE)的角色指南,强调在 AI 时代,SDE 的核心价值在于客户成果而非具体工具使用。指南指出 AI 正在深刻改变软件工程,但其核心职责未变,工程师需平衡 AI 工具与人类判断。Amazon 建议通过长期成果而非短期指标(如 token 用量)来衡量绩效,并鼓励团队深入理解 AI 在自身工作中的应用局限,以保持竞争力。
Mozilla 扩展火狐 Firefox“智能窗口”,新增 AI 表单自动填写和网站监控功能,目前面向部分桌面版测试用户开放。 表单填写使用 Google Gemini 3.1 Flash Lite 提取标签页上下文;网页监控由 Qwen 模型驱动,输入 /watch 可追踪价格或补货,单任务限 5 个网页。 功能仅向美国和加拿大英语用户开放,Mozilla 计划未来数月扩展至更多市场。
编程因智力属性、无直接客户交互、低准入门槛、结果可自动验证、责任可分离及无需真人形象,六大因素使其更易被自动化。 自动化测试使LLM可独立迭代纠错,减少对人工验证依赖。相比之下,医生、律师等需承担个人责任且有人格需求的职业受影响较小。
Vave 发布的 Midi synth 因未锁定固件引发替代固件开发热潮,Behringer 顺势推出明确支持开源的硬件。Behringer 称 AI 如今使个人能编写固件,支持该趋势;但其新设备 “Behringer Kick” 因类似 Akai 产品引发用户争议。文章指出 AI 由此在音乐硬件领域找到了重要应用。
Anthropic CEO Dario Amodei在访谈中预测纯编码工作将被AI最先取代,但软件工程仍有长期价值,并提出“5%+95%=20倍生产力”公式,认为人类应聚焦判断力与5%的核心决策。他建议25岁年轻人避开套壳应用,选择物理世界(如半导体、制造业)或生物技术赛道,并将提示词工程比作弹钢琴,强调需通过实操掌握AI而非仅靠调用API。
Rory Sutherland 提出“门房谬误”,指出在 AI 时代将复杂工作简化为最易自动化的可见任务,会导致失去角色中其他无形价值。 以软件开发为例,初级代码编写如同开门,但资深开发者还需承担需求决策、架构设计、团队管理等工作。在 AI 处理可自动化的部分后,提出问题、跨领域连接及决策等人类核心能力变得更加重要。
开发者发起众包项目,利用 AI 订阅剩余额度将 Murray 新英语词典扫描件转录为公共领域文本。目前共有 117 个页面文件,其中 112 个处于草稿状态,2 个已完成。所有内容采用 CC0 1.0 许可,允许任何人自由使用。
陶哲轩呼吁建立 'Maths 2.0' 时代以将人类理解置于优先地位,应对 AI 生成海量数学证明带来的'理解滞后'挑战。尽管 OpenAI 等机构发布的数百个解答冲击了传统科研流程,但合理重构激励机制可促使 AI 工具成为增强人类认知的有效手段。
开发者通过 Vibe Coding 创建浏览器端点击游戏《Mac Packwala and the Curse of the Stale Cache》,旨在通过解谜学习 Drupal AI 生态。 游戏包含 60 个谜题,采用约 15,000 行 TypeScript 代码在 320x200 画布渲染,无需图像文件,桌面版支持 Windows、macOS 和 Linux。
作者提出“共振编程(Resonance Coding)”以取代“氛围编程(Vibe Coding)”,主张人类专家与 LLM 结对合作,人类负责领域决策与架构,LLM 负责放大执行与测试。
演讲探讨了 AI 在软件工程与金融知识工作中的应用并行关系,以 Excel 作为金融领域的 IDE 等价物进行类比。 提出 AI 参与工作流程的四个阶段:辅助(assists)、协作(collaborates)、执行(executes)和协调(coordinates)。 这些基于软件行业先发优势的观察,为非编程类知识工作者及其组织预判工作流趋势和做好相应准备提供了参考线索。