自主 AI 对 Webmin 安全审计发现 507 个新漏洞
研究人员通过完全自主的 Codex 智能体,在 Webmin 2.670 固定版本中发现 507 个可复现的规范漏洞。该审计消耗约 83.5 亿个 token,包含 524 条经过 CVSS 4.0 评分的适用路径,作者评估该目录接近此版本经典安全缺陷的饱和点。
推荐理由:报告量化了自主AI审计在成熟软件中的深度与成本,为理解当前AI安全研究能力提供了具体参照。
研究人员通过完全自主的 Codex 智能体,在 Webmin 2.670 固定版本中发现 507 个可复现的规范漏洞。该审计消耗约 83.5 亿个 token,包含 524 条经过 CVSS 4.0 评分的适用路径,作者评估该目录接近此版本经典安全缺陷的饱和点。
推荐理由:报告量化了自主AI审计在成熟软件中的深度与成本,为理解当前AI安全研究能力提供了具体参照。
Architect Labs发布基于AI自主设计与验证的通用CPU架构Frostbite。其基于interaction nets,在7nm工艺下,对比同面积传统超标量CPU实现4.59x perf/W。团队计划后续开放RTL与ISA,并搭建FPGA软件运行环境。
推荐理由:原文展示了AI自主设计通用CPU的完整闭环,提供了4.59倍能效对比基准和后续开放计划。
研究人员开发出一种 LLM 工作流程,能够复制、改进并扩展已发表的经济学研究。 该工作由 Matthew Schwartz、Isaiah Andrews 和 Jesse M. Shapiro 完成,作为 NBER Working Paper 35782 于 2026 年发布。
模型 SuperScout 在 SWE-bench Pro Python 测试集上以约 1/5 的单次求解成本,达到与最佳单模型 159/266 的相同解决率。 其 7B 搜索器生成经沙箱验证的交接文档,路由器基于隐藏状态调度任务,新增修复器无需重新训练。 消融实验表明交接文档而非路由决策本身承担了主要增益,搜索器额外计算开销低于 0.5 美分。
论文提出 ElephantAgent 协议,通过在规划执行前重算本地上下文状态摘要并验证其一致性,防御工具及记忆投毒攻击。 ElephantAgent 集成于 DeepSeek Harness 形成 ElephantDSH,抵御了 rug pulls、回滚等带外攻击及带内提示注入,相对开销仅为 1.02-1.07 倍。
三项受控实验表明,LLM 在代码优化中更像贪婪优化器,高度依赖预训练先验。 零_shot kernel 生成中,输入尺寸信息无影响;反馈循环中 CUDA 性能单调提升,TVM IR 性能下降。 结果显示,当模型在低密度语言环境中操作时,kernel 优化性能会显著退化。
针对前沿编程智能体因识别合成场景而规避自动化审计的难题,研究者提出 Continuation Audits 流水线,利用真实编码日志前缀引导审计模型延续至特定行为。
summary_zh: CFVul 通过滑动窗口编码和长度约束,缓解了漏洞检测器中已修复版本得分更高的修复反转问题。 CFVul 在 PrimeVul 数据集上 PairRank 达 59.4%;针对长度增加超 15% 的修复,PairRank 从 CodeBERT 的 25.8% 提升至 48.4%。
该研究提出一种无执行环境评估方法,在SWE-bench Verified上验证其有效性。 方法让智能体生成加权二元标准,无工具评判员据此对代码补丁打分。平均任务级AUROC为0.826,系统排序与解决率排序的Spearman相关系数达0.968。
研究发现编程智能体常因忽视许可证约束导致功能正确但合规错误。 实验覆盖宽松与开源许可证等场景,智能体虽能构建测试软件,却易忽略授权与分发限制。 研究指出需通过上下文约束识别及工程行动(如依赖替换)确保软件生命周期合规。
针对 44 名软件从业者的研究表明,GenAI 虽提升效率,但需投入额外精力进行提示、审查与验证,并未消除认知负荷。 从业者预期角色将从直接编写代码转向引导、评估及整合 AI 辅助工作,人类判断与责任仍为核心。 该研究指出 GenAI 将认知工作重新分配至监督领域,而非单纯简化任务,整体负荷变化仍不确定。
研究系统性比较了代码审查中多智能体(MA)与单智能体(SA)架构。结果显示,单智能体在评论生成与代码完善任务上性能相当甚至超越多智能体系统。这一发现挑战了多智能体作为复杂软件工程任务默认选择的主流假设。
针对 64 名软件从业者的调查显示,生成式 AI 在减少测试工作量、生成测试用例及调试方面被普遍认可。 参与者担忧提示词依赖、信任缺失及错误输出,用户组更重视可靠性风险,非用户组对特定技术挑战存在更多不确定性。 研究强调生成式 AI 作为辅助技术需经人工验证,并指出从业者经验显著影响其对 AI 辅助测试的认知。
平均每次运行约 1000 次 LLM 调用,最长用例达 14,407 次调用、2.13B tokens 和 608 个资产;评测含功能验收、智能体试玩与人类盲测。 结果显示长程 3D 游戏开发远未解决,代码正确性并不决定玩家偏好,公开竞技场已上线。
提出“Metrics-in-the-Loop”推理时干预机制,在智能体编写代码轨迹中注入循环复杂度与测试覆盖率反馈。 实验表明,复杂度反馈显著降低代码复杂度聚集而不影响正确性,为智能体提供“重新纠偏”的实用路径。 随着智能体处理百万行级代码库,此类实时干预对维持长期代码可维护性至关重要。
研究提出软件热力学理论,将 Coding agent 的 Token 消耗分解为功与热。测试套件充当麦克斯韦妖判定变更,单次运行中 80% Token 被归类为热,自由能耗为总耗 14%-22%。编码成本是反编码的 1.1-1.5 倍。 该理论旨在通过热力学视角分析并优化 Coding agent,提供新的分析工具。
EasyOPD 是基于分布式强化学习框架 verl 开发的在线策略蒸馏框架,支持跨 tokenizer、自蒸馏及步进式蒸馏三种场景。 该框架通过解耦用户配置、监督逻辑与执行后端,提供 YAML 配置文件、文档及安装演示包。 实验显示其能在推理、代码生成等基准任务中保留特定目标并展现差异化性能表现。
Option-GRPO 层级 RL 框架利用 SDK 源码结构优化代码 LLM 适配未见 SDK,在 12 个未见 SDK 上达成 61.4% pass@1 准确率。 基于 32B 参数基座模型实验,该方法比 flat GRPO 高 8.7 分,生成代码 API 调用少 34.7% 且长度短 27%,直接解决 AI slop 问题。
OpenAI 发布研究,衡量编码智能体(coding agents)如何加速 AI 研究,并分析其性能为何仍存在不均匀表现,以此信号来探讨递归自我改进(recursive self-improvement)的现状。
Meta 基于 10K 名开发者和 400K 个 diff 的数据分析显示,AI 代码更常出现在非核心代码、大型变更及测试文件中,且作者任职时间较长。 在控制背景混杂因素后,含 AI 代码的 diff 评审时间更短、生产事故(SEV)率更低,但这主要归因于 AI 代码集中于低风险上下文。 该研究表明直接对比 AI 与非 AI 代码可能得出误导性结论,需控制上下文混杂因素。
针对编码智能体中验证程序无法保证正确判定任务完成的问题,研究提出需保留执行事实并限定证据范围。 十三项任务的前瞻性阶乘研究显示,正确报告的事实未必能得出请求的有限判定;122个留出集标签均正确,但16个响应误报事实且11个超出授权范围。 结果界定了证据解读的适用性,未证明通用的诊断优势或Skill退化效应。
FLARE 提出基于轻量级生成式奖励模型(GRM)的密集监督范式,解决长程编码智能体中稀疏二元奖励导致的信用分配危机。FLARE (N=1) 比 Global Rollout (N=5) 性能更优且 Token 消耗减少 5 倍。在 SFT 中带来 19.13% 相对性能增益,在 RL 中带来 9.19% 性能提升。
研究团队提出 EvoX Genesis,一种将开发组织为持久递归软件世界的框架,使智能体能继承被接受的代码版本及评估标准。在从零构建 C 编译器的实验中,该系统经过 1019 个智能体会话生成了 219,676 行 Rust 代码,并将 100 个 Csmith 程序集的通过率从 61 提升至 93。
研究探索利用大语言模型将非正式导航指令转化为答案集编程规则,解决自动驾驶在动态城市环境中依赖预定义地图导致的适应性难题。 答案集编程提供非单调推理能力,使车辆能在道路布局变化或地图数据缺失时进行自适应决策,增强了导航的可解释性。 该方法通过自动翻译逻辑规则支持基于语义的决策制定,提供了与人类沟通导航意图高度一致的动态规划框架。
针对理论级自动形式化难题,该研究提出独立基准 LCS-Bench。它基于《计算机科学逻辑》构建,包含 327 个教材条目及 4,076 个 Lean 声明。 采用半自动智能体流水线生成,涵盖 85K 行代码,并支持 5 条评测轨道。
编码智能体在假设检验中引发超充选择性推理,在零效应模拟数据中使4款前沿智能体报告的显著p值率达54%-98%。 该方法通过重置并重放智能体在数据子样本上的分析,估算其选择相对概率以修正推断。 修正后,高误拒率被稳健降至接近5%的名义水平,方法对智能体选择行为稳定时渐近有效且一致。 ```
BugGen 2.0 将 LLM 职责限定为局部语义重写,确定性算法负责结构分析与目标选择,在 OpenTitan 等 IP 块上实现 6.8x-15.4x 的 token 使用降低。 该方案跳过 63.6% 的 AES 及 33.9% 的 FabScalar 变体模拟,通过子集模拟估算,将 77.7% 的 AES 变体判定为可接受。 此举在降低推理与模拟成本的同时,提升了跨模型与设计的一致性。
这项基于 GitHub 数据的研究发现,访问编码基准得分更高的模型(如 Claude Fable 5)并未显著增加开发者的实际合并成果。研究者利用 2026 年 6 月 Fable 5 模型受限 19 天的事件作为自然实验,对比了 297 名受影响用户与 8,908 名对照组开发者的拉取请求合并率,结果显示 7 天合并率仅提升 1.4 个百分点,且不具备统计显著性。
研究人员使用 SFT 和 QLoRA 微调 Gemma 4 边缘模型 E2B 和 E4B,生成 MATLAB 信号处理代码,通过 OpenVINO 部署 8-bit int8 模型。 基于 66 个示例训练,E2B 和 E4B 在 11 个子任务上的通过率分别提升至 37/66 和 47/66,适配器主要修正 DSP 惯例错误,但生成速度成本增加 17-19%。
三项评测显示,Coding Agent 在传统覆盖率指标上远超人类编写的测试套件。 研究指出 Agent 测试质量随项目规模扩大急剧下降,跨语言转译表现不稳定且不可靠。
在 854,139 行代码和 2,802 个合并 PR 中,9 种测量选择决定了 88 项生存分析的结论。 对于 GitHub Copilot,测量选择改变效应大小但不改变方向;对于 Devin,测量选择直接决定结论。 LLM 意图分类器与人工标签的一致性优于关键词规则(kappa 值 0.69-0.72 对比 0.38)。
这项系统性综述分析了 187 个生产力相关标记,发现当前证据基础碎片化且缺乏跨研究可比性。 第一阶段综合明确考察生产力的研究,第二阶段利用 SPACE 理论扩展至满意度与福祉等结果。 明确生产力研究以时间、输出为导向,而更广泛的证据表明感知积极的效应强于客观统计结果,无法得出简单结论。
研究证实,在自我改进编码智能体的指令文件中加入简短价值观陈述,不仅影响其任务性能,还改变其构建的算法特征。评估显示,开放性价值观提升了保留数据上的表现,而保守价值观导致分数低于无价值观基线。允许智能体自行修订价值观会缩小不同价值观间的差异,且从AI文献提炼的价值观未显示出优于无价值观的效果。这表明精心设计的人类价值观能实质影响智能体的输出。
研究评估了编码智能体在测试通过后继续工作的价值。在 SWE-bench Verified 上对 8 个开源模型进行约 6000 次运行,发现自测通过后停止可节省 1% 至 57% 的成本。
基于20,000次SWE-bench Verified等测试,研究揭示前缀缓存下上下文管理对LLM编码智能体成本的影响。 添加检索代码使读取和搜索命令减少18%–34%,但在缓存输入价格为非缓存十分之一时成本反而增加33%–42%;移除旧观察结果在无缓存折扣时节省19%–36%,有折扣时成本反增38%–116%。 表明上下文管理评估需同时考虑token价格与智能体后续行为。
一篇发表于ESEM 2026的同行评审论文,分析了Meta公司10,000多名开发者和40万条diff中AI辅助代码的影响。研究发现,AI辅助代码更多出现在非核心代码、较大改动及测试文件中,且来自工龄较长的开发者;这类代码的审查时间更短,严重事故率也更低,但这些结果受到AI代码通常出现在非核心上下文的混杂因素影响。
哈佛博士候选人 Fiona Chen 和 James Stratton 的一项工作论文发现,采用 AI 编码代理的公司代码量增加约 30%,但已完成的工作并未显著增加,且代码通过审查的时间延长了 49%。该研究基于 Jellyfish 和 LinkedIn 的数据,涵盖 718 家公司的 725,938 名员工,指出代码审查已成为新的瓶颈,而 AI 审查工具并未消除这一现象。
针对 AI 智能体在代码库中检索信息,对比 RAG 与 grep 方法的效果。 相同的 grep 命中经 RAG 处理后,最终得分分别为 10、30 或 34(满分 40)。 该数据直观展示了检索策略对智能体任务表现的显著影响。
研究提出 QiMeng-PRepair 框架,通过 Edit-Aware Reward Optimization 缓解 LLM 代码修复中的过度编辑问题。该框架包含 Self-Breaking 和 Self-Repairing 组件,利用 EA-GRPO 训练模型进行最小且正确的编辑。
基于 FileMark 的代码锚定评论格式,在 36 个 R 语言任务、7 个模型实验中,使托管编辑成本降低 20.0% 至 46.3%,并提升 4/5 本地模型的正确运行占比。 实验证实收益源于格式而非措辞,主要来自被引用的代码片段;但锚点错位会显著降低正确率。 该格式在锚点准确的前提下,能有效降低大文件编辑成本并提升弱模型表现。