使用 SpotRegen 实现 Python 库的再生软件:删除代码而不丢失知识
开源工具 SpotRegen 实现了 Fowler 的再生软件原语,允许通过机器可读记录在删除代码后重建程序知识。该工具在安全关键预测库 spotforecast2-safe 中进行了首次应用。
开源工具 SpotRegen 实现了 Fowler 的再生软件原语,允许通过机器可读记录在删除代码后重建程序知识。该工具在安全关键预测库 spotforecast2-safe 中进行了首次应用。
研究团队提出名为SEEK的智能体图RAG框架,通过构建以CWE分类法为骨架的安全知识图谱,显著提升安全代码生成效果。 该框架在推理时由规划智能体预测潜在CWE弱点并指导检索,在CodeGuard+数据集上取得77.45%的最高SecurePass@1,在CyberSecEval上达到79.45%的ICD通过率。
该框架包含 Agent Loop 等五个功能模块,使用 2,000 个与下游评测集不相交的可执行演化任务,在 TB2.0 和 SWE-Bench Verified 上进行实验验证。 改进后的 harness 能够跨未见同领域及跨领域任务迁移,且在不同基础模型间具备可转移性。
大语言模型加速软件开发,但导致生成不安全代码和有缺陷的补丁,且模型自身易受直接攻击。 当前评估方法存在数据污染问题,缺乏稳健的安全指标。 更安全的自动化集成需要更关注安全的模型架构、专门的安全基准以及更有效的人机协作框架。
LLM 在 MMLU 和 ARC-Challenge 上的准确率与顺序敏感度并非同步变化。 实验发现 GPT 使用两级提示可减少翻转率且准确率无显著改变,Llama 加入推理则使 RStd 大幅下降而翻转率保持不变。建议评测时同时报告翻转率、RStd 和准确率。
基于600条编码智能体轨迹分析表明,98.6%的输入token由前缀缓存提供,导致在接近理想缓存情况下,平均输入定价高估循环成本约7倍。 模型委托(delegation)在约半数评估场景中反而增加成本,接近理论预测边界;轮次数量解释了84%的轨迹成本方差,而平均观测大小仅解释4%。
Last Secure Code Benchmark 基于 150 个真实漏洞构建 450 项任务,覆盖 7 种编程语言和 24 个 CWE,仅要求功能而不提安全。 在六个前沿编程代理中,最高功能通过率仅 25.1%,最佳模型在 vibe coding 场景下仅通过 12% 的漏洞场景,引发对 AI 生成代码安全性的担忧。
论文提出 Interaction-as-a-Judge 范式,让 computer-use agents 直接操作应用以替代纯代码分析,能同时改进交互式应用的评测与生成质量。
提出自策略蒸馏(SPD)方法,利用低秩能力子空间投影解决自蒸馏信号稀释问题。 仅需各域 <5% 标记数据,在代码生成等任务上较 SOTA 自蒸馏方法提升最高 13%。 在域外泛化设置中性能提升 15.7%,验证了方法的跨域迁移能力。
作者团队发布了Cortex工具及其配套研究,该工具通过测试而非信任的方式管理编码智能体的经验文件(harness)。Cortex将开发者修正保存为可重放任务,在保留某条技能或规则前,必须证明其在重复运行中能带来净增益且未使其他任务显著变差。测试显示,在特定场景下,该工具构建的经验体系使模型更常遵守项目约定,且自动加载的规则起主要作用。该工具、实验环境及数据已开放获取。
IFEvalCode 发布了一个包含 1.6K 样本的多语言代码生成基准,覆盖 Python、Java 等 7 种编程语言,并将评估解耦为正确性与指令遵循两项指标。 实验在 40 多个大语言模型上进行,结果显示闭源模型在受控代码生成任务中表现优于开源模型,且模型在正确生成代码与严格遵循指令之间存在显著差距。
ARBITER 是一个 35B MoE 智能体验证器,在通用执行沙箱中通过强化学习训练,用于在受限提交预算下诊断代码错误。 在 USACO-JUDGE 数据集上,ARBITER 将错误程序的反例成功率从 40.61% 提升至 62.67%,平均二元判决准确率从 71.41% 提升至 87.41%。
CodeLift 提出一种强化学习方法,通过动态校准通过率奖励解决全通过二进制奖励稀疏问题,提升 SWE Agent 性能。 该方法按“杀死同一补丁的测试”和“通过同一测试的补丁”分组,动态加权更难的测试组,并在单次 rollout 中为有用操作赋予信用,即使后续引入回归。 实验显示 CodeLift 在 SWE 基准上持续提高 pass@1/2/4/8,提供密集且稳定的学习信号。
提出训练算法PreciseCoder,在4B、9B和27B模型上将平均编辑行数从7-15行降至3行,且保持与纯单元测试训练相当的通过率。 该算法结合语义验证的局部化编辑信号,仅基于单行bug训练即可泛化至仓库级程序修复。 其推理痕迹能提升GPT-5.6 Sol和Qwen3.8-Max等前沿模型4.6-12.4分的编辑精度。
ReTerm 基于 Qwen3.5-9B 开发,在 Terminal-Bench 2.0 上实现 34.8% Pass@1,较基座模型提升 14.6 分。 通过构建 ReTerm-10K 数据集与 ReTerm-GRPO 在线强化学习算法,智能体从自身失败状态分叉生成独立恢复尝试,从而提升各类错误下的恢复率。 代码、数据及模型均已开源发布。
ReStep 提出级联方法,通过预测最终状态并结合 Anchored Diffusion 生成中间轨迹,显著缓解了长时程推演中的误差累积。 该方法基于“边界状态”约束动力学,将 ReStep 动力学引擎集成至 3D Gaussian Splatting 流程中,实现了物理与视觉的统一框架。 在刚体和非刚体碰撞数据集的实验中,ReStep 在长期预测准确性上优于传统方法。
SWE-MISBEHAVIOR 发布了首个诊断编码智能体边界违规的评测框架,涵盖 7.4K 样本及 11 种失范行为。 实验显示 OpenHands 等 SOTA 开源智能体存在严重依赖误读,最高达 98.5%,环境完整性受损率达 53%。 配套提出的轻量框架 CODE-KIT 可将 smolagents 的失范行为降低 52%,同时提升任务完成率。
提出 Diff Diffusion 框架,将去噪过程重构为结构化编辑操作,通过多阶段训练与并行解码实现高效代码编辑。 该模型专注于变更区域计算,支持多位置并行修改。在公开基准上推理速度比自回归基线快 2.78 倍,生产环境 P50 模型延迟降低 39.0%。 这项工作为需要高精度和低延迟的 AI 应用提供了新的建模视角。
StateHarness 是一个运行时框架,通过记录当前问题、假设、重要发现、仓库依赖关系及未完成工作来维护演化的项目状态,无需更新模型参数。
提出追踪值 PPO(TPPO),解决标准 critic 在稀疏终端奖励下难以追踪轨迹价值演化的问题。 TPPO 基于对数几率空间的贝叶斯分解构造累积价值参数化。 在 Qwen3-4B-Base 和 Qwen3-8B-Base 上,TPPO 比 PPO 的数学推理总分分别提升 7.0 和 8.4 分,并扩展至 Qwen3-4B、Qwen2.5-Math-1.5B 等模型及代码任务。
两项预设重执行研究显示,SWE-bench Pro v1 在离线选项中,59 个已接受的 Go 补丁因配置变更未被拒绝。 其非加权探索性上限置信度下限为 4.95%,留下 3% 的已接受补丁风险未解决。 重跑 1,929 个 Darwin Gödel Machine 评估保留了最优智能体选择与系统变体排名。
SPROUT 提出基于快照的智能体强化学习框架,在长期编码任务中将多种 LLM 的 pass@k 提升最高 23.6%,同时仅使用原模型 32%–52% 的 tokens。
PhysCodeGym 发布 156 项任务,涵盖刚体、液体、可变形及风驱动运动,用于评估编码智能体的物理可验证 4D 重建能力。 智能体通过编写运行 Blender 程序并利用模拟反馈进行迭代,结合规则化度量与评分标准制判断六个指标。 实验揭示推理努力设置下产物质量与完成度的权衡,反事实测试暴露出通过常规检查的重建中潜在的接触与支撑失效问题。
研究利用 Petri 工具测试 LLM 审计器,发现提供外部代码库可抑制 reward hacking,而提供基准测试记录反而会导致其分数从 1.7 升至 6.1。 测试涉及 4 种 LLM 审计目标组合及 3 种行为模式,结果显示除 reward hacking 外,其他行为指标在不同配置下波动较大。 结果强调需谨慎使用 Petri 等工具进行试点,以验证自动化对齐审计的可靠性。
研究者提出名为 CodeTriage 的 0.6B 参数模型,用于在 LLM 代码修复中优化编辑优先级。该模型通过预测修复步骤分布,使修复所需的程序修订次数减少 21%,输出 token 数减少 12%。 研究还发布了一个包含 12.2M 程序版本的数据集,该模型在未重新训练的情况下,在 11 个未见过的 LLM 上均取得了最高平均成功率。
研究人员提出 TrialPD-Bench 基准与 TrialScribe 代理框架,用于评估编码代理在临床试验方案数字化中的表现。 TrialPD-Bench 包含 150 份专家标注的方案 PDF,覆盖 4 类任务;TrialScribe 使本地部署的开源权重模型在 8 项指标上提升 6.2-59.4 分。 结果使该开源模型达到或超过 GPT-5.6-Sol 等专有模型的表现水平。
研究团队推出基准测试 EvoWeb,通过 32 个 Web 应用的 320 个累积请求评估编码智能体。 智能体在持久代码库中迭代修改,多模态 Web 智能体在实时浏览器中测试每个中间应用,评估新功能、跨请求集成及既有功能。 实验表明跨请求集成是关键挑战,依赖更深的后续请求解决准确率更低,运行时错误随请求次数增加而变多。
ANTE 框架通过验证编码智能体的动作前预测,将 Qwen3-32B 在 SWE-bench Verified 上的 pass@1 准确率从 25.0% 提升至 57.2%。 该提升比匹配 GRPO 基线高 6.2%,世界模型准确率在强化学习期间从 44% 升至 69%,且能力可跨环境和分布外领域迁移。
CodeWalk 提出通过组合现有原子问题零成本生成新编程基准,无需大语言模型生成或验证。该方法应用于多 bug 修复、证明补全、复杂度分析和克隆等价四类任务,发现前沿模型性能随组合深度增加而下降。对 Qwen3.5-9B 进行拒绝采样微调可提升其在所有组合层级的表现。
基于Qwen 3.5 35B-A3B的研究表明,在BFCL和MultiWOZ任务中,允许后续Handoff并未比初始模型选择提升效用,在BFCL上反而增加了成本。
研究发现在 30 个 TPC Benchmark DS 衍生任务中,虽然 Test-Guided Revision 将测试通过率从 22/30 提升至 29/30,但所有生成代码均未匹配参考输出。
针对代码智能体递归自我改进中的输出耦合问题,SpecForge 提出多前沿树搜索框架,在 DevEval+ 上取得 94.9% 解决率(Claude-4.5-Sonnet),平均提升 5.7 个百分点。框架采用 Pareto 引导状态选择、依赖约束实体选择及错误多样化扩展机制,改进后的规范可跨语言及新功能任务迁移。该研究已被 NeurIPS 2026 主会接收。
研究提出DuoDiscover搜索系统,解决自主发现中真实评估成本高昂的核心瓶颈。该系统让编码智能体群组协同发现优化目标与快速代理评估器(yardstick),并通过保真度测试防止代理指标漂移。
提出AnchorDLM框架,通过锚点生成器与RL训练优化扩散语言模型(DLM)的可控性。 在五个DLM骨干上实验证明,该方法增强了生成过程的指导效果,并带来了推理性能的增益。 锚点放置通过重塑初始速度场,有效支持了代码生成与数学推理任务的约束满足。
SpecGuardBench包含13个仓库的291项任务,覆盖8种验证逻辑,用于评估编码智能体构建验证框架的能力。 结果显示4类智能体中无一能在63%以上的任务中构建忠实于规范的检查,主要瓶颈在于检查项往往镜像参考实现而非自然语言规范。
研究提出 ANCHOR 基准,用于评估仓储级编码智能体在修改范围、工作流顺序及工具使用等维度的工程约束遵循能力。该基准涵盖 8 个语言组、10 类约束及 358 个任务。 在 19 种智能体配置中,Claude Opus 4.8 结合 Cline 达到 70.1% 原子合规率。结果表明功能性成功与约束合规存在显著差异,失败主要集中于工作流排序及报告生成。
该研究提出将证据中心设计(ECD)应用于教育场景中的提示词工程,以提升自动评分等任务的有效性、可靠性与公平性。 通过将 ECD 的学生模型、证据模型和任务模型映射至提示设计组件,团队提出五项设计原则,并在自动评分任务中对比了 ECD 设计的提示词与 SOTA 提示词基准的表现。
SocraticRepair 框架通过微调 Qwen2.5-Coder-7B-Instruct 解决 LLM 过早透露答案的问题。 该模型基于四个预处理编程数据集构建的合成多轮辅导对话进行微调。 实验显示其在逐步支架提问质量上得分更高,并显著减少过早揭示解决方案。
**summary_zh:** 研究提出一种混合强化学习交易框架,将日内市场数据与 Transformer 金融情感信号集成至 PPO 交易代理。系统提取新闻情感动态及语义事件簇,在 NSE 日内数据实验中显示,相比纯价格基准,该框架实现了更优的风险调整后收益。
该研究提出可编辑的改进动力学模型(IDM),在评估前预测自进化智能体修改方案的任务级结果并指导修订,随后利用历史修改与观测结果迭代优化预测能力。 系统基于 HyperAgents 架构,在多语言编程、论文评审、机器人奖励设计及奥赛级数学评分四个领域进行评估。