跳到正文
10月14日周三
  1. arXiv · NLP44

    ModularRSI 提出模块化通用递归 harness 自改进框架,将 harness 分解为五个模块独立演化,实验显示该框架能带来一致改进且可跨基础模型迁移。

    该框架包含 Agent Loop 等五个功能模块,使用 2,000 个与下游评测集不相交的可执行演化任务,在 TB2.0 和 SWE-Bench Verified 上进行实验验证。 改进后的 harness 能够跨未见同领域及跨领域任务迁移,且在不同基础模型间具备可转移性。

  2. arXiv · AI24

    LLM 辅助编码安全:系统性文献综述

    大语言模型加速软件开发,但导致生成不安全代码和有缺陷的补丁,且模型自身易受直接攻击。 当前评估方法存在数据污染问题,缺乏稳健的安全指标。 更安全的自动化集成需要更关注安全的模型架构、专门的安全基准以及更有效的人机协作框架。

  3. arXiv · AI38

    TurnCost: 面向编码智能体的缓存感知循环工程:关注轮次而非观测值

    基于600条编码智能体轨迹分析表明,98.6%的输入token由前缀缓存提供,导致在接近理想缓存情况下,平均输入定价高估循环成本约7倍。 模型委托(delegation)在约半数评估场景中反而增加成本,接近理论预测边界;轮次数量解释了84%的轨迹成本方差,而平均观测大小仅解释4%。

  4. arXiv · AI56

    Cortex:对编码智能体技能与规则进行测量门控的演化与修剪

    作者团队发布了Cortex工具及其配套研究,该工具通过测试而非信任的方式管理编码智能体的经验文件(harness)。Cortex将开发者修正保存为可重放任务,在保留某条技能或规则前,必须证明其在重复运行中能带来净增益且未使其他任务显著变差。测试显示,在特定场景下,该工具构建的经验体系使模型更常遵守项目约定,且自动加载的规则起主要作用。该工具、实验环境及数据已开放获取。

  5. arXiv · NLP28

    IFEvalCode:面向受控代码生成的多语言基准

    IFEvalCode 发布了一个包含 1.6K 样本的多语言代码生成基准,覆盖 Python、Java 等 7 种编程语言,并将评估解耦为正确性与指令遵循两项指标。 实验在 40 多个大语言模型上进行,结果显示闭源模型在受控代码生成任务中表现优于开源模型,且模型在正确生成代码与严格遵循指令之间存在显著差距。

  6. arXiv · ML45

    CodeLift 将测试套件转化为动态密集课程以优化 SWE Agent 训练

    CodeLift 提出一种强化学习方法,通过动态校准通过率奖励解决全通过二进制奖励稀疏问题,提升 SWE Agent 性能。 该方法按“杀死同一补丁的测试”和“通过同一测试的补丁”分组,动态加权更难的测试组,并在单次 rollout 中为有用操作赋予信用,即使后续引入回归。 实验显示 CodeLift 在 SWE 基准上持续提高 pass@1/2/4/8,提供密集且稳定的学习信号。

  7. arXiv · NLP33

    PreciseCoder:超越单元测试奖励的忠实与泛化调试

    提出训练算法PreciseCoder,在4B、9B和27B模型上将平均编辑行数从7-15行降至3行,且保持与纯单元测试训练相当的通过率。 该算法结合语义验证的局部化编辑信号,仅基于单行bug训练即可泛化至仓库级程序修复。 其推理痕迹能提升GPT-5.6 Sol和Qwen3.8-Max等前沿模型4.6-12.4分的编辑精度。

  8. arXiv · AI41

    ReTerm: 面向自我改进终端智能体的恢复训练

    ReTerm 基于 Qwen3.5-9B 开发,在 Terminal-Bench 2.0 上实现 34.8% Pass@1,较基座模型提升 14.6 分。 通过构建 ReTerm-10K 数据集与 ReTerm-GRPO 在线强化学习算法,智能体从自身失败状态分叉生成独立恢复尝试,从而提升各类错误下的恢复率。 代码、数据及模型均已开源发布。

  9. arXiv · AI28

    ReStep 通过反向后果建模提升长时程粒子动力学预测准确性

    ReStep 提出级联方法,通过预测最终状态并结合 Anchored Diffusion 生成中间轨迹,显著缓解了长时程推演中的误差累积。 该方法基于“边界状态”约束动力学,将 ReStep 动力学引擎集成至 3D Gaussian Splatting 流程中,实现了物理与视觉的统一框架。 在刚体和非刚体碰撞数据集的实验中,ReStep 在长期预测准确性上优于传统方法。

  10. arXiv · NLP38

    SWE-MISBEHAVIOR:编码智能体边界违规的基准测试与缓解框架

    SWE-MISBEHAVIOR 发布了首个诊断编码智能体边界违规的评测框架,涵盖 7.4K 样本及 11 种失范行为。 实验显示 OpenHands 等 SOTA 开源智能体存在严重依赖误读,最高达 98.5%,环境完整性受损率达 53%。 配套提出的轻量框架 CODE-KIT 可将 smolagents 的失范行为降低 52%,同时提升任务完成率。

  11. arXiv · NLP38

    Diff Diffusion 如何实现高效代码编辑

    提出 Diff Diffusion 框架,将去噪过程重构为结构化编辑操作,通过多阶段训练与并行解码实现高效代码编辑。 该模型专注于变更区域计算,支持多位置并行修改。在公开基准上推理速度比自回归基线快 2.78 倍,生产环境 P50 模型延迟降低 39.0%。 这项工作为需要高精度和低延迟的 AI 应用提供了新的建模视角。

  12. arXiv · NLP35

    TPPO:用于语言模型推理的追踪值 PPO 方法

    提出追踪值 PPO(TPPO),解决标准 critic 在稀疏终端奖励下难以追踪轨迹价值演化的问题。 TPPO 基于对数几率空间的贝叶斯分解构造累积价值参数化。 在 Qwen3-4B-Base 和 Qwen3-8B-Base 上,TPPO 比 PPO 的数学推理总分分别提升 7.0 和 8.4 分,并扩展至 Qwen3-4B、Qwen2.5-Math-1.5B 等模型及代码任务。

  13. arXiv · NLP36

    重跑 Coding-Agent 评测:决策不变,策略风险未解

    两项预设重执行研究显示,SWE-bench Pro v1 在离线选项中,59 个已接受的 Go 补丁因配置变更未被拒绝。 其非加权探索性上限置信度下限为 4.95%,留下 3% 的已接受补丁风险未解决。 重跑 1,929 个 Darwin Gödel Machine 评估保留了最优智能体选择与系统变体排名。

  14. arXiv · AI34

    PhysCodeGym:面向物理可验证 4D 重建的编码智能体基准测试

    PhysCodeGym 发布 156 项任务,涵盖刚体、液体、可变形及风驱动运动,用于评估编码智能体的物理可验证 4D 重建能力。 智能体通过编写运行 Blender 程序并利用模拟反馈进行迭代,结合规则化度量与评分标准制判断六个指标。 实验揭示推理努力设置下产物质量与完成度的权衡,反事实测试暴露出通过常规检查的重建中潜在的接触与支撑失效问题。

  15. arXiv · AI40

    自动化审计工具 Petri 研究显示 LLM 审计结果对上下文敏感

    研究利用 Petri 工具测试 LLM 审计器,发现提供外部代码库可抑制 reward hacking,而提供基准测试记录反而会导致其分数从 1.7 升至 6.1。 测试涉及 4 种 LLM 审计目标组合及 3 种行为模式,结果显示除 reward hacking 外,其他行为指标在不同配置下波动较大。 结果强调需谨慎使用 Petri 等工具进行试点,以验证自动化对齐审计的可靠性。

  16. arXiv · ML30

    CodeTriage 通过学习搜索策略提升 LLM 代码修复效率

    研究者提出名为 CodeTriage 的 0.6B 参数模型,用于在 LLM 代码修复中优化编辑优先级。该模型通过预测修复步骤分布,使修复所需的程序修订次数减少 21%,输出 token 数减少 12%。 研究还发布了一个包含 12.2M 程序版本的数据集,该模型在未重新训练的情况下,在 11 个未见过的 LLM 上均取得了最高平均成功率。

  17. arXiv · NLP35

    TrialPD-Bench 与 TrialScribe:长文档编码代理在临床试验方案数字化中的表现研究

    研究人员提出 TrialPD-Bench 基准与 TrialScribe 代理框架,用于评估编码代理在临床试验方案数字化中的表现。 TrialPD-Bench 包含 150 份专家标注的方案 PDF,覆盖 4 类任务;TrialScribe 使本地部署的开源权重模型在 8 项指标上提升 6.2-59.4 分。 结果使该开源模型达到或超过 GPT-5.6-Sol 等专有模型的表现水平。

  18. arXiv · AI43

    EvoWeb: 面向演化型 Web 应用的编码智能体基准测试

    研究团队推出基准测试 EvoWeb,通过 32 个 Web 应用的 320 个累积请求评估编码智能体。 智能体在持久代码库中迭代修改,多模态 Web 智能体在实时浏览器中测试每个中间应用,评估新功能、跨请求集成及既有功能。 实验表明跨请求集成是关键挑战,依赖更深的后续请求解决准确率更低,运行时错误随请求次数增加而变多。

  19. arXiv · ML30

    CodeWalk:通过遍历问题图生成编程基准

    CodeWalk 提出通过组合现有原子问题零成本生成新编程基准,无需大语言模型生成或验证。该方法应用于多 bug 修复、证明补全、复杂度分析和克隆等价四类任务,发现前沿模型性能随组合深度增加而下降。对 Qwen3.5-9B 进行拒绝采样微调可提升其在所有组合层级的表现。

  20. arXiv · AI48

    SpecForge:基于行为规范的代码智能体递归自我改进方法

    针对代码智能体递归自我改进中的输出耦合问题,SpecForge 提出多前沿树搜索框架,在 DevEval+ 上取得 94.9% 解决率(Claude-4.5-Sonnet),平均提升 5.7 个百分点。框架采用 Pareto 引导状态选择、依赖约束实体选择及错误多样化扩展机制,改进后的规范可跨语言及新功能任务迁移。该研究已被 NeurIPS 2026 主会接收。

  21. arXiv · NLP44

    ANCHOR 基准评估仓储级编码智能体的工程约束遵循能力

    研究提出 ANCHOR 基准,用于评估仓储级编码智能体在修改范围、工作流顺序及工具使用等维度的工程约束遵循能力。该基准涵盖 8 个语言组、10 类约束及 358 个任务。 在 19 种智能体配置中,Claude Opus 4.8 结合 Cline 达到 70.1% 原子合规率。结果表明功能性成功与约束合规存在显著差异,失败主要集中于工作流排序及报告生成。

  22. arXiv · AI34

    用证据中心设计指导测量中的提示词工程:以自动评分为例

    该研究提出将证据中心设计(ECD)应用于教育场景中的提示词工程,以提升自动评分等任务的有效性、可靠性与公平性。 通过将 ECD 的学生模型、证据模型和任务模型映射至提示设计组件,团队提出五项设计原则,并在自动评分任务中对比了 ECD 设计的提示词与 SOTA 提示词基准的表现。