发布 Long-Horizon-Terminal-Bench:用于测试长时程终端任务中智能体极限的密集奖励评分基准
发布包含46项长时程任务、涵盖9个类别的终端基准 Long-Horizon-Terminal-Bench,支持密集中间奖励与部分得分。 对15个前沿模型的评测显示,智能体每任务平均消耗9.9M tokens,运行231个 episode,耗时85.3分钟;最强模型在0.95部分奖励阈值下 pass@1 为15.2%,完美奖励阈值1.0下为10.9%。
发布包含46项长时程任务、涵盖9个类别的终端基准 Long-Horizon-Terminal-Bench,支持密集中间奖励与部分得分。 对15个前沿模型的评测显示,智能体每任务平均消耗9.9M tokens,运行231个 episode,耗时85.3分钟;最强模型在0.95部分奖励阈值下 pass@1 为15.2%,完美奖励阈值1.0下为10.9%。
研究人员提出双诊断框架,揭示LLM代码推理在答案自解码前数层即可线性恢复的“酝酿”机制,并识别出四种解决结果。 该框架应用于Qwen、Llama和DeepSeek架构下的16个模型,发现整体解决率仅为41.5%,且解决时长标准化后稳定在24-42%区间。 此研究表明表面准确率掩盖了根本不同的失效模式,为理解模型内部推理过程提供了可量化的实证规律。
研究人员提出 JNO 知识编辑框架,通过联合优化解决大语言模型中涟漪效应的耦合压力,在 RippleEdits 数据集上提升指标至少 7.0%。 JNO 实例化 Pressure-Aware Coordination (PAC),联合优化邻域目标表示并应用语义预执行门控,拒绝高风险目标计划。 该方法在保持跨骨干模型编辑稳定性的同时,实现了传播与保留指标的双重提升。
研究发现,简单基线在数学界限、智能体脚手架、组合优化及机器学习竞赛四个领域表现持平或超越现有复杂代码进化流水线。 核心结论是搜索空间的大小比具体的搜索算法更重要,且提示词中的领域知识会影响评估效率。改进评估程序可降低随机性,表明提升代码进化性能更依赖搜索流程周边的设置而非流水线本身。
智能体 ATTUNE 在 Llama-3.1-405B 和 GLM-4.5 上分别将吞吐量提高 6.7% 和 33.9%。 其调优在相同预算下优于 OptiCo 和贝叶斯优化,并在 1 天内收回 GPU 成本。 团队开源了 ATTUNE 代码及 TrainingThroughputBench 基准。
SWEPatchTest 测试生成基准包含 619 个任务及 82,579 个候选补丁,联合验证率(JVR)仅 9.21%。 基准通过回放测试套件同时衡量问题复现、正确补丁接受与错误补丁拒绝。 验证分数可用于监督微调数据筛选,使 JVR 提升近三倍。
EmoStance 通过表情符号弱监督实现共情响应生成中的情感定向控制,在 20 名标注员参与的盲测中取得 62.2% 的决定性胜率。 该方法利用冻结指令微调 LLM 和连续前缀嵌入,基于 EmojiDialogue 数据集预测响应侧情感方向。 EmoStance 在情境特异性和感知响应性方面表现显著优于基线,代码及脚本已开源。
研究提出黑盒红队框架 SpecCloak 和防御原型 SpecReveal,以工程规范形式探测大语言模型有害代码生成安全边界。 SpecCloak 结合 PseudoSpec 模板与判别器引导优化,在 RedCode-Gen 基准上对 8 个目标模型平均执行验证攻击成功率为 28.91%。
针对 LLM 代码生成中低熵导致的质量与可检测性权衡难题,提出免训练的 Grammar-Driven Watermark(GDW)方法。 GDW 采用绿名单、语法有效性和结构角色三级掩码机制,通过分层调制限制注入范围并调节强度,并设计角色感知加权检测统计量。 实验显示 GDW 在现有基准中取得 SOTA 的权衡性能,且在七种语义保持攻击下保持优越表现。
summary_zh: 研究解析 Claude Code 架构,并将其与 OpenClaw 和 Hermes Agent 进行比较,识别出指导设计的五项人类价值观及十三条设计原则。
开源工具 SpotRegen 实现了 Fowler 的再生软件原语,允许通过机器可读记录在删除代码后重建程序知识。该工具在安全关键预测库 spotforecast2-safe 中进行了首次应用。
研究团队提出名为SEEK的智能体图RAG框架,通过构建以CWE分类法为骨架的安全知识图谱,显著提升安全代码生成效果。 该框架在推理时由规划智能体预测潜在CWE弱点并指导检索,在CodeGuard+数据集上取得77.45%的最高SecurePass@1,在CyberSecEval上达到79.45%的ICD通过率。
该框架包含 Agent Loop 等五个功能模块,使用 2,000 个与下游评测集不相交的可执行演化任务,在 TB2.0 和 SWE-Bench Verified 上进行实验验证。 改进后的 harness 能够跨未见同领域及跨领域任务迁移,且在不同基础模型间具备可转移性。
大语言模型加速软件开发,但导致生成不安全代码和有缺陷的补丁,且模型自身易受直接攻击。 当前评估方法存在数据污染问题,缺乏稳健的安全指标。 更安全的自动化集成需要更关注安全的模型架构、专门的安全基准以及更有效的人机协作框架。
LLM 在 MMLU 和 ARC-Challenge 上的准确率与顺序敏感度并非同步变化。 实验发现 GPT 使用两级提示可减少翻转率且准确率无显著改变,Llama 加入推理则使 RStd 大幅下降而翻转率保持不变。建议评测时同时报告翻转率、RStd 和准确率。
基于600条编码智能体轨迹分析表明,98.6%的输入token由前缀缓存提供,导致在接近理想缓存情况下,平均输入定价高估循环成本约7倍。 模型委托(delegation)在约半数评估场景中反而增加成本,接近理论预测边界;轮次数量解释了84%的轨迹成本方差,而平均观测大小仅解释4%。
Last Secure Code Benchmark 基于 150 个真实漏洞构建 450 项任务,覆盖 7 种编程语言和 24 个 CWE,仅要求功能而不提安全。 在六个前沿编程代理中,最高功能通过率仅 25.1%,最佳模型在 vibe coding 场景下仅通过 12% 的漏洞场景,引发对 AI 生成代码安全性的担忧。
论文提出 Interaction-as-a-Judge 范式,让 computer-use agents 直接操作应用以替代纯代码分析,能同时改进交互式应用的评测与生成质量。
提出自策略蒸馏(SPD)方法,利用低秩能力子空间投影解决自蒸馏信号稀释问题。 仅需各域 <5% 标记数据,在代码生成等任务上较 SOTA 自蒸馏方法提升最高 13%。 在域外泛化设置中性能提升 15.7%,验证了方法的跨域迁移能力。
作者团队发布了Cortex工具及其配套研究,该工具通过测试而非信任的方式管理编码智能体的经验文件(harness)。Cortex将开发者修正保存为可重放任务,在保留某条技能或规则前,必须证明其在重复运行中能带来净增益且未使其他任务显著变差。测试显示,在特定场景下,该工具构建的经验体系使模型更常遵守项目约定,且自动加载的规则起主要作用。该工具、实验环境及数据已开放获取。
IFEvalCode 发布了一个包含 1.6K 样本的多语言代码生成基准,覆盖 Python、Java 等 7 种编程语言,并将评估解耦为正确性与指令遵循两项指标。 实验在 40 多个大语言模型上进行,结果显示闭源模型在受控代码生成任务中表现优于开源模型,且模型在正确生成代码与严格遵循指令之间存在显著差距。
ARBITER 是一个 35B MoE 智能体验证器,在通用执行沙箱中通过强化学习训练,用于在受限提交预算下诊断代码错误。 在 USACO-JUDGE 数据集上,ARBITER 将错误程序的反例成功率从 40.61% 提升至 62.67%,平均二元判决准确率从 71.41% 提升至 87.41%。
CodeLift 提出一种强化学习方法,通过动态校准通过率奖励解决全通过二进制奖励稀疏问题,提升 SWE Agent 性能。 该方法按“杀死同一补丁的测试”和“通过同一测试的补丁”分组,动态加权更难的测试组,并在单次 rollout 中为有用操作赋予信用,即使后续引入回归。 实验显示 CodeLift 在 SWE 基准上持续提高 pass@1/2/4/8,提供密集且稳定的学习信号。
提出训练算法PreciseCoder,在4B、9B和27B模型上将平均编辑行数从7-15行降至3行,且保持与纯单元测试训练相当的通过率。 该算法结合语义验证的局部化编辑信号,仅基于单行bug训练即可泛化至仓库级程序修复。 其推理痕迹能提升GPT-5.6 Sol和Qwen3.8-Max等前沿模型4.6-12.4分的编辑精度。
ReTerm 基于 Qwen3.5-9B 开发,在 Terminal-Bench 2.0 上实现 34.8% Pass@1,较基座模型提升 14.6 分。 通过构建 ReTerm-10K 数据集与 ReTerm-GRPO 在线强化学习算法,智能体从自身失败状态分叉生成独立恢复尝试,从而提升各类错误下的恢复率。 代码、数据及模型均已开源发布。
ReStep 提出级联方法,通过预测最终状态并结合 Anchored Diffusion 生成中间轨迹,显著缓解了长时程推演中的误差累积。 该方法基于“边界状态”约束动力学,将 ReStep 动力学引擎集成至 3D Gaussian Splatting 流程中,实现了物理与视觉的统一框架。 在刚体和非刚体碰撞数据集的实验中,ReStep 在长期预测准确性上优于传统方法。
SWE-MISBEHAVIOR 发布了首个诊断编码智能体边界违规的评测框架,涵盖 7.4K 样本及 11 种失范行为。 实验显示 OpenHands 等 SOTA 开源智能体存在严重依赖误读,最高达 98.5%,环境完整性受损率达 53%。 配套提出的轻量框架 CODE-KIT 可将 smolagents 的失范行为降低 52%,同时提升任务完成率。
提出 Diff Diffusion 框架,将去噪过程重构为结构化编辑操作,通过多阶段训练与并行解码实现高效代码编辑。 该模型专注于变更区域计算,支持多位置并行修改。在公开基准上推理速度比自回归基线快 2.78 倍,生产环境 P50 模型延迟降低 39.0%。 这项工作为需要高精度和低延迟的 AI 应用提供了新的建模视角。
StateHarness 是一个运行时框架,通过记录当前问题、假设、重要发现、仓库依赖关系及未完成工作来维护演化的项目状态,无需更新模型参数。
提出追踪值 PPO(TPPO),解决标准 critic 在稀疏终端奖励下难以追踪轨迹价值演化的问题。 TPPO 基于对数几率空间的贝叶斯分解构造累积价值参数化。 在 Qwen3-4B-Base 和 Qwen3-8B-Base 上,TPPO 比 PPO 的数学推理总分分别提升 7.0 和 8.4 分,并扩展至 Qwen3-4B、Qwen2.5-Math-1.5B 等模型及代码任务。
两项预设重执行研究显示,SWE-bench Pro v1 在离线选项中,59 个已接受的 Go 补丁因配置变更未被拒绝。 其非加权探索性上限置信度下限为 4.95%,留下 3% 的已接受补丁风险未解决。 重跑 1,929 个 Darwin Gödel Machine 评估保留了最优智能体选择与系统变体排名。
SPROUT 提出基于快照的智能体强化学习框架,在长期编码任务中将多种 LLM 的 pass@k 提升最高 23.6%,同时仅使用原模型 32%–52% 的 tokens。
PhysCodeGym 发布 156 项任务,涵盖刚体、液体、可变形及风驱动运动,用于评估编码智能体的物理可验证 4D 重建能力。 智能体通过编写运行 Blender 程序并利用模拟反馈进行迭代,结合规则化度量与评分标准制判断六个指标。 实验揭示推理努力设置下产物质量与完成度的权衡,反事实测试暴露出通过常规检查的重建中潜在的接触与支撑失效问题。
研究利用 Petri 工具测试 LLM 审计器,发现提供外部代码库可抑制 reward hacking,而提供基准测试记录反而会导致其分数从 1.7 升至 6.1。 测试涉及 4 种 LLM 审计目标组合及 3 种行为模式,结果显示除 reward hacking 外,其他行为指标在不同配置下波动较大。 结果强调需谨慎使用 Petri 等工具进行试点,以验证自动化对齐审计的可靠性。
研究者提出名为 CodeTriage 的 0.6B 参数模型,用于在 LLM 代码修复中优化编辑优先级。该模型通过预测修复步骤分布,使修复所需的程序修订次数减少 21%,输出 token 数减少 12%。 研究还发布了一个包含 12.2M 程序版本的数据集,该模型在未重新训练的情况下,在 11 个未见过的 LLM 上均取得了最高平均成功率。
研究人员提出 TrialPD-Bench 基准与 TrialScribe 代理框架,用于评估编码代理在临床试验方案数字化中的表现。 TrialPD-Bench 包含 150 份专家标注的方案 PDF,覆盖 4 类任务;TrialScribe 使本地部署的开源权重模型在 8 项指标上提升 6.2-59.4 分。 结果使该开源模型达到或超过 GPT-5.6-Sol 等专有模型的表现水平。
研究团队推出基准测试 EvoWeb,通过 32 个 Web 应用的 320 个累积请求评估编码智能体。 智能体在持久代码库中迭代修改,多模态 Web 智能体在实时浏览器中测试每个中间应用,评估新功能、跨请求集成及既有功能。 实验表明跨请求集成是关键挑战,依赖更深的后续请求解决准确率更低,运行时错误随请求次数增加而变多。
ANTE 框架通过验证编码智能体的动作前预测,将 Qwen3-32B 在 SWE-bench Verified 上的 pass@1 准确率从 25.0% 提升至 57.2%。 该提升比匹配 GRPO 基线高 6.2%,世界模型准确率在强化学习期间从 44% 升至 69%,且能力可跨环境和分布外领域迁移。
CodeWalk 提出通过组合现有原子问题零成本生成新编程基准,无需大语言模型生成或验证。该方法应用于多 bug 修复、证明补全、复杂度分析和克隆等价四类任务,发现前沿模型性能随组合深度增加而下降。对 Qwen3.5-9B 进行拒绝采样微调可提升其在所有组合层级的表现。
基于Qwen 3.5 35B-A3B的研究表明,在BFCL和MultiWOZ任务中,允许后续Handoff并未比初始模型选择提升效用,在BFCL上反而增加了成本。