CodeSkill 提出潜在技能抽象以提升长时程代码智能体性能
CodeSkill 框架通过层级潜在技能建模,解决代码智能体在长时程决策中存在的代币级优化与高层行为推理不匹配问题。 该方法利用教师模型蒸馏轨迹为多层文本抽象,结合时序变分推理与强化学习,将技能作为潜在语义前缀注入冻结 LLM 策略。 实验显示 CodeSkill 在多种通用及工业级代码基准上性能极具竞争力,且学习到的技能具备强可迁移性与跨领域泛化能力。
CodeSkill 框架通过层级潜在技能建模,解决代码智能体在长时程决策中存在的代币级优化与高层行为推理不匹配问题。 该方法利用教师模型蒸馏轨迹为多层文本抽象,结合时序变分推理与强化学习,将技能作为潜在语义前缀注入冻结 LLM 策略。 实验显示 CodeSkill 在多种通用及工业级代码基准上性能极具竞争力,且学习到的技能具备强可迁移性与跨领域泛化能力。
研究人员提出 Feedback Distillation 方法,通过在 token 级别匹配 LLM 生成的特权反馈来训练模型,旨在解决 GRPO 在强化学习中面临的稀疏奖励与模式坍塌问题。
研究推出包含43项企业级任务的PACE基准测试,以评估编码智能体执行产品需求文档(PRD)的能力。11种模型配置中,GPT-5.6-Sol完全交付率最高,达14.0%。 测试结果显示模型在实现完整性和集成方面存在瓶颈。同一模型的多次运行在评估一致性上优于专家共识,准确率95.2%。
summary_zh: SWE-Bench Pro V2发布,修复或退役了731个任务中的480个,以应对编码智能体的能力进阶。 修订版通过代理审计、专家裁定和盲测重实施,确保基准准确性;强化协议限制网络访问并在干净容器中重新评分补丁,防止获取上游修复。
对50个Java和Python开源项目在LLM前、LLM辅助及Agentic时代的实证分析表明,代码相似度未随AI辅助增加,Java语义与句法相似度反而显著下降。 软件质量总体保持稳定,Agentic时代的代码坏味密度显著降低;Java开发活跃度适度增加,但结构性增长放缓。 研究结果挑战了AI辅助开发必然导致代码同质化、质量下降或加速增长的假设。
AgInt 框架通过harness治理的证据构建提升软件智能体表现,在 SWE-bench-Live 和 Defects4J 等基准上优于普通代理。GLM-5 在 SWE-bench-Live 上 reject-class F1 从 0.256 提升至 0.543。该机制减少 35% 执行次数,降低 59% 单候选成本。
CEGame-Bench 提出了首个覆盖 Defold、Godot、Unity 等五款引擎的长周期完整游戏创建基准。 智能体在平均 295 步、65M tokens 的测试中,仅 16% 的运行到达游戏结局,远低于工程师参考水平。 发布的 Game Completion Boost 技能通过需求驱动测试,将三个模型的执行评分提高了 14.1-24.3 分。
summary_zh: FrontierRefactor 基准包含 60 项跨 4 个尺度、覆盖原地优化与跨语言重写的工程任务。 评估显示 41.2% 提交功能等价但无性能提升;跨语言重写合同遵循率仅 32.6%。
提出 CVaR-RMD 框架,利用 LLM 变异可执行启发式程序,通过条件风险价值(CVaR)而非平均表现对候选算法进行排序,以解决平均目标掩盖严重失败的问题。 在三个组合优化领域中,基于 CVaR 的选择提升了上尾性能并降低了失败率,且在更大规模的未知实例和独立基准上均保持竞争力。 该研究已被 Findings of EMNLP 2026 接收。
DAGLoop 通过构建有向无环图将设计决策转化为可测试的实验,在数十项研究中显著提升性能。 该机制保留关键决策并验证预期效应,未获支持的决策将被修正。 代码和评估脚本已开源,论文提交至 ICLR 2027。 ```
Agent Skills 冲突实验中,独立加载时模型遵循率 93%-99%,双技能共存时降至 61%-62%。在 Qwen3-235B 和 GPT-4.1 等模型中,这种“接管”现象主要由示例驱动。使用 Claude Opus 5.5 生成的合并技能文件可将遵循率提升至 96%-99%。
summary_zh: CorrectRTL 提出分解后校正范式,将结构构建与详细实现解耦,在 ScaleBench 上将 Pass@1 从 20.5% 提升至 49.0%。
summary_zh: PatternBench 是一个针对 LLM 代码优化的新基准,旨在衡量超越编译器的优化能力,即经过激进编译器优化后仍保留的性能提升。 该基准覆盖七类转换,结合运行时评估与基于 AST 的优化忠实度分析,以验证目标优化是否在生成代码中实现。
提出UVA方法,通过训练使本地代码智能体在咨询云端模型时,以角色和类型描述私有实体,而非直接暴露代码。 在两个基准测试中,训练后的智能体解决了37.6%的问题,比单独工作时的25.3%有显著提升,同时私有实体泄露减少了3.7倍。
该讲义为硕士课程第一部分,共101页,通过经典算法展示数值线性代数在PDE求解、网络排名及数据同化中的核心地位。 内容涵盖范数、稀疏矩阵、共轭梯度法、GMRES及多重网格等主题,配套Python代码可复现数值插图。作者使用Claude Opus 5辅助参考文献识别与图形优化,并对所有内容负全责。
该研究提出了一种仅基于提示词结构而非生成代码的复杂度指标,用于定位模型通过率的变化断点。在21个模型和10.5万次生成的测试中,复合评分14.0处存在非单调断点,高分组通过率为90.1%。 该指标经4名LLM评委重评一致性达0.872,且经同义改写和跨语言重评验证,其排序保持稳定。
RLTLDR 引入“TL;DR”反馈机制,使 Qwen 3.5 9B 模型在 Pass@128=0 的难题中实现自我提升。 模型在失败后生成单条洞察并用于后续采样,通过反向传播内化任务到洞察的映射关系,突破学习瓶颈。 RLTLDR 将无上下文评估时的 Pass@1 从 0%-1% 提升至 12%-13%,证明了紧凑训练范式的有效性。
研究者提出 DIO-Agent,通过智能体逆向工程将输入输出行为自动转化为代码。 该方法将 IO2Code 视为离散程序空间的进化搜索,LLM 作为变异算子,并引入转换优先级前提以偏向最简假设。 实验显示 DIO-Agent 在所有难度等级和多种 LLM 上均优于传统方法及 SOTA 进化智能体基线。
研究提出首个评估证明自动形式化鲁棒性的基准,指出现有 LLM 模型在处理偏离理想范式的非形式化证明时表现不佳。该基准在 miniF2F 和 MATH-500 上构建,通过全局与局部扰动测试七种模型的忠实度,发现模型大多无法正确反映局部扰动。
提出 HarnessPro 方法,通过递归自我改进优化 AI Agent harness,在 Terminal-Bench 2 等基准上实现性能与成本平衡。 结合 GPT-5.5 与 Codex,heavy 模式平均通过率提升 2.0 个百分点,单次任务成本较 RHO 降低 26.1%。
SWE-Residual 基准包含源自 DeepSWE 和 Terminal-Bench 的 198 个残留状态,用于测试智能体在接手既有未完成工作时的鲁棒性。
CasePlay 提出基于病例报告的自博弈强化学习框架,解决知识固定与难度质量失配问题。 该框架包含知识条件提问者与评分量规推理器,在 7 个医疗基准测试中平均超越自博弈基线 3.1 分,LiveClin 提升 6.3 分。 该方法为通过自博弈 RL 持续改善 LLM 医疗推理能力提供了有效路径。
summary_zh: PRPO 通过执行验证共进化攻防 LoRA 模型,提出 Peer-Relative Policy Optimization 机制以优化代码安全。
研究提出 UltraData-Code 四层数据状态,将原始仓库转化为面向任务的代码数据。 L2 层产出约 400B tokens 覆盖 11 种语言,L3 层产出约 150B tokens 用于微调。 10B 模型测试显示,L3 替换 L2 半数数据后,EvalPlus pass@1 提升 8.42pp。
研究团队发布 RefCraft 基准,包含 300 项结合自然语言指令与 1-5 个参考网页截图的多模态网页开发任务。 测试 9 个前沿 MLLM,最强系统仅得 52.12 分,显示视觉参考条件下的智能体生成仍是重大挑战。
使用 Qwen2.5-Coder-3B-Instruct 测试 SPARK 策略-奖励协同演化未提升代码生成的泛化能力。 SPARK 导致相对 GRPO 约 34 倍 KL 散度,训练 token 数从 185 降至 86,留出集性能未保持早期增益。 训练奖励提升不代表可泛化的代码自我改进,需关注留出集评估与漂移诊断。
研究使用 126,926 个代码文件评估大型语言模型对变量角色的理解。 残差探针比稀疏自编码器(SAE)特征表现更好,但结合 SAE 特征可缩小差距。 生成干预常改变角色注释但牺牲正确性,且测试通过时无明显优势。
研究团队发布 OR-License 基准,包含 10 个工业场景的 31 个实例,源自总价值 368 万美元的付费运筹学委托项目。 基准引入 ORSim 客户端模拟器及部署调整质量(DAQ)指标,11 款前沿 LLM 中最高配置的 Claude Code 实现 88.39% 严格可行性与 0.87 DAQ。
OpenAI 最新模型提升了 COBOL、Fortran 和 Visual Basic 等低资源编程语言的软件构建与迁移能力。 这些语言支撑着银行、政府及企业核心系统,该进展有助于理解数十年业务逻辑并支持系统现代化。
Claude Code 发布 v2.1.304,新增 `/claude-api managed-agents-secure` 命令以对比代理设置与安全指南,并优化插件跳过 Hook 时的日志记录。 新增 `/auto-mode-setup` 引导设置,支持 Bedrock、Vertex 等平台;修复沙箱、模型切换及 Remote Control 等 40 余项功能缺陷,提升运行稳定性。
GitHub Copilot 允许用户直接在 VS Code 中打开并继续其 App 端会话,无需重建上下文。 点击“Open in VS Code”即可加载包含任务、计划和对话记录的完整会话,项目通过关联的 worktree 隔离运行。 开发者可在编辑器中手动修改代码、运行本地测试,并继续向 Copilot 提问或推送更新至 Pull Request。
最新迭代版本 DeepSeek-V4.1-Flash-1017 正式上线阿里云百炼。此次升级重点聚焦 Agent 与 Coding,多项基准测试表现进一步提升,且任务运行时间与输出长度缩短。目前阿里云百炼中国站、国际站 API 同步支持,新老用户可通过 Token Plan 直接体验。
该论文提出概率框架,分析了测试驱动代码生成的两种范式,并证明了基于模糊功能相似度的估计器在信噪比上优于基于功能等价性的估计器。 研究者将 Backprompting 建模为 In-context Thompson sampling,推导了包含不可观测成分奖励函数的 regret bound,并使用 BigCodeBenchHard 等基准验证了结论。
论文提出PowerAtlas模型,采用可行性感知GRPO训练,通过单次响应生成电力-计算协同调度决策,免除求解器调用。 在ECBench基准(含2000个实例及Gurobi最优参考调度)测试中,该模型较基座模型将约束违规降低89-98%,惩罚成本最高降低26倍。
PFP-BNNs 通过单次确定性前向传播替代采样,在嵌入式 ARM CPU 上实现最高 4200 倍推理加速。 该方案基于 TVM 编译器库,在 Dirty-MNIST 数据集上,其精度、不确定性估计及 OOD 检测性能均匹配 SVI-BNNs。 结合代码生成实现 BNN 在资源受限系统的高效部署,已被 ACM TACO 接收。
研究发现 LLM 在生成 Lean 规范时引入交互式澄清智能体(EA)效果不一:同模型 Claude Sonnet 4.6 在 k=3 和 k=10 澄清预算下 strict pass@1 估计为负。
介绍 MetaCurate 框架,这是一种无需训练、利用成对 LLM 判断来演进可执行轨迹筛选器的方法。 它在无策划轨迹池和 Nemotron v3 SWE 数据集的 SFT 实验中,达到了所比较方法中 SWE-Verified 平均分最高的结果。
Self-HPO 是一个递归自我改进框架,通过交替进行测试环境(harness)和策略模型优化来提升 LLM 编码智能体表现。该方法让策略模型自身分析失败并提出新的测试环境候选,随后通过强化学习更新策略。
TokenEconomizer 通过外部控制器降低编程智能体序列任务的 token 成本,在 Claude Code 等工具上实现 18.4%-30.9% 的平均 token 成本下降。
论文提出 Lean4AgenticRL,这是首个基于 Lean4 统一形式化模式、支持开放式智能体 RL 的多层级过程奖励框架。 该框架利用工作流形式化和多级奖励标注方法,结合工作流阶段归一化的 GRPO 算法进行训练;在 TerminalBench-2.1 上,LAR-27B 模型达到 77.3% 的成绩。