SWE-Bench Pro V2:更难被博弈的编码基准
summary_zh: SWE-Bench Pro V2发布,修复或退役了731个任务中的480个,以应对编码智能体的能力进阶。 修订版通过代理审计、专家裁定和盲测重实施,确保基准准确性;强化协议限制网络访问并在干净容器中重新评分补丁,防止获取上游修复。
summary_zh: SWE-Bench Pro V2发布,修复或退役了731个任务中的480个,以应对编码智能体的能力进阶。 修订版通过代理审计、专家裁定和盲测重实施,确保基准准确性;强化协议限制网络访问并在干净容器中重新评分补丁,防止获取上游修复。
对50个Java和Python开源项目在LLM前、LLM辅助及Agentic时代的实证分析表明,代码相似度未随AI辅助增加,Java语义与句法相似度反而显著下降。 软件质量总体保持稳定,Agentic时代的代码坏味密度显著降低;Java开发活跃度适度增加,但结构性增长放缓。 研究结果挑战了AI辅助开发必然导致代码同质化、质量下降或加速增长的假设。
AgInt 框架通过harness治理的证据构建提升软件智能体表现,在 SWE-bench-Live 和 Defects4J 等基准上优于普通代理。GLM-5 在 SWE-bench-Live 上 reject-class F1 从 0.256 提升至 0.543。该机制减少 35% 执行次数,降低 59% 单候选成本。
CEGame-Bench 提出了首个覆盖 Defold、Godot、Unity 等五款引擎的长周期完整游戏创建基准。 智能体在平均 295 步、65M tokens 的测试中,仅 16% 的运行到达游戏结局,远低于工程师参考水平。 发布的 Game Completion Boost 技能通过需求驱动测试,将三个模型的执行评分提高了 14.1-24.3 分。
summary_zh: FrontierRefactor 基准包含 60 项跨 4 个尺度、覆盖原地优化与跨语言重写的工程任务。 评估显示 41.2% 提交功能等价但无性能提升;跨语言重写合同遵循率仅 32.6%。
提出 CVaR-RMD 框架,利用 LLM 变异可执行启发式程序,通过条件风险价值(CVaR)而非平均表现对候选算法进行排序,以解决平均目标掩盖严重失败的问题。 在三个组合优化领域中,基于 CVaR 的选择提升了上尾性能并降低了失败率,且在更大规模的未知实例和独立基准上均保持竞争力。 该研究已被 Findings of EMNLP 2026 接收。
DAGLoop 通过构建有向无环图将设计决策转化为可测试的实验,在数十项研究中显著提升性能。 该机制保留关键决策并验证预期效应,未获支持的决策将被修正。 代码和评估脚本已开源,论文提交至 ICLR 2027。 ```
Agent Skills 冲突实验中,独立加载时模型遵循率 93%-99%,双技能共存时降至 61%-62%。在 Qwen3-235B 和 GPT-4.1 等模型中,这种“接管”现象主要由示例驱动。使用 Claude Opus 5.5 生成的合并技能文件可将遵循率提升至 96%-99%。
summary_zh: CorrectRTL 提出分解后校正范式,将结构构建与详细实现解耦,在 ScaleBench 上将 Pass@1 从 20.5% 提升至 49.0%。
summary_zh: PatternBench 是一个针对 LLM 代码优化的新基准,旨在衡量超越编译器的优化能力,即经过激进编译器优化后仍保留的性能提升。 该基准覆盖七类转换,结合运行时评估与基于 AST 的优化忠实度分析,以验证目标优化是否在生成代码中实现。
提出UVA方法,通过训练使本地代码智能体在咨询云端模型时,以角色和类型描述私有实体,而非直接暴露代码。 在两个基准测试中,训练后的智能体解决了37.6%的问题,比单独工作时的25.3%有显著提升,同时私有实体泄露减少了3.7倍。
该讲义为硕士课程第一部分,共101页,通过经典算法展示数值线性代数在PDE求解、网络排名及数据同化中的核心地位。 内容涵盖范数、稀疏矩阵、共轭梯度法、GMRES及多重网格等主题,配套Python代码可复现数值插图。作者使用Claude Opus 5辅助参考文献识别与图形优化,并对所有内容负全责。
该研究提出了一种仅基于提示词结构而非生成代码的复杂度指标,用于定位模型通过率的变化断点。在21个模型和10.5万次生成的测试中,复合评分14.0处存在非单调断点,高分组通过率为90.1%。 该指标经4名LLM评委重评一致性达0.872,且经同义改写和跨语言重评验证,其排序保持稳定。
RLTLDR 引入“TL;DR”反馈机制,使 Qwen 3.5 9B 模型在 Pass@128=0 的难题中实现自我提升。 模型在失败后生成单条洞察并用于后续采样,通过反向传播内化任务到洞察的映射关系,突破学习瓶颈。 RLTLDR 将无上下文评估时的 Pass@1 从 0%-1% 提升至 12%-13%,证明了紧凑训练范式的有效性。
研究者提出 DIO-Agent,通过智能体逆向工程将输入输出行为自动转化为代码。 该方法将 IO2Code 视为离散程序空间的进化搜索,LLM 作为变异算子,并引入转换优先级前提以偏向最简假设。 实验显示 DIO-Agent 在所有难度等级和多种 LLM 上均优于传统方法及 SOTA 进化智能体基线。
研究提出首个评估证明自动形式化鲁棒性的基准,指出现有 LLM 模型在处理偏离理想范式的非形式化证明时表现不佳。该基准在 miniF2F 和 MATH-500 上构建,通过全局与局部扰动测试七种模型的忠实度,发现模型大多无法正确反映局部扰动。
提出 HarnessPro 方法,通过递归自我改进优化 AI Agent harness,在 Terminal-Bench 2 等基准上实现性能与成本平衡。 结合 GPT-5.5 与 Codex,heavy 模式平均通过率提升 2.0 个百分点,单次任务成本较 RHO 降低 26.1%。
SWE-Residual 基准包含源自 DeepSWE 和 Terminal-Bench 的 198 个残留状态,用于测试智能体在接手既有未完成工作时的鲁棒性。
CasePlay 提出基于病例报告的自博弈强化学习框架,解决知识固定与难度质量失配问题。 该框架包含知识条件提问者与评分量规推理器,在 7 个医疗基准测试中平均超越自博弈基线 3.1 分,LiveClin 提升 6.3 分。 该方法为通过自博弈 RL 持续改善 LLM 医疗推理能力提供了有效路径。
summary_zh: PRPO 通过执行验证共进化攻防 LoRA 模型,提出 Peer-Relative Policy Optimization 机制以优化代码安全。
研究提出 UltraData-Code 四层数据状态,将原始仓库转化为面向任务的代码数据。 L2 层产出约 400B tokens 覆盖 11 种语言,L3 层产出约 150B tokens 用于微调。 10B 模型测试显示,L3 替换 L2 半数数据后,EvalPlus pass@1 提升 8.42pp。
研究团队发布 RefCraft 基准,包含 300 项结合自然语言指令与 1-5 个参考网页截图的多模态网页开发任务。 测试 9 个前沿 MLLM,最强系统仅得 52.12 分,显示视觉参考条件下的智能体生成仍是重大挑战。
使用 Qwen2.5-Coder-3B-Instruct 测试 SPARK 策略-奖励协同演化未提升代码生成的泛化能力。 SPARK 导致相对 GRPO 约 34 倍 KL 散度,训练 token 数从 185 降至 86,留出集性能未保持早期增益。 训练奖励提升不代表可泛化的代码自我改进,需关注留出集评估与漂移诊断。
研究使用 126,926 个代码文件评估大型语言模型对变量角色的理解。 残差探针比稀疏自编码器(SAE)特征表现更好,但结合 SAE 特征可缩小差距。 生成干预常改变角色注释但牺牲正确性,且测试通过时无明显优势。
研究团队发布 OR-License 基准,包含 10 个工业场景的 31 个实例,源自总价值 368 万美元的付费运筹学委托项目。 基准引入 ORSim 客户端模拟器及部署调整质量(DAQ)指标,11 款前沿 LLM 中最高配置的 Claude Code 实现 88.39% 严格可行性与 0.87 DAQ。
Arena 宣布 DeepSeek-V4.1-Flash-1017(Max)在 Code Arena: WebDev 榜单得分 1670,超过 Kimi K3(Max)等开源模型及部分闭源模型,成为该榜单排名最高的开源模型,仅落后 GPT-6 Sol(Max)12 分。
同一新闻,精选展示《DeepSeek-V4.1-Flash-1017 登顶 Code Arena: WebDev 开源榜》
AI 编程工具大幅降低克隆游戏制作门槛,导致独立开发者在公开早期作品时变得格外谨慎。 Alliance Arts 工作室的《Drunken Goddess Reflux》因担心素材被 AI 快速复刻,将原定公开试玩改为仅限封闭专场。 Freya Holmér 指出,AI 克隆虽多但缺乏新意,热度下降后开发者可安心打磨精良作品。
Spinoza Labs 发布编程 CLI 工具 Vortex Code 及其内的 Vortex Architect 模式,旨在通过蓝图编译和 Agent OS 协调多智能体协作完成软件构建。该工具提供 Agent、Build、Architect 三种模式,文中列举了 Infinite Museum、Universe Atlas 等四个自主构建的演示案例及其对应的代码行数、提交次数和评测数据。
Chai-UI 是一个专为生成式 AI 应用打造的设计系统,提供 React 组件库。 其核心组件 Composer 可直接导入用于构建 AI 应用的提示词输入栏,需配合 @chai-ui/react 和样式文件使用。
Simon Willison 撰文指出,编程智能体正剥夺职业程序员解决逻辑谜题的乐趣,导致这一核心快感消失。 Jeremy Scheff 表示,过去程序员因能解开难题而获得高报酬并掌握策略主动权,如今这种乐趣不复存在。 若程序员仅享受构建系统本身而非解题过程,LLM 仍是持续红利;反之则真实地遭受了乐趣损失。
OpenAI 最新模型提升了 COBOL、Fortran 和 Visual Basic 等低资源编程语言的软件构建与迁移能力。 这些语言支撑着银行、政府及企业核心系统,该进展有助于理解数十年业务逻辑并支持系统现代化。
Claude Code 发布 v2.1.304,新增 `/claude-api managed-agents-secure` 命令以对比代理设置与安全指南,并优化插件跳过 Hook 时的日志记录。 新增 `/auto-mode-setup` 引导设置,支持 Bedrock、Vertex 等平台;修复沙箱、模型切换及 Remote Control 等 40 余项功能缺陷,提升运行稳定性。
该 GitHub 项目通过 Markdown 链接实现一键触发 Grok、Claude、Codex 进行 PR 审查,无需配置 API 密钥或 CI 流程。 核心逻辑由一个 Node 脚本、GitHub Actions workflow 及特定标记字符串构成,参考实现为 tdk-cli-core。
Microsoft 开源了名为 Scope 的 Kubernetes 原生平台,用于将 AI 编码智能体的交互行为转化为可行动的产品改进证据。该平台以 MIT 许可证发布,支持通过可复现实验持续优化针对智能体的开发体验(DevAx)。
开源 AI 编码工具 OpenCode 的安全控制台遭到大规模蒸馏攻击,1.4% 的受影响用户存储其中的 API 密钥泄露,导致 OpenAI、Anthropic 和 Google 等服务的账户出现未授权扣费。
一名早期职业开发者指出,LLM 大幅降低了代码编写与基础运维门槛,传统技术优势正在消失。 他急需寻找在 LLM 时代仍具高门槛、无法被廉价替代、且有明确投入路径的人类核心技能。 当前缺乏具体难题定义,导致职业发展路径模糊。
该插件 PreToolUse 钩子校验 Edit 等写操作,但其他写入路径不受限,且服务器故障时默认放行。 项目采用 MIT 协议开源,解决协调问题,但集成测试与分支合并仍需人工介入。
随着编码热潮消退,计算机科学毕业生在动荡的就业市场中将重点转向AI技能。 该趋势反映了劳动力市场对核心AI能力的偏好变化,而非传统编码角色的单一需求。
GitHub Copilot 允许用户直接在 VS Code 中打开并继续其 App 端会话,无需重建上下文。 点击“Open in VS Code”即可加载包含任务、计划和对话记录的完整会话,项目通过关联的 worktree 隔离运行。 开发者可在编辑器中手动修改代码、运行本地测试,并继续向 Copilot 提问或推送更新至 Pull Request。
summary_zh: 软件正在吞噬世界,AI 正在吞噬软件。 软件正在吞噬世界,AI 正在吞噬软件。