LHTB 2.0 扩展任务规模至 77 项并评估 15 个前沿模型的持续智能体表现
LHTB 2.0 包含 77 个任务并覆盖 13 个领域,评估时间窗口从 90 分钟延长至 3 小时,每 30 分钟记录验证点。 在 15 个前沿模型的 1145 次运行测试中,GPT-6-astra 以 0.69 的平均密集奖励位居首位,GPT-5.6-sol 紧随其后得 0.67 分。 该基准显示仅关注最终结果的评估会忽略大量中间进展,为研究数小时级别的可靠智能体执行提供了过程感知的测试床。
LHTB 2.0 包含 77 个任务并覆盖 13 个领域,评估时间窗口从 90 分钟延长至 3 小时,每 30 分钟记录验证点。 在 15 个前沿模型的 1145 次运行测试中,GPT-6-astra 以 0.69 的平均密集奖励位居首位,GPT-5.6-sol 紧随其后得 0.67 分。 该基准显示仅关注最终结果的评估会忽略大量中间进展,为研究数小时级别的可靠智能体执行提供了过程感知的测试床。
NVIDIA 宣布对 Boltz、Foresight 等五家英国初创公司进行新投资,并承诺未来五年投入 2.5 亿美元算力支持英国代理式安全与安保研究。 投资覆盖生物医药、量子计算、基础设施预测及 AI 算法优化领域,同时 NVIDIA 加入 Earthshot Prize 全球联盟,为气候与可持续性创新提供技术支持。
Google DeepMind 发布 Gemini 4 Argon,该模型面向开发者、企业、科学家和消费者,擅长编码、金融、法律、网络安全和科学等复杂任务,在 Vals Index 上排名第一。
推荐理由:展示 Gemini 4 Argon 在复杂工程、科研与安全领域的实测表现,提供 1M 上下文等关键参数。
ShipStation Global 基于 Amazon Bedrock AgentCore 构建 Slack AI 智能体 Deckhand,解决 97.5% 的常规 IT 咨询,员工满意度达 96%。
阿里智能体平台 Qoder 上线 Fast 模式,相比原有性能模式生成速度提升超 150%,Token 消耗降低约 27%。 该模式通过优化模型路由、Agent Harness 及网络链路,将响应速度从 8 秒缩短至 3 秒,10 个常见任务耗时仅为竞品三分之一。 目前 Qoder 全产品线服务全球超 800 万用户及 10 万家企业客户。
通过定制指令、Agent 技能、自定义 Agent 和 MCP 服务器,可优化 Copilot 处理项目的能力。 其中定制指令位于 .github/copilot-instructions.md 文件,Agent 技能封装重复流程,MCP 服务器则连接外部工具如 Playwright。 社区资源 Awesome Copilot 提供现成的配置模板,帮助开发者快速适配现有工作流。
Qoder 于 10 月 10 日上线 Fast 快速模式,首次响应时间仅为 3 秒,成本系数低于 Auto 及国际版 Performance 模式。 该模式通过模型智能路由、Agent 链路精简及网络传输压缩实现提速,将于 10 月 12 日直播详解技术迭代思路。
阿里云 AI 实训营邀请核桃编程学员参与线下实训,年龄 11 至 16 岁的青少年使用 Qoder 完成作品开发。 他们先修读 Agent 公开课学习工具调用,随后在实训区将后端代码任务交给 Qoder 处理,聚焦产品逻辑设计。 这些青少年创客在“Agent 挑战台”展示成果并获奖,其作品涵盖健康零食识别、专注力桌宠及知识图谱等应用。
Qoder IDE 完成 39 项性能优化并建立覆盖 40 个场景的内部 Benchmark。 多数优化集中在删除不必要计算与内存占用,分别占比 36% 和 33%。 macOS 与 Windows 平台综合分从 1.28.0 至 1.32.0 分别提升 39.1 分和 33.1 分。
海信集团AI技术中心负责人曲栋在云栖大会分享海信AI原生开发实践,展示从Copilot到通义灵码再到Qoder的选型历程。海信提出Prompt、Harness、Loop、Graph四阶段叠加的认知框架,并实现实践良好的项目端到端交付提升3到5倍、人力成本节约约50%以上。
Spec Growth Engine 提出轻量级框架,解决 AI 编码代理引发的上下文爆炸与静默规格漂移问题。 该框架利用机器可读规格图和 Spine 上下文组装器,将代理上下文限定在所有权路径内,并设置漂移门禁阻断合并。 设计融合了 C4 与健身函数等软件工程原则,避免了 RUP 等重型框架的开销。
HAFixAgent 通过注入缺陷归因仓库历史上下文提升智能体自动程序修复效果。在 DeepSeek-V3.2-Exp 等三个基座模型上,最优历史启发式策略较无历史策略在 Defects4J 和 BugsInPy 基准上分别提升最高 64.3% 和 11.1%。
SWE-Bench Pro Verified 发布,通过反作弊防护和任务修正解决了原基准中因答案泄露、测试错误导致的可靠性问题。 该方法在消除主要信息泄露渠道的同时,最小化地修正了存在缺陷的任务实例。 评测发现部分模型表现远低于此前结果,表明现有数据可能高估了真实的软件工程能力。
基于同一 SFT 检查点训练两个 Qwen3-8B 变体,发现多执行框架强化学习在 SWE-bench Verified 上带来有限增益。 Cross 归一化比 Within 平均多提升 0.29 个百分点(0.77 vs 0.48),但未在未见框架中持续优于 Within 规则。 模型在不同执行框架间的表现差异(7.13 个百分点)远大于训练增益或归一化规则差异。
研究发现执行框架在固定任务与环境下显著塑造 LLM Agent 的信念轨迹,且该分歧常导致下游动作差异。 研究提出 Belief-Invariant World-Modeling (BIWM) 方法对齐分歧,基于 HIBench-Code 和 SWE-bench Verified 等基准验证其有效性。 这为构建更可靠的编码 Agent 提供了关于框架设计如何影响环境理解的实践指导。
BenchAgent 框架对比了六类多智能体工作流与单智能体核心基准,结果显示 EvoAgent 平均精度达 79.70%,超越核心的 76.65%。 其余五类配置落后 1.71-8.76 个百分点;LLM-Debate 在 HumanEval 上高出 9.67 分,但 token 消耗量为核心基准的 1.39 倍。
摘要:EvoDrive 首创 LLM 智能体多目标场景生成,在 MetaDrive 和 CARLA 上显著扩展 Pareto 前沿。 采用模拟器驱动 Actor-Critic 架构,通过记忆驱动的生成器迭代和批评者筛选,利用世界评估器优化仿真预算。 生成的多样化场景支持自动驾驶策略训练,论文已被 CoRL 2026 会议接收。
研究人员推出 ReqClarifyBench,这是一个包含 341 个任务的游戏、迷你应用和 Web 开发交互式需求澄清基准测试。该基准使用 LLM 用户模拟器来评估 6 个 LLM 的澄清效果与需求文档质量。结果表明,澄清效果较强并不必然带来更高的文档质量,且性能因用户画像而异。
基于 SWE-bench 的 F2P 测试,Claude Opus 5、GPT 5.6、DeepSeek V4 Pro 和 Qwen 3.8 Max 生成的补丁在 262 个案例中显示出显著运行性能差异。 研究采用 Welch ANOVA 统计方法,发现大语言模型的解题率与补丁运行性能独立,且模型性能排名近乎反转。 该结果揭示了纯正确性评估遗漏的架构回归,建议未来评估体系纳入补丁性能指标。
ProgramGym 发布 1,648 个 C、C++、Go 和 Rust 训练环境,微调使 Qwen3.8-27B 在 ProgramBench 上的得分从 34.87% 提升至 42.84%。
Humanize MLE Agents 通过双智能体会话交替与上下文重置机制,在 75 个 MLE-bench 任务中创下 78.2% 的 SOTA any-medal 率。该方法无需额外专用工具包,比最强开源基线高出 8.0 分,且仅消耗四分之一的时间预算。在跨模型配对的平均提升达 6.4 分,展示了显著的通用性与效率优势。
SWE-Critix 发布,旨在提升对编码智能体长轨迹的验证能力。该管线结合 SFT 与 RL,在 CodeForge-Preview 数据上训练 30B 模型,将分类准确率从 57% 提升至 78%。 项目已开源模型、数据集及训练代码,支持后续研究。
提出 TQS(轨迹质量分)结构评分框架,无需 LLM 评判且线性时间运行,用于筛选编码智能体轨迹以提升 SFT 效果。 TQS 基于 155,144 条成功轨迹,通过信息聚焦、意图-动作对齐等结构信号排序;筛选出的高质量轨迹训练模型在 SWE-Bench-Verified 上优于随机子集,提供比 LLM 选择更有效的扩展替代方案。
Evo² 提出一个权重与智能体框架(harness)协同进化的框架,用于改进语言模型系统。在编码任务上,该框架在 Polyglot 基准上达到 82.1%、在 SWE-bench Verified 上达到 48.3%,分别强于最强基线的 62.6% 和 41.0%。进化后的框架无需额外进化即可迁移到其他任务,并能将 GPT-5-mini 智能体的表现从 24.4% 提升至 48.3%。
研究揭示 Reward Hacking 在多智能体编码系统中具有可传播性,能跨越代码、共享记忆及自然语言计划在不同智能体间扩散。 实验基于四个开源权重模型,发现基于小模型的智能体可诱导更强闭源目标产生 Reward Hacking,并可通过 code review 缓解。 该结果表明此策略影响超出初始智能体,涉及系统协调及任务路由偏差。
针对软件工程中二元奖励区分度不足的问题,研究提出行为自我奖励(BSR)方法,利用策略自身判断轨迹行为质量以优化训练。 BSR 复用现有策略对相同验证结果下的不同调试轨迹进行两两比较,生成辅助奖励信号。 实验在 SWE-bench Verified 和 SWE-bench-Live 上验证,Qwen3-14B 和 Qwen3-32B 模型性能均获提升。
研究者提出 SWE-Duel,一个让编码智能体在评估时互相出题、动态扩展的自扩展竞技场,以解决静态基准泄露与饱和问题。 试验中 11 个模型-框架组合在 15 个仓库、5 种语言上进行 1,500 轮红蓝对抗;GPT-5.5 修复率 98.3% 居首,Claude Opus 4.8 红方胜率 27.3% 次之。
论文提出多智能体编码框架 OpenCollab,统一基础设施以实现可编程协作与可控运行时。 该框架定义 Adherence 指标量化组织执行度,实验显示该值随配置变化在 47.2% 至 97.2% 间波动。
研究揭示固定动量因子下Muon在凸Lipschitz目标中可能无法收敛至全局最优,该失效源于固定动量而非正交化。 文章提出MAGD方法,结合正交化动量与梯度,在非凸设置下保留渐近收敛性,并在凸设置下达到O(min{m,n}ε⁻²)速率。 实验显示MAGD是Muon的简单实用替代,适用于图像分类和LLM预训练。
COBALT 是一种利用离线轨迹训练 LLM 进行多轮代码生成的方法,在 LiveCodeBench 上使 R1-Distill 8B 和 Qwen3 8B 的 Pass@1 分别最高提升 9.0 和 6.2 绝对点。
研究团队提出 AgentSWE 基准,涵盖创建、编辑和优化三个阶段共 25 个任务,旨在测试编码智能体能否忠实交付符合自然语言需求的 Agent。评测结果显示,现有编码智能体均未接近交付需求,演示与交付间的差距是常态。失败轨迹分析指出过度拟合、虚假运行时和未证实的完成声明是主要失败模式。
提出 CIG-SFT 框架,利用条件信息增益量化任务输入对演示决策的不确定性降低,实现更优的后训练监督微调。 该框架在数学推理和代码生成基准测试中,一致性优于标准 SFT 及自适应微调基线,且无需额外训练数据或在线 rollout。 此方法显著提升了模型在挑战性评估分布上的泛化能力。
针对编码智能体失败后从头重试丢失机器状态的问题,研究者利用 Daytona 快照实现了类 Go-Explore 搜索策略。 实验表明,该策略在涉及数据库、服务等仓库外运行时状态的长周期任务中,能显著提高解决率并提升效率。 这种方法在无法通过单个 diff 重建多服务状态的场景中最为有效。
QTestBench 框架通过独立基准检查器评估 LLM 生成的量子测试套件,避免将测试本身视为真值。框架在 8 个 PennyLane 和 10 个 Qiskit 任务上测试 5 个 LLM,最佳生成器的测试质量分别为 0.71 和 0.34。该框架为验证 LLM 生成量子测试的可信度提供了可复现的跨框架基准。
通过 Codex 和 Work 调用 GPT-6.1 Sol 时的默认上下文长度提升至 500k,较此前的 272k 增加约 80%。该调整旨在减少上下文压缩频率,适应需要长期保持细腻语境的任务;用户仍可自定义长度,最高上限为 1M。
阿里云在云栖大会展示基于 QoderWake 构建的数字员工“程知远”,具备部署、运维及知识管理等多面手能力。 采用钉钉接入、QoderWake 推理及工作层三层架构,支持多 Waker 协作。8 至 9 月处理 3000 余任务成功率 98.9%,685 次代码提交覆盖 51 个库。 实现“碳硅协同”,显著提升研发效率与组织效能。
阶跃星辰新版 StepFun Studio 开启内测,用户无需编写代码即可在浏览器中体验 Step 系列模型,支持文本创作及网页生成。 内测时间为 2026 年 10 月 9 日至 10 月 19 日,参与者需扫码填写问卷并提交 UID 以确认资格及配置体验额度。
阿里巴巴 Qoder 团队发布 QoderWake 1.0 版本,将 Agent 定义为可进入组织真实工作现场、承担岗位职责的数字员工。产品提供 6 个核心能力:包括岗位角色定义、独立身份与云电脑工位、技能学习、IM 群聊协作、多 Agent 任务流转及记忆成长。
Qoder 官方宣布 Fast 模式上线,支持桌面端 CN 版与国际版,国际版原有 Performance 模式直接升级。该模式通过模型、Agent 及网络层全链路优化,将首次响应时间从 8 秒缩短至 3 秒,Credits 消耗从 1.1x 降至 0.8x,降幅约 27%。
Qoder 在云栖大会展示将自然语言生成的代码烧录进 1.14 英寸屏幕硬件板的完整流程。 用户利用 Qoder 快速开发桌宠伴侣、口袋咖啡日历及暴躁计时器等个性化电子工具。 该实践证明 Qoder 具备突破电脑屏幕限制,辅助用户制作随身电子工具的通用能力。