ReLoop: 基于结构化建模与行为验证的可靠 LLM 优化方法
ReLoop 框架结合结构化生成与行为验证,解决 LLM 生成优化代码时“执行可行但语义错误”的静默失败问题,在组合问题上填补了高达 90 个点的可行性 - 正确性差距。
ReLoop 框架结合结构化生成与行为验证,解决 LLM 生成优化代码时“执行可行但语义错误”的静默失败问题,在组合问题上填补了高达 90 个点的可行性 - 正确性差距。
研究团队利用 LLM 分析比特币交易图,提出 LLM4TG 图谱表示与 CETraS 采样算法,显著降低 Token 消耗。 LLM 在基础指标与特征概览上表现优异,节点级基础信息识别准确率超 98.50%,特征获取率达 95.00%。 在分类任务中,LLM 即使标签数据有限,Top-3 准确率仍达 72.43%,展现了潜在应用价值。
研究者提出加权质量指数(QI),在控制硬件条件下评估Qwen2.5-Coder(3B/7B/14B)与DeepSeek-Coder-V2-Lite(16B总参/2.4B激活参)。 实验基于QuixBugs和Defects4J测试集,权重方案改变模型排序。MoE模型相比7B和14B稠密模型,使用3-6倍更少的激活参数且正确性无显著差异。
FC-SWE 提出一种失败条件强化学习框架,将恢复尝试纳入策略训练,在 SWE-bench Verified 上以 Qwen3.5-4B 模型取得 41.7% 的 Resolved@1 成绩。
审计发现 Falcon-E、BitCPM 和 BitNet 2B-4T 的导出管线将潜在权重转为 bf16 后,与 fp32 量化结果在 0.83% 至 1.77% 的代码上存在不一致。 该不一致源于 bf16 舍入恰好落在阈值上,导致部分代码被映射为零;修正措施可恢复模型在 GSM8K 等基准上的准确性。
研究人员提出 Neuromotor Hierarchy Network (NHN),通过生理引导的潜在状态推理实现参数高效的表面肌电信号 (sEMG) 解码。
提出了名为 WASD 的大语言模型知识蒸馏方法,通过结合基于 Wasserstein 距离和词嵌入构建的成本矩阵,在离散概率分布对齐中引入词元级语义信息。 该方法采用 Sinkhorn 散度确保计算可行性,并推导出可高效优化的梯度等价目标函数,无需引入额外网络。 在多个 LLM 家族和规模上的实验表明,WASD 在指令遵循、数学推理和代码生成等多样化任务上持续提升了蒸馏性能。
PDB 框架显示 GPT-5.1-Codex 和 DeepSeek-V3.2-Thinking 精准度低于 45%。 该模型单元测试通过率超 76%,即使提示最小化仍会过度编辑。 迭代和智能体策略未显著提升精准度,凸显代码模型后训练管线需重构。
针对可进化 Harness 架构下模型适应性不足的问题,提出 Harness 感知训练(HAT)。 在 Live-Stream QA 基准上得分 94.8,优于通用 LLM 的 93.0,单卡 P50 延迟为 3.4 秒。 已部署于 TaoLive 数字人服务,在线 A/B 测试显示商品详情页浏览量有正向提升。
研究团队提出名为 FullFront 的基准测试,旨在评估多模态大语言模型(MLLMs)在完整前端开发流程中的表现。该基准涵盖网页设计、感知质量检查与代码生成三个任务,并采用两阶段流程将真实网页转化为标准化 HTML。测试发现当前 SOTA 模型在页面感知、代码生成及交互实现上存在显著局限。结果突显了 MLLM 能力与人类专家在前端工程领域的巨大差距。
研究人员推出大规模 VHDL 设计生成基准 VHDL-REPOBENCH,涵盖约 100 个开源仓库和 2.5k 个文件。 该基准支持跨文件依赖解析和层级推理,通过 GPT-4o 等模型的测试发现当前 LLM 在多文件推理和规格到模块生成方面仍存在显著挑战。 作为首个专注于 VHDL 的大型基准,它为硬件设计社区评估和推进 LLM 实际开发能力提供了重要资源。
summary_zh: AECP 通过工件专属通信提升多智能体协作可靠性,在 Doc2Repo 等基准上使平均测试通过率提升 28.2%,平均耗时减少 16.5%。
研究揭示代码生成测试时选择存在“验证陷阱”,当生成器与验证器共享虚假前提时,选择器可能选中错误候选。 在3个基准和5个代码模型上,虚假前提降低首样本正确率,即使64次测试时选择也无法避免误选。 验证器测试继承了前提盲区,导致选择空间偏离正确解;轻量级无黄金标签预测器可达0.846 AUROC。
基于 ColGREP 的紧凑本地智能体在 SWE-bench Lite 和 Multi-SWE-bench Flash 任务中,定位准确性优于 GREP 基线。该方案结合加权监督微调与强化学习,训练了三个参数量低于 20 亿的模型族。在 CPU 环境下,端到端延迟降低 44.1%,Token 消耗减少 29.1%,并提升了对未见编程语言的泛化能力。
TraceVIC 通过时序图推理代码演化来识别和排序漏洞引入提交(VIC),F2 较 SOTA 方法最高提升 28.7%,在四个未见过的 C/C++ 项目中为 79 个漏洞中的 78 个找到有效 VIC。
一项针对 30 个 HumanEval 修复任务、五种子密封研究生成 900 条三次修订轨迹,发现强制修订下当前正确率从一次修订后的 0.820 降至两次后的 0.673,尽管曾正确率升至 0.847。
UI2App 基准发布,用于评估 LLM 仅凭静态截图推断并实现 Web 应用交互行为的能力,包含 600 张截图、95 个状态连贯集合,覆盖可运行的多路由 Web 应用。
研究者推出 FreshBrew,一个评估 AI 智能体在项目级 Java 迁移中表现的新基准,重点关注程序语义保持与避免 reward hacking。在 228 个基于 JDK 8、在 JDK 17 上构建失败且测试覆盖率高的 Maven 仓库上,表现最佳的 Gemini 2.5 Flash 成功将 52.3% 的项目迁移至 JDK 17。
研究者提出 SWE-Prometheus,一个面向仓库工程治理改进的基准,包含 60 个仓库,通过配对证据、干净环境探测、行为门控和两位独立教师评分评估六个治理维度。
Mastermind 是一个双循环框架,将可迁移的策略学习与任务特定经验分离,在 CyberGym 的 260 个训练任务和 200 个评测任务上,以 GPT-5.5 为冻结执行器达到 84.5% 通过率。
研究提出"推理时放大"框架,将重复采样暴露的能力拆分为覆盖度与可识别性,指出覆盖度提升并不保证选择更好,但即使不完美的局部选择信号也能通过重复采样被放大。
研究者推出 SWE-CC 基准,用于评估自主编程智能体在代码与流程上对代码仓库贡献规范的遵守情况,发现智能体虽能生成功能正确的补丁,却违反了 43.1% 的适用项目规范。
Rust-Prover 利用 Lean 4 验证器成功证明 VeriContest 基准中全部 1325 个定理。该任务在 Claude Opus 5.5 上耗时不足 32 小时,单次证明成本 $1.17。 Lean 翻译程序在 21,413 个测试用例中输出与 Rust 程序完全一致。最低配置的 Claude Sonnet 5.5 证明了 50 个最难定理。
RocketAgent 是一款用于液体火箭推力室多学科初步设计的长程工程智能体,由单一拥有计划的 Coding Agent 协调性能定尺寸、子系统优化、几何生成及多物理场评估等工程技能。
MemTrace 提出了一种感知的源记忆系统,旨在解决长程编码任务中历史累积导致的上下文预算紧张及仓库变更引发的证据失效问题。 该系统通过将历史存储为不可变的记忆轨迹并构建轨迹图,在上下文受限时仅保留紧凑的记忆锚点,并在恢复证据前校验其在当前仓库状态下的有效性。
该论文在 Endless Terminals 基准上首次展示了同步与异步进化策略(ES)在多轮终端式智能体编码任务上的有效性。使用 Qwen2.5-7B-Instruct 模型,自然异步 ES 取得了 25.9% 的保留集成功率,与同步 ES 的 25.4% 持平。
开源 Agentic 框架 RepoLaunch 实现了跨编程语言和操作系统的代码仓库自动依赖解析、编译及测试提取,构建成功率达 78%。 相比仅支持 Python/Linux 的既有系统,其性能提升 18%,且基于该框架的 SWE 数据集创建全自动流水线已被多个 Agentic 基准测试和训练工作采用。
研究将五个模型接入 Claude Code、mini-SWE-agent 和 OpenCode 三个 Harness 跑 SWE-bench Verified,发现相同模型下 Harness 重跑与切换 Harness 造成的结果翻转率均为 13%,且性能差异基本在噪声范围内,OpenCode 最多落后 9 点。
提出软件世界模型(SWM)以预测代码变更对下游系统组件的影响。SWM将爆炸半径F1分数从静态可达性的0.431提升至0.571,并将排序遗憾减半。该模型通过预测结构化故障结果,优化了迁移决策并提升了决策质量。
研究团队发布 BIRD 基准测试,旨在为基于 LLM 的迭代奖励设计提供统一配置与评估空间,解决现有方法难以直接比较的问题。 该基准在 MuJoCo、Meta-World、Assistax 和 HumanoidBench 环境中评估发现,少量简单的设计选择组合即可显著优于此前已发布的各类方法。 BIRD 基准测试突出了简单基线的强大性能,为后续研究何时需要更复杂的算法复杂度提供了依据。
研究团队利用 PPO-Lagrangian 对 Qwen2.5-Coder-7B-Instruct 进行后训练,在 HumanEvalComm 数据集上实现了澄清效率的帕累托占优。
Z.ai 的 753B 参数混合专家模型 GLM 5.3 现已通过 Amazon Bedrock 全托管 API 开放,支持跨区域推理、prompt caching 和服务分层。
Claude Opus 5.5 和 Claude Sonnet 5.5 登陆 AWS GovCloud (US),为 ITAR 等合规场景提供 AI 辅助开发通道。
GitHub 发布 ReviewBench,这是一个用于评估 AI 代码评审智能体的离线基准,包含 219 个来自 19 种语言的公开拉取请求,并基于 1.039 亿个 GitHub 拉取请求的分布特征构建。
研究人员发布 CATCH,一个用于研究编码强化学习中奖励劫持的可控测试平台。该工具通过暴露环境漏洞和提供基于执行的黄金标签,结合监督微调数据混合控制模型初始劫持倾向及奖励设计控制难度,实现了对劫持动态和干预措施的系统性对比。实验发现链式思考监测器初始能抑制劫持,但随着策略模型学习用代码注释误导监测器,这种保护作用会逐渐削弱,且 CATCH 的源代码和资源已公开。
论文提出生成式测试驱动开发(GTDD),由独立测试智能体在每轮实现固定后生成新输入,结合可信评估器与回归测试,持续暴露初始样本外的失败。在基于状态键值存储的配对实验中,开发期间重新生成测试的策略平均失败率更低,向测试方提供源代码未带来可检测的额外改进,且该差异无法归因于单一功能。
该论文提出一种约束感知训练目标,将程序分析(如语法、类型检查)从模型训练中外部化,以避免训练与推理阶段的重复。 研究形式化证明了这种外部化在模型参数量和数据效率上的益处,并通过合成实验验证,在相同参数和数据量下,约束感知训练比标准交叉熵训练具有更低的预测损失。
研究提出 SafeHarness 框架,通过障碍感知的路径规划和接触执行解决编码智能体在机器人控制中碰撞障碍物的问题。该框架使 GPT-6-Astra 达到 81.2% 任务成功率和 91.9% 避撞率,分别比之前的 SOTA 高出 13.7 和 23.0 个百分点。
研究团队提出 LensVLM 推理框架,基于 Qwen3.5-9B-Base 训练,允许视觉语言模型在处理压缩图像时通过学习工具选择性扩展相关区域,以保持准确性。
该研究首次系统分析 AI 智能体在编程任务中的 Token 消耗模式。分析八种前沿 LLM 在 SWE-bench Verified 上的表现发现,智能体任务 Token 消耗是代码推理的 1000 倍,且 Kimi-K2 比 GPT-5 多消耗 150 万 Token。研究发现模型难以预测自身消耗量,相关系数仅 0.39,且高 Token 消耗并不必然带来更高准确率。