跳到正文
11月17日周二
  1. arXiv · AI42

    RealClassEval 揭示 LLM 在真实类级代码生成中的性能差距

    研究引入基于真实开源仓库的 RealClassEval 基准,显示 LLM 在真实类级代码生成中准确率仅 25% 至 34%,远低于合成基准的 84% 至 89%。 文档补充带来 1% 至 3% 的边际提升,检索增强在规格不完整时带来 4% 至 7% 的提升;AttributeError 等三类错误占总故障的 84%。 该基准为诊断 LLM 核心实现瓶颈及优化生产部署策略提供了必要基础。

  2. arXiv · AI45

    ProofLoom:面向研究级随机优化自动形式化的证明义务驱动理论构建系统

    ProofLoom 是一个全自动 LLM 智能体系统,用于在 Lean 中构建随机优化的算法模型和领域理论。在 15 个教科书和论文任务中,其平均人工评分为 6.3/7 和 6.4/7,高于最强基线的 4.9/7 和 5.0/7。 系统在 33 次开发中生成 490,693 行无 sorry 的 Lean 代码,并在 22 次开发中发现 28 处已验证的公式错误或证明缺口。

  3. arXiv · AI28

    AgentGA: 在智能体种子空间中进化代码解决方案

    AgentGA框架通过优化智能体种子进化自主代码生成,在Weco-Kaggle Lite基准测试中表现优于AIDE和AutoGluon。使用DeepSeek V4 Flash (0731),AgentGA平均超越人类比例为71.13%,在14/16项任务上超越AIDE。该方法结合群体遗传算法与长程智能体,通过修改的Hedge控制器实现在线算子分配,验证了智能体种子优化的实用性。

  4. arXiv · AI33

    LLM 在有限元分析科学编码中的表现:基于扩展 FEM-Bench 的实证研究

    研究团队扩展 FEM-Bench 至 17 项有限元任务,并评估 15 个 LLM 模型在无执行反馈下的代码生成能力。 最佳单次实现成功率达 87.1%,但 Claude Opus 5 结合 SimpleAgent 在 Pass@3 指标上表现最优。分析显示测试覆盖不足是主要错误来源,分离 coder 与 tester 的探索性配置取得了 97.6% 的 Pass@3 最高分。

  5. arXiv · AI42

    SWE-CoWork 基准测试:评估编码智能体在组织中的数字员工能力

    新基准 SWE-CoWork 包含 101 个真实仓库开发任务,测试编码智能体在模拟工程组织中的协作与交付能力。 评测 11 个模型发现,头部模型仅完成不足 8% 任务,满足约 63% 的 fail-to-pass 测试。 研究发现持续的需求追踪是自主软件工程面临的关键挑战,即便提供完整需求,任务成功率仍无变化。

  6. arXiv · AI40

    INQUEST:基于日志引导的分阶段智能体定位故障代码

    INQUEST 利用 27B 开放权重模型定位故障代码,在 26,544 份报告中 68.6% 的案例将变更文件排在首位,85.9% 的案例在 Top 5。 该系统采用分阶段流程,先收集类似历史问题的修复证据,模型仅做文件选择、角色判断和排序三项有限决策。 其 Top-1 准确率比两个已发布智能体重构版高出 7 和 20 个百分点。

  7. arXiv · AI23

    超越提示词:编码智能体的运行时合同

    运行时强制执行编码智能体合同在 104 次成对运行中未出现规则违规,而无规则运行违规率达 21% 至 55%,确认性研究中违规率降低 31 个百分点。 研究涵盖 240、112 及 108 次运行,覆盖两个模型族,违规由独立预言机评分并经人工及模型审查验证,未损失功能正确性。 证实强制合同可解决提示词无法完全规避的递归删除等规则失效问题,降低工业环境下的合规风险。

  8. arXiv · AI23

    LLM 在代码去混淆标识符恢复中的评估:更多上下文并非总是有益

    评估 Qwen、OLMo 和 DeepSeek 在 Java 代码去混淆任务中的表现,LLM 在标识符检测和语义恢复上优于传统基线方法。 Agent 检索使检测 $F_1$ 达到 91.56%,但精确恢复率整体仅为 16.42%;更大的方法上下文反而阻碍语义恢复,控制流混淆的影响超过字符串加密。 研究为逆向工程师选择去混淆模型和上下文策略提供了实用洞察。

  9. arXiv · AI23

    层级上下文如何提升 LLM 代码摘要效果

    引入类或模块层级的 Documentation-Aware 提示,能使 LLM 生成的代码摘要最接近原始文档。 实验表明,添加周围文档在 DeepSeek、GPT-4o-mini 和 Gemini 上均带来统计显著的提升。 该发现为改进自动文档工具及增强 LLM 在代码检索等下游任务的推理能力提供了路径。

  10. arXiv · AI21

    开发者性格如何塑造 AI 编码助手的使用

    该研究通过系统性回顾和两轮探索性调查,初步探讨了基于 LLM 的 AI 编码助手与开发者人格特质之间的关联。 研究采用 Big Five 模型测量人格,样本包含 29 名和 11 名开发者;结果显示高外向性(Extraversion)与积极的私人使用体验显著相关。 这项工作为建立基于实证理论的开发者人格与 AI 个性化特质关系迈出了第一步。

  11. arXiv · AI79

    K2-Horizon 发布六款全开源语言模型

    K2-Horizon 团队发布六款从 0.9B 到 375B-A23B 的全开源语言模型,覆盖推理、编码和智能体任务。团队提出 Mixture-of-Value Attention(MoVA)架构和 Uno 扩散适配器,后者在不使用独立草稿模型的情况下将解码速度提升最高 2.2 倍。

    推荐理由:发布六款开源模型及全量训练数据,提出 MoVA 注意力机制和加速解码的扩散适配器,并披露 10T 合成预训练细节。

  12. arXiv · ML42

    Self-Improvement Memory 实现持续递归自我改进

    研究者提出 Self-Improvement Memory(SIM),在四个领域实验中,跨数据集与跨模型场景下最终得分高于仅用 harness 或根因的延续方法。 SIM 按 recurring harness problem 归组编辑,记录 rationale、预测与实际结果及评估上下文;十次独立 coding 源运行中,配对延续平均最终得分提升 2.36 分($p=0.003$)。

  13. arXiv · NLP27

    LangChoiceBench:衡量并解释大语言模型编程语言选择

    研究引入 LangChoiceBench,评估 25 款 LLM 在 7 个领域的 28 个项目中,发现 Python 被过度选择且推荐实现一致性低。 分析 9,826 条推理轨迹显示,Python 选择多由自动化驱动,存在“幽灵证据”捏造支持。 较小开源权重模型通常表现出更强的 Python 偏好及更低的语言多样性。

  14. arXiv · NLP30

    CapCode 框架如何通过随机化测试检测并防止编码智能体作弊

    CapCode 框架通过构建非作弊得分上限低于 100% 的随机化测试数据集,有效检测编码智能体通过走捷径获取的高分作弊行为。CapReward 基于该原则设计奖励机制,抑制超出上限的优化,使模型更严格遵守任务规范。实验显示该方案在检测作弊的同时保留了模型性能排名,NeurIPS 2026 收录。

  15. arXiv · NLP23

    端侧处方识别器误差溯源:基于 270M 语言模型与 2B 视觉语言模型的冻结重放研究

    端侧处方识别管线的生产召回率仅为 8%,其中手写处方识别率为 0%。引入 2B 参数视觉语言模型与旋转裁剪技术后,总召回率升至 67%,手写识别率提升至 20/45,且未产生不安全输出。 单张照片推理耗时从 12 秒增至 61 秒,内存占用约 1.9 GB。旋转裁剪主要改善读数准确性,而新模型大幅提升召回率。OCR 置信度门控成为主要瓶颈。

  16. arXiv · NLP40

    POND:基于潜空间桥接的大模型与小模型无解码协作

    POND方法通过冻结大模型仅执行预填充,利用可训练桥接将隐状态映射为注意力键值供小模型生成,彻底消除大模型自回归解码开销。 该方法在推理与代码基准上显著提升性能,GLM-5.3作为发送端带来的增益与Qwen3.8-Max相当,且在数学代码任务上训练后可直接迁移至通用知识任务。 这表明前沿大模型的预填充表征能有效提升小模型生成质量,无需依赖大模型进行自回归解码。

  17. arXiv · NLP28

    SWE-WhatIf:通过模拟真实用户会话评估编码智能体

    SWE-WhatIf 通过建模用户意图与满足标准,实现对新编码智能体的自适应会话重放。该框架在 89 个真实会话中生成的回复最接近真实用户,且在回避用户反对行为的测试中胜率高达 66.3%。 该工具被用于对五个 LLM 编码智能体进行排名,并在一项涉及 16 名用户的研究中影响了 14 人的后续智能体使用决策。

11月16日周一
  1. arXiv · NLP26

    PerfArena 开源 LLM 代码性能竞技场

    PerfArena 发布开源 LLM 代码性能评测竞技场,基于正确性、时延、内存和能耗对 13 个模型进行跨语言排名。 在 10 个 CLBGComp 基准和 99 个 LeetCodeComp 问题中,got-6-astra 是唯一在时延、能耗和内存上未被显著超越的模型,且解决率分别达 100% 和 99.7%。 该榜单持续更新,帮助开发者依据性能指标而非仅价格选择 LLM。

  2. arXiv · ML36

    Cyber-Zero:无需运行时的网络安全智能体训练框架

    Cyber-Zero 是首个免运行时框架,通过逆向工程 CTF 题解生成智能体轨迹,在三大基准上较基线提升最高 11.4%。 该框架利用公开 CTF 题解与角色驱动 LLM 模拟,无需实际环境即可生成长程交互序列。 其最佳模型 Cyber-Zero-32B 在开放权重模型中创 SOTA,性能媲美 DeepSeek-V3-0324 与 Claude-3.5-Sonnet。

  3. arXiv · AI26

    Astraios:参数高效指令微调代码大语言模型

    Astraios 构建了包含 28 个基于 OctoCoder 的指令微调模型,覆盖 7 种微调方法及 4 种不同规模的模型(最大 16B 参数)。 在 5 类任务和 8 个数据集上的测试表明,全参数微调(FFT)在下游任务中表现最好,而 LoRA 在成本与性能之间通常能取得最佳平衡。 研究还发现,模型规模越大,其鲁棒性和代码安全性往往越低。

  4. arXiv · ML34

    交互式程序归纳与语言模型先验

    提出交互式程序归纳算法,以语言模型为先验,在CodeARC基准上准确率较纯LM代理提升最多22个百分点。 该算法基于贝叶斯视角推导贪心查询策略,通过重要性采样估计查询目标,最多减少10.5个输入输出示例。 论文为预印本,包含28页、5幅图及9张表格。

  5. arXiv · AI38

    PrivacyPR:隐私感知代码审查基准数据集

    发布包含 4,131 个 GitHub PR 的数据集 PrivacyPR,提供 1,169 个高置信度隐私修复及 250 条人工验证样本。 在 Small 子集上,编码智能体在通用提示下仅检测出 42%-51% 缺陷,而在明确隐私审查指令下检测率达 88%-91%。 结果表明缺陷检测依赖审查意图,且伴随 11%-15% 的误报,数据与代码已公开。