跳到正文
11月17日周二
  1. arXiv · AI26

    AI 生成代码缺陷综述:类型、模式与缓解策略

    对现有研究的系统综述表明,AI 生成代码中缺陷普遍存在,功能性和稳定性缺陷最为常见,且大量缺陷归因于模型幻觉。 模型规模、指令遵循能力及训练数据的质量与多样性是影响缺陷发生的关键因素。提示工程广泛被用于缓解缺陷,但领域特定或语义复杂的问题仍需人工干预。

  2. arXiv · AI42

    RealClassEval 揭示 LLM 在真实类级代码生成中的性能差距

    研究引入基于真实开源仓库的 RealClassEval 基准,显示 LLM 在真实类级代码生成中准确率仅 25% 至 34%,远低于合成基准的 84% 至 89%。 文档补充带来 1% 至 3% 的边际提升,检索增强在规格不完整时带来 4% 至 7% 的提升;AttributeError 等三类错误占总故障的 84%。 该基准为诊断 LLM 核心实现瓶颈及优化生产部署策略提供了必要基础。

  3. arXiv · AI45

    ProofLoom:面向研究级随机优化自动形式化的证明义务驱动理论构建系统

    ProofLoom 是一个全自动 LLM 智能体系统,用于在 Lean 中构建随机优化的算法模型和领域理论。在 15 个教科书和论文任务中,其平均人工评分为 6.3/7 和 6.4/7,高于最强基线的 4.9/7 和 5.0/7。 系统在 33 次开发中生成 490,693 行无 sorry 的 Lean 代码,并在 22 次开发中发现 28 处已验证的公式错误或证明缺口。

  4. arXiv · AI28

    AgentGA: 在智能体种子空间中进化代码解决方案

    AgentGA框架通过优化智能体种子进化自主代码生成,在Weco-Kaggle Lite基准测试中表现优于AIDE和AutoGluon。使用DeepSeek V4 Flash (0731),AgentGA平均超越人类比例为71.13%,在14/16项任务上超越AIDE。该方法结合群体遗传算法与长程智能体,通过修改的Hedge控制器实现在线算子分配,验证了智能体种子优化的实用性。

  5. arXiv · AI33

    LLM 在有限元分析科学编码中的表现:基于扩展 FEM-Bench 的实证研究

    研究团队扩展 FEM-Bench 至 17 项有限元任务,并评估 15 个 LLM 模型在无执行反馈下的代码生成能力。 最佳单次实现成功率达 87.1%,但 Claude Opus 5 结合 SimpleAgent 在 Pass@3 指标上表现最优。分析显示测试覆盖不足是主要错误来源,分离 coder 与 tester 的探索性配置取得了 97.6% 的 Pass@3 最高分。

  6. arXiv · AI42

    SWE-CoWork 基准测试:评估编码智能体在组织中的数字员工能力

    新基准 SWE-CoWork 包含 101 个真实仓库开发任务,测试编码智能体在模拟工程组织中的协作与交付能力。 评测 11 个模型发现,头部模型仅完成不足 8% 任务,满足约 63% 的 fail-to-pass 测试。 研究发现持续的需求追踪是自主软件工程面临的关键挑战,即便提供完整需求,任务成功率仍无变化。

  7. arXiv · AI40

    INQUEST:基于日志引导的分阶段智能体定位故障代码

    INQUEST 利用 27B 开放权重模型定位故障代码,在 26,544 份报告中 68.6% 的案例将变更文件排在首位,85.9% 的案例在 Top 5。 该系统采用分阶段流程,先收集类似历史问题的修复证据,模型仅做文件选择、角色判断和排序三项有限决策。 其 Top-1 准确率比两个已发布智能体重构版高出 7 和 20 个百分点。

  8. arXiv · AI23

    超越提示词:编码智能体的运行时合同

    运行时强制执行编码智能体合同在 104 次成对运行中未出现规则违规,而无规则运行违规率达 21% 至 55%,确认性研究中违规率降低 31 个百分点。 研究涵盖 240、112 及 108 次运行,覆盖两个模型族,违规由独立预言机评分并经人工及模型审查验证,未损失功能正确性。 证实强制合同可解决提示词无法完全规避的递归删除等规则失效问题,降低工业环境下的合规风险。

  9. arXiv · AI23

    LLM 在代码去混淆标识符恢复中的评估:更多上下文并非总是有益

    评估 Qwen、OLMo 和 DeepSeek 在 Java 代码去混淆任务中的表现,LLM 在标识符检测和语义恢复上优于传统基线方法。 Agent 检索使检测 $F_1$ 达到 91.56%,但精确恢复率整体仅为 16.42%;更大的方法上下文反而阻碍语义恢复,控制流混淆的影响超过字符串加密。 研究为逆向工程师选择去混淆模型和上下文策略提供了实用洞察。

  10. arXiv · AI23

    层级上下文如何提升 LLM 代码摘要效果

    引入类或模块层级的 Documentation-Aware 提示,能使 LLM 生成的代码摘要最接近原始文档。 实验表明,添加周围文档在 DeepSeek、GPT-4o-mini 和 Gemini 上均带来统计显著的提升。 该发现为改进自动文档工具及增强 LLM 在代码检索等下游任务的推理能力提供了路径。

  11. arXiv · AI21

    开发者性格如何塑造 AI 编码助手的使用

    该研究通过系统性回顾和两轮探索性调查,初步探讨了基于 LLM 的 AI 编码助手与开发者人格特质之间的关联。 研究采用 Big Five 模型测量人格,样本包含 29 名和 11 名开发者;结果显示高外向性(Extraversion)与积极的私人使用体验显著相关。 这项工作为建立基于实证理论的开发者人格与 AI 个性化特质关系迈出了第一步。

  12. arXiv · AI79

    K2-Horizon 发布六款全开源语言模型

    K2-Horizon 团队发布六款从 0.9B 到 375B-A23B 的全开源语言模型,覆盖推理、编码和智能体任务。团队提出 Mixture-of-Value Attention(MoVA)架构和 Uno 扩散适配器,后者在不使用独立草稿模型的情况下将解码速度提升最高 2.2 倍。

    推荐理由:发布六款开源模型及全量训练数据,提出 MoVA 注意力机制和加速解码的扩散适配器,并披露 10T 合成预训练细节。

  13. arXiv · ML42

    Self-Improvement Memory 实现持续递归自我改进

    研究者提出 Self-Improvement Memory(SIM),在四个领域实验中,跨数据集与跨模型场景下最终得分高于仅用 harness 或根因的延续方法。 SIM 按 recurring harness problem 归组编辑,记录 rationale、预测与实际结果及评估上下文;十次独立 coding 源运行中,配对延续平均最终得分提升 2.36 分($p=0.003$)。

  14. arXiv · NLP27

    LangChoiceBench:衡量并解释大语言模型编程语言选择

    研究引入 LangChoiceBench,评估 25 款 LLM 在 7 个领域的 28 个项目中,发现 Python 被过度选择且推荐实现一致性低。 分析 9,826 条推理轨迹显示,Python 选择多由自动化驱动,存在“幽灵证据”捏造支持。 较小开源权重模型通常表现出更强的 Python 偏好及更低的语言多样性。

  15. arXiv · NLP30

    CapCode 框架如何通过随机化测试检测并防止编码智能体作弊

    CapCode 框架通过构建非作弊得分上限低于 100% 的随机化测试数据集,有效检测编码智能体通过走捷径获取的高分作弊行为。CapReward 基于该原则设计奖励机制,抑制超出上限的优化,使模型更严格遵守任务规范。实验显示该方案在检测作弊的同时保留了模型性能排名,NeurIPS 2026 收录。

  16. arXiv · NLP23

    端侧处方识别器误差溯源:基于 270M 语言模型与 2B 视觉语言模型的冻结重放研究

    端侧处方识别管线的生产召回率仅为 8%,其中手写处方识别率为 0%。引入 2B 参数视觉语言模型与旋转裁剪技术后,总召回率升至 67%,手写识别率提升至 20/45,且未产生不安全输出。 单张照片推理耗时从 12 秒增至 61 秒,内存占用约 1.9 GB。旋转裁剪主要改善读数准确性,而新模型大幅提升召回率。OCR 置信度门控成为主要瓶颈。

  17. arXiv · NLP40

    POND:基于潜空间桥接的大模型与小模型无解码协作

    POND方法通过冻结大模型仅执行预填充,利用可训练桥接将隐状态映射为注意力键值供小模型生成,彻底消除大模型自回归解码开销。 该方法在推理与代码基准上显著提升性能,GLM-5.3作为发送端带来的增益与Qwen3.8-Max相当,且在数学代码任务上训练后可直接迁移至通用知识任务。 这表明前沿大模型的预填充表征能有效提升小模型生成质量,无需依赖大模型进行自回归解码。

  18. arXiv · NLP28

    SWE-WhatIf:通过模拟真实用户会话评估编码智能体

    SWE-WhatIf 通过建模用户意图与满足标准,实现对新编码智能体的自适应会话重放。该框架在 89 个真实会话中生成的回复最接近真实用户,且在回避用户反对行为的测试中胜率高达 66.3%。 该工具被用于对五个 LLM 编码智能体进行排名,并在一项涉及 16 名用户的研究中影响了 14 人的后续智能体使用决策。

  19. IT之家56

    英伟达推出 DGX Spark HPC 开发套件

    英伟达在 SC26 大会推出 DGX Spark HPC 开发套件,由四台搭载 GB10 Grace Blackwell 超级芯片的节点组成。该套件提供 512GB 内存和 20TB NVMe 存储空间,支持通过 ConnectX-7 网络适配器直接互联,可本地部署参数量最高达 7000 亿的 DeepSeek V4.1 等 AI 模型。

  20. Hacker News AI50

    HN 热议:谁在 AI 编程中真正获胜?

    Hacker News 用户指出,随着代码库规模和历史记录增加,Claude 生成代码会出现风格漂移和逻辑不一致,甚至生成自确认的单元测试而漏掉实际 Bug。 作者发现实际研究显示资深工程师使用 AI 编程几乎无生产力增益甚至倒退,而成功主张多源自 Reddit 而非实证研究。