跳到正文
11月2日周一
11月1日周日
  1. Hacker News AI73

    AI 是否足够廉价以取代开发者?

    文章分析认为,AI 工具在代码编写成本上远低于人类开发者,但 SWE-bench 基准显示其在私有代码库上的表现存在巨大落差,且最新研究证明 AI 并未提升资深开发者效率。目前 AI 适合处理低风险的基础工作,但无法替代开发者的专业判断力。

  2. 机器之心80

    谷歌联合多所高校开源 CLASHarness,实测 15 个前沿大模型在多 Agent 冲突下的真实表现

    研究团队发布多智能体冲突基准 CLASHarness,并开源了代码与包含 600 个多轮可执行冲突任务、7970 张 4K 视觉证据的数据集。

    推荐理由:15 款主流模型在 600 个多智能体冲突任务上端到端通过率均未破 30%,强模型靠视觉证据核实真值,弱模型则易盲信队友文字汇报。

  3. R/ArtificialInteligence43

    编译器驱动型编码智能体 Benzi 在 SWE-bench Verified 中以 82.6% 得分和 $9.26 成本刷新纪录

    编码智能体 Benzi 在 SWE-bench Verified 基准测试中取得 82.6% 的得分,单次运行成本仅为 $9.26。 Benzi 采用编译器架构,先将代码库编译为可查询映射以支持全语言解析,相比 mini-SWE-agent 少读了约 318,824 行代码。 该模型展示了通过静态分析与运行时追踪分离,能在更低成本下实现高效代码理解与编辑的优势。

  4. R/ArtificialInteligence45

    Gemini 4 Argon 核心优势解析

    Gemini 4 Argon 在 Scale AI SEAL 11 类基准中确认 6 项优势,其中 Humanity's Sixth Sense 排名 #1,SWE-Bench Pro V2 排名 #2 得分 99.22。其在多模态视觉理解、复杂软件工程及高级学术推理方面表现突出,但金融、法律及心理危机支持场景未进前三。

10月31日周六
10月30日周五
  1. arXiv · AI25

    NovGauge:用于诊断大语言模型论文新颖性评估能力的细粒度基准

    NovGauge 提出了一个包含 619 个论文对的人类锚定基准,用于诊断 LLM 在论文新颖性评估中的细粒度表现,涵盖任务、问题和方法三个维度。 评估显示 18 种 LLM 的幻觉率介于 0% 至 39% 之间,且超过 70% 的正确阳性判断证据无法逻辑支撑其理由;表现最佳的 GPT-5.5 各维度 Verified F1 为 43-72%。

  2. arXiv · AI45

    VLM 3D 推理失效分析:BedBench 揭示的局限

    研究发现视觉语言模型在 3D 推理中难以一致利用物体属性,新基准 BedBench 显示其在按颜色计数任务上准确率仅 7.2%,而人类达到 93.3%。 针对微调模型 3.0% 至 68.6% 的准确率提升仍伴随内部不一致,探测 Qwen3.5-27B 表明精确计数可恢复但极少被采纳。 文章建议评估 3D 推理需关注精确正确性、一致使用性及图像依赖性,代码和数据集已公开。

  3. arXiv · AI26

    TrussTutor-Bench:评估大语言模型在静力学解题准确性、谄媚性与错误检测中的基准

    TrussTutor-Bench 基准包含 200 道二维桁架问题,用于评估 13 个 LLM 的解题准确性、谄媚性与错误检测能力。 基线解题准确率在 64.5% 至 97.0% 之间,所有模型在合成作业中检测错误率达到 90.4% 至 100%;当学生质疑正确解答时,模型接受率从 1.6% 变至 50.0%。 结果表明模型在技术可靠性上差异显著,该基准确立了判断哪些模型足以面向学生使用的标准。

  4. arXiv · AI31

    The Prestige:使用魔术表演评测认知视觉推理的视频理解基准

    The Prestige 提出通过专业魔术表演评测认知视觉推理的视频理解基准,测试模型对意外结果事件的跟踪与解释能力。该基准包含从时序因果理解到对抗性问题鲁棒性的开放问答题,评估显示最强视觉语言模型与人类表现存在显著差距。研究还发现自动化评分与人类评分存在系统性偏差,且模型在多选题正确但独立解释失败的情况下依然存在,凸显了视频理解评测的局限。

  5. arXiv · AI34

    FVH-Bench: 评估图像生成器超越显性有害内容的功能性视觉危害安全

    FVH-Bench 包含 5 种有害视觉功能和 10 个风险领域的 669 个提示词。 评测 11 个图像生成器,发现它们很少拒绝请求,且生成的图像能有效满足有害功能,现有安全检测器对此覆盖有限。 这表明图像生成器安全对齐评估需同时考虑图像所描绘的内容及其可能启用的功能。

  6. arXiv · AI38

    EnvOS:在动态环境中审计计算机使用智能体

    EnvOS 框架通过现象级任务构建与证据化评估,解决大语言模型智能体在软件状态变更时的测试归因难题。 框架在运行前验证变更触发、任务可解性及评分准确性,运行后基于归档证据重审判定。测试显示 Claude Opus 5 在展示更新值时成功率从 0/16 升至 15/16,显著优于仅提醒重查的结果。

  7. arXiv · AI28

    DecompGym 基准测试 LLM 智能体设计分解算法能力

    研究者提出 DecompGym 基准,包含 81 个实例,用于评估 12 款 GPT、Claude 和 Gemini 模型在编码智能体环境中设计 Benders 分解和列生成算法的能力。 评估要求求解器在 60 秒内运行且目标值误差小于 1%,结果发现反思机制可将重试成功率从 39% 提升至 66%,表明智能体需要过程检查与错误定位反馈。

  8. arXiv · AI33

    SkillCT: 智能体技能多维评估基准与免执行基线

    该研究提出 SkillCT 基准,通过静态、动态及人工辅助评估的九个维度全面刻画智能体技能质量。 针对现有基准依赖特定工具与重复执行的问题,论文构建了一种免执行质量评估基线,通过检索相似参考技能来预测未知技能的质量画像。 这种方法在保持评估一致性的同时显著降低了 token 消耗与评估时间,并证明了其用于技能优化与仓库维护的价值。

  9. arXiv · AI25

    评估 LLM 因果推理:程序化生成基准 CLadder 的挑战案例研究

    CLadder 生成的数据集嵌入表面模式,导致随机森林等简单模型也能取得良好表现。 商用 LLM 在 CLadder 测试中表现极度脆弱,移除关键因果推理文本后性能几乎不受影响,结果主要归因于对训练数据中表面模式的利用。 任何关于 LLM 具备复杂因果推理能力的推断,都必须首先排除这一假设。

  10. arXiv · AI21

    Seq@K:语言模型在顺序反馈下的评估协议

    研究人员提出Seq@K评估协议,用于衡量模型在K次顺序尝试中利用反馈迭代解决问题的能力。 该协议在7个基准测试和16个前沿模型上验证,揭示模型排名常与Pass@K指标不同。 分析显示,反馈循环的设计对模型迭代精炼行为有显著影响,需纳入智能体系统评估体系。

  11. arXiv · NLP32

    Prefix Executability: 超越最终成功率评估工具使用智能体的轨迹执行可靠性

    提出“前缀可执行性”协议以评估工具使用智能体轨迹,定义前缀可执行性曲线(PEC)等指标。 在 BFCL-v3 和 ToolSandbox 等基准测试中发现,仅关注最终成功率会掩盖轨迹执行缺陷,显式的预执行计划检查能改善可执行前缀存活率。 该协议为诊断智能体失败和评估验证机制提供可操作的可靠性信号。

  12. arXiv · NLP41

    语言模型在已知机械极限下计算与拒绝行为的分化:12款模型4860次调用测试

    研究测试12个语言模型在4860次调用中对已知机械极限的计算与拒绝能力,发现模型在询问可行性时能识别不可能的工程设计,但在要求完整答案时可能错误报告“solved”。 Opus 5 和 Gemini 3.8 Flash 在仅询问可行性时拒绝了所有不可能的新设计,无假警报;重述拒绝时机或改变回答格式提升了原始梁的拒绝率,但在新设计上效果不一致。

  13. arXiv · NLP25

    决策模型与生成式大语言模型在医学多选题基准测试中的对比研究

    研究对比了13个决策模型与15种生成式LLM配置,在1,273道MedQA四选一题目中测试表现。 决策模型准确率在67.71%至89.08%之间,生成式配置达78.32%至96.86%;Mercury Decide单次成本最低(每千题0.0069美元),Clef Omni中位请求时长最短(0.291秒)。 决策模型在资源效率上占优但峰值准确率较低,模型选择需综合考量概率质量、重复性及纠错资源需求。

  14. Hacker News AI52

    MLCommons 发布 Candela:面向开发者与部署者的 AI 风险基准测试服务

    MLCommons 正式推出 Candela,一种提供按需使用的 AI 风险与可靠性基准测试服务,支持约 30 个开源模型的 Safety 1.2.1 评分公开。该系统使用私有提示词防止数据污染,通过专门的分类器而非 LLM 进行评分以确保稳定性,并允许测试包含系统提示词和 RAG 等组件的完整部署系统。

10月29日周四
  1. APPSO50

    大模型为何通过“做游戏”展示能力

    新模型发布后,业界倾向于用制作浏览器游戏代替传统跑分,以直观验证代码与交互能力。 Claude Opus 5.5等模型能生成数万行代码,实现FPS、RPG及三维城市等可玩原型。 游戏成为新的展示仪式,平衡了技术复杂度与传播的直观性,但仍存在稳定性挑战。

  2. R/ArtificialInteligence46

    Artificial Analysis 智能指数 v5 因“私有测试”受批评,称 GPT 和 Google 模型排名被抬高,开源中国模型被压低

    Artificial Analysis 发布的智能指数 v5 因引入“私有测试”受到批评,被指显著拉低开源权重模型在指数中的排名,并抬高 GPT 和 Google 模型的排名。 批评者认为在私有数据集上进行“trust me bro”式私有测试缺乏透明度,使得当前开源权重模型在指数 v5 中排名偏低,此举被认为存在可疑之处。

  3. IT之家37

    XHEART 新芯航途 X7 系列芯片量产8个月出货超20万颗

    XHEART 新芯航途 X7 系列芯片量产 8 个月,累计出货超过 20 万颗。 已搭载 10 款量产车型,并获得超过 40 款车型订单;基于双 X7 的 L3/L4 平台已获多个车型项目定点。 以规模交付验证“大模型定义芯片”的技术路线,推动大模型芯片向更高等级自动驾驶落地拓展。