跳到正文
10月9日周五
  1. Hacker News AI74

    Hex 团队利用评估体系将 AI 功能错误率降低 7 倍

    Hex 团队在开发 Quick Edits 功能时,通过构建包含 1800 个案例的评估体系并执行 10 次/案例的测试,将错误编辑率从 21% 降至 3%。研究发现,优化验证器(如修复格式错误、处理边界情况)带来的性能提升远超调整提示词,例如将 Luna 的通过率提高 7 个百分点,Haiku 提高 10 个百分点。

  2. R/ArtificialInteligence67

    325个AI模型参与怪物格斗设计评测,超三分之一首轮因超预算失败

    Binx团队发起AI Monster Brawl项目,向OpenRouter上的325个文本模型发送同一提示词,要求在1000点预算内设计含躯干、头部、双臂及腿部的格斗者。结果显示,213个模型首轮生成有效方案,88个经重试后合格,24个始终无法产出有效蓝图。常见失败原因是超出预算限制,部分模型甚至存在命名部件不存在或JSON格式错误的问题。

  3. TechCrunch · AI56

    AI排行榜平台Arena完成2亿美元B轮融资,估值升至31亿美元

    AI排行榜平台Arena宣布完成2亿美元B轮融资,估值达到31亿美元,较去年1月1.7亿美元的A轮估值近翻倍。该公司在6月实现1亿美元年化运行率收入。Arena提供众包模型排名平台,免费供消费者使用;同时推出商业产品AI Evaluations,为模型实验室和企业提供基于社区反馈的性能分析。

10月8日周四
  1. arXiv · NLP20

    ARCS 基准测试揭示 Text-to-SQL 歧义处理难题:gpt-6-sol 准确率仅 51%

    研究者提出 ARCS 基准测试,聚焦 Text-to-SQL 在真实数据库中的自然歧义场景,采用结构化消歧范式替代传统对话澄清。 实验显示歧义显著降低系统表现,gpt-6-sol 端到端执行准确率仅为 51%,而所有开源模型均不超过 27%。 该结果凸显了现有模型在复杂真实场景下处理细微歧义的能力瓶颈,为系统部署提出了明确挑战。

  2. arXiv · AI35

    PHRBench:LLM 后幻觉推理的行为评测基准

    研究团队发布 PHRBench,覆盖 4 个领域与 18 个 LLM,共 4820 个受控实例,用于刻画模型幻觉后的行为动态。 该基准定义幻觉顺从、幻觉规避与启发式修正三类轨迹,发现成功恢复较罕见,且轻量预测器以 0.847 AUROC 预测恢复成功率。 研究为理解 LLM 如何消解错误上下文提供了行为层面的视角。

  3. arXiv · AI31

    条件准确率画像:跨部署条件诊断 LLM 裁判

    提出条件准确率画像(CAP)框架,将 LLM 裁判成对准确率分解为内容敏感度、鲁棒性等八个条件维度。 该框架应用于 7 个 LLM 裁判和 6 个评测基准,在 judgerEva 上发现省略敏感度无法通过总体准确率预测。 CAP 揭示了聚合准确率掩盖的性能差异,为选择 LLM 裁判提供了比单一指标更具操作性的依据。

  4. arXiv · AI25

    DUDA-Bench:评估 LLM 智能体在多模态数据驱动城市诊断中的基准测试

    研究引入 DUDA-Bench 基准,形式化城市诊断为多阶段智能体工作流,涵盖 86 个原子任务和 22 个工作流任务。 该基准基于 12 个城市的五类城市问题多模态数据,评估 7 个骨干模型与 5 个智能体系统,揭示孤立分析能力与端到端诊断间的显著差距。 DUDA-Bench 提供将专家分析工作流转化为层级化智能体任务的框架,支持对端到端分析能力的系统性评估。

  5. arXiv · AI35

    GeoNatureAgent (GNA):工具型智能体在地学与环境任务上的预生产评估框架与基准

    GeoNatureAgent (GNA) 引入固定十六工具 MCP 接口与 103 任务基准,用于评估工具型 LLM 智能体。 Claude Sonnet 4 在 103 任务中取得最高能力得分 61.7%,DeepSeek V3.2 以 11.3 倍更低成本实现 93% 的能力,构成主要成本-准确率帕累托前沿。 MCP 服务器、评估框架与 API 已公开,可替换工具与任务集以适配任意地学领域。

  6. arXiv · AI42

    Humanity's Sixth Sense:多模态模型直觉视觉推理基准测试

    新基准HSS发现前沿多模态模型在直觉视觉推理上表现远逊于人类,人类准确率达93.1%,而最强模型GPT-6-astra仅为53.6%。 HSS涵盖图像与视频输入,通过人类撰写的提示词探测隐性的时间、空间及社会结构推理。引入智能体动态视觉操作虽缩小差距,但未能弥合与人类表现的根本鸿沟。

  7. arXiv · AI41

    Agent Plasticity:基于经验测量的自我改进

    研究提出 Agent Plasticity 指标,通过摊销过往经验为可复用 artifact 来评估智能体自我改进效率,考察性能提升及泛化能力。 该指标量化智能体将经验转化为未来 held-out 性能增益的效率,发现前沿模型改进轨迹差异显著,最终表现最优者并非改进效率最高者。

  8. arXiv · AI42

    双方面个性化大模型基准 SDR-Arena 与 SDR-Bench 发布

    论文提出 SDR-Arena 框架及 SDR-Bench 公开语料库,包含 50,000 个客户成功案例,用于评测双方面生成式个性化能力。 最佳模型 Claude Sonnet 4.6 在加权片段召回率(WCS)上得分 55.8%,且消融实验表明瓶颈在于检索而非推理。 两项针对专业 SDR 的研究验证了该指标,显示仅 48% 的生成话术无需编辑即可使用。

  9. arXiv · AI41

    PlaySuite:面向交互式视觉智能的大规模基准

    PlaySuite 提出包含 5000 余款开源游戏的大规模基准,用于评估动态环境下的交互式视觉智能。 该基准支持 Pygame、Godot 和 Unity 引擎,开发统一闭环交互框架,并采用 Video-LLM-as-a-judge 协议。 对 14 个开源模型的评估揭示了感知-行动差距,当前模型在空间定位和动作执行上表现不佳。

  10. arXiv · AI32

    ScienceClaw:跨自然与社会科学评测 AI 科学智能体持续自我进化的基准框架

    提出固定参数程序自我进化框架 ScienceClaw,将任务求解、科学验证与程序更新统一,旨在解决已验证执行难以转化为持久程序改进的问题。 基准评测集 ScienceClaw-Eval 覆盖 23 个学科,通过顺序任务流和独立重置评估,衡量科学正确性、进化收益、保留率、跨数据集迁移能力及进化成本。

  11. arXiv · AI31

    ChartBmkAgent:基于 Harness 治理的多智能体图表问答基准构建框架

    ChartBmkAgent 利用多智能体架构从稀疏错误分类规范生成图表问答样本,在 300 个样本中展示了 MLLM 准确率从 32.7% 到 84.3% 的差异。 其通过 Harness 治理确保样本对齐诊断目标,86.4% 的样本通过评估模型验证,实现了针对特定能力缺口的数据生成。 该方法缩短了基准开发周期,为调查多模态大语言模型的新能力差距提供了可定制的诊断证据。

10月7日周三
  1. LessWrong · All Posts57

    Jev 在无思维链 LLM 基准中的性能评估

    作者使用 ThinkFast 无 CoT 测试集和 NCRI 基准对 TypeSafe 的非自回归模型 Jev 1.13 进行了测试。该模型在破坏与藏拙检测的 AUROC 上匹敌 GPT-5.5 和 Opus 4.7,成本约为 Opus 4.7 的 1/200,但在多步推理任务上表现较差,排名靠后且水平约等同于 GPT 3.5。

  2. Hacker News LLM41

    尝试复现 LLM 裁判的位置偏差:证据显示 GPT-5.6 Sol 未表现出系统性偏差

    一项受控研究尝试复现 LLM 裁判的位置偏差,结果在 20 个提示中,19 次反转顺序后底层获胜者保持不变,未发现系统性或方向性位置偏差。 实验使用 GPT-5.6 Sol 通过 ChatGPT 对两个本地候选模型生成的冻结响应进行成对评判,采用贪心解码和 8-bit 量化,生成上限为 256 tokens。

  3. arXiv · NLP31

    SubtleMemory: 面向长周期 AI 智能体细粒度关系记忆辨别的基准

    研究团队发布 SubtleMemory 基准,旨在评估长周期 AI 智能体在下游任务中对细粒度关系记忆的辨别能力。 该基准包含 1,522 个评测实例,基于 1,090 组关系控制记忆变体,涵盖互补、细微或矛盾的关系。 测试显示当前系统在细粒度关系记忆辨别上表现薄弱,该工作已被 EMNLP 2026 Findings 收录。