跳到正文
11月16日周一
  1. LessWrong · All Posts37

    LLMs 在移除捷径后 TASTE 基准测试表现低于随机水平

    研究发现 TASTE 基准存在捷径,仅比较机械可解释性术语数量的简单策略即可达到 63.0% 准确率,优于所有受测 LLM。 移除捷径后,ECI 超过 158 的模型在剩余测试中准确率低于 50%,其中 OpenAI 模型平均准确率仅 29.6%。 数据显示模型性能随 ECI 增加而下降(Pearson r = -0.74),表明存在系统性偏差。

  2. Hacker News AI40

    基于数据库差异的 AI Agent 计算机操作基准测试发布

    新发布的 benchmark 通过对比任务前后数据库快照,评估 computer-use agent 在真实业务应用中的实际改动。该测试基于 635 个评分 episode,揭示版本升级导致的静默破坏及多步任务执行失败问题。 结果显示 Odoo 18 升级使附带损伤率升至 21%,三步复合任务成功率仅为 0/50,且 GPT-6 Luna 单任务成本低至 1-3 美分。

  3. arXiv · NLP26

    PerfArena 开源 LLM 代码性能竞技场

    PerfArena 发布开源 LLM 代码性能评测竞技场,基于正确性、时延、内存和能耗对 13 个模型进行跨语言排名。 在 10 个 CLBGComp 基准和 99 个 LeetCodeComp 问题中,got-6-astra 是唯一在时延、能耗和内存上未被显著超越的模型,且解决率分别达 100% 和 99.7%。 该榜单持续更新,帮助开发者依据性能指标而非仅价格选择 LLM。

  4. arXiv · NLP25

    追踪 LLM 中的知识与推理过程

    研究人员提出一种任务中心框架,结合注意力、激活和表征信号,用于刻画 16 个 LLM 在 24 个基准测试中的内部处理模式。 该框架揭示从检索主导到推理主导的连续谱系,并发现知识密集型与推理密集型任务存在系统性处理差异,有助于优化基准选择与模型评估。 代码已开源,论文被 TACL 接收。

  5. arXiv · AI30

    LLM 基准置信度信号的有效性筛查框架

    提出一种可移植的有效性筛查方法,用于评估 LLM 基准中置信度信号是否随正确率变化。 在 20 个前沿模型 452 题测试中,15 个模型信号有效,1 个无效,4 个不确定;1500 题 MMLU 测试显示判定依赖切分点。 该筛查分离了盲目自信、盲目撤回和反转,仅当信号可测量地追踪正确率时才标记为有效。

  6. arXiv · AI41

    ShopGym:电商 Web 智能体仿真与可扩展基准一体化框架

    ShopGym 框架通过 ShopArena 和 ShopGuru 组件,解决了电商 Web 智能体评测中真实感与可控性的平衡难题,实现了可重置、可检查的标准化评估环境。 验证显示,合成商店在 224 项任务中 6 个沙盒商店内的智能体成功率与真实店面高度一致,单店生成成本约为 60 美元。 该框架已入选 NeurIPS 2026 评测与数据集赛道,为大规模智能体行为分析提供了可扩展基础。

  7. arXiv · AI27

    AgenticPay 基准测试多模态 LLM 在商业多智能体谈判中的表现

    新基准 AgenticPay 评估多模态 LLM 在四类商业场景及多种市场拓扑下的自主谈判能力。包含 160 项任务,考察从双边到多边市场的协议达成质量。 最强模型 Gemini 3.1 Pro Preview 的 GlobalScore 仅 42.3/100;市场转向多侧时该分数平均下降 5.7 分。该基准为评估现实商业中的多模态智能体提供了测试平台。

  8. arXiv · AI53

    GDP.xlsx:评估前沿模型处理专业电子表格任务的基准

    研究团队发布GDP.xlsx基准测试,包含13个领域由专业人士撰写的70个真实职场任务及791项评估标准,用于衡量模型在专业电子表格处理上的能力。测试显示,20种模型配置中得分最高的Gemini 4 Argon仅通过38.3%的任务,中位得分仅为19.3%。研究团队已开放评估框架和3个公开任务,其余任务保留以防污染。

  9. LessWrong · All Posts53

    LLM在TASTE基准中因机理解释捷径表现低于随机水平

    在TASTE基准中发现机理解释相关提案通常得分较低,构建了一个基于术语数量的捷径基线,整体准确率达63.0%,超过所有被测LLM。在非机理解释的52对样本中,所有ECI大于158的被测模型在纯评分标准设定下准确率均低于50%,其中8个显著低于随机水平(7个为OpenAI模型),且OpenAI模型得分随ECI升高而下降(r = -0.74)。

  10. Hacker News AI69

    12个AI模型1200次编程观点实验显示模型高度趋同且缺乏对C#的讨论

    JetBrains研究人员询问12个最新AI模型关于编程语言的争议观点共1200次,结果显示模型观点高度趋同,75%为攻击性评价,Python、Rust和TypeScript成为主要靶标,而C#未获得任何专门讨论。模型在Go语言错误处理上出现分裂,部分模型甚至对同一问题给出相互矛盾的看法。

11月15日周日
11月14日周六
  1. 36氪67

    MiniMax H3-Image实测:狂卷字节、OpenAI,生图速度最快但复杂任务仍翻车

    MiniMax于11月10日开放H3-Image模型权重,主打10秒出图且价格仅为同档主流工具的50%-70%,与同期发布的OpenAI GPT Image 2.6和字节Seedream 5.5展开竞争。

    推荐理由:文章通过实测对比三家生图模型的速度与画质,指出MiniMax在低价开源策略上寻找突破,但能否解决复杂任务一次改对仍是关键。

  2. R/ArtificialInteligence55

    Seedream 5.5 与 GPT Image 2.6 生成AI网红照片对比:6组相同提示词、肤质噪点及单图成本分析

    作者测试了 GPT Image 2.6 和 Seedream 5.5 在 6 个场景下生成同一虚构人物的照片。GPT Image 2.6 单图成本为 0.086 美元,耗时约 63 秒,放大后能保留毛孔和雀斑等真实纹理;Seedream 5.5 单图成本为 0.028 美元,耗时约 30 秒,画面更干净平滑但角色一致性较弱。

  3. Hacker News AI78

    Village LLM Atlas 研究表明前沿 AI 达到同等能力的成本十年间缩短至数月

    Village 的 LLM Atlas 分析显示,匹配前沿 AI 能力所需的成本在数年内大幅下降。GPT-4 级别的工作从 2023 年的 88 美分降至当前不到 1 美分,o1 级别的工作成本从 2024 年 12 月的 2.68 美元降至不到 2 美分。

    推荐理由:原文给出了基于 LLM Atlas 的数据证据,展示了达到同等能力所需成本从年降至月速度的变化,读者可据此判断前沿 AI 的性价比演进。

  4. Hacker News AI72

    Artificial Analysis 发布端点准确率指数 1.1 版本,显示四分之一第三方 AI 端点性能低于官方基线

    Artificial Analysis 发布端点准确率指数 1.1 版本,对比了 100 多个托管端点与官方权重基线,发现约四分之一端点得分低于参考部署。1.1 版本将长上下文重复测试从 10 次增加到 25 次,平均 95% 置信区间从正负 4.7 点缩小至正负 2.6 点,并将覆盖范围扩展至 DeepSeek V4.1 Flash 1017、GLM-5.3 等六个模型。

11月13日周五
  1. arXiv · AI42

    FrontierOR: 评测大语言模型在大规模优化中设计高效算法的能力

    FrontierOR 是首个基于文献的大规模优化算法效率评测基准,包含 180 个任务。 评测显示最强 LLM 在 Full-set 任务上的成功率仅为 39%;在 Hard 子集上,引入自演化框架可将成功率从 51% 提升至 78%。 该基准提供持续维护的测试环境,代码与数据已公开,并被 NeurIPS 2026 接收。

  2. arXiv · AI23

    交互 LLM 系统中用户适应性对模型评估的挑战

    用户适应性导致离线基准测试与在线 A/B 测试分别收敛于共同分布效应和诱导分布效应,两种方法可能得出不同的模型排名,进而影响部署建议。 在交互式 LLM 系统中,用户会观察模型响应并调整后续提示策略及任务类型,这种适应性还会增加估计方差,并与奖励作弊、新奇效应等评估难题存在共同机制。

  3. arXiv · AI26

    DashBench 评测自动驾驶长尾场景下的 25 个 Video LLM

    研究团队推出 DashBench 基准,测试 25 个 Video LLM 在 1,709 个包含碰撞与非碰撞长尾场景(corner cases)的驾驶视频中的表现。 评测结果显示,所有受测模型在安全关键驾驶应用所需阈值下表现不佳,常误判或漏检危险事件,并幻觉出不存在的物体或动作。 该基准结合数据集与诊断工具,旨在推动更安全、可解释的自动驾驶系统发展,代码与数据已公开。