跳到正文
11月19日周四
  1. Seven Minute Feed56

    Gemini 4 Carbon 修 bug 耗时近 1 小时,远超 Claude Opus 和 GPT

    Gemini 4 Carbon 在 Kernel 的基准测试中修 bug 耗时接近 1 小时,而 Claude Opus 和 GPT Astra 几分钟即可完成。开发者实测显示,Carbon 在低 effort 下耗时 22 分钟,Claude Opus 5.5 在高 effort 下仅 9.5 分钟。文章分析了导致这一速度差距的原因,并指出这是 Google 新模型 Neon 试图解决的问题。

  2. arXiv · AI27

    ARC-AGI 基准在人类流体智力研究中的初步效度验证

    研究对 ARC-AGI 基准在人类样本中的心理测量学特征进行首次检验,显示其与图形流体智力相关显著($\rho$ = .63)。 该研究基于 100 名参与者,发现 ARC-AGI 具有良好的心理测量学属性,但与图形独创性的关联较弱。 这支持了 ARC-AGI 作为人类流体智力测量工具的初步效度,并建议将 AI 基准系统嵌入人类认知能力网络。

  3. arXiv · AI23

    VideoACE:通过高帧率动作评估智能体视频理解的基准

    研究团队提出 VideoACE 基准,包含 1000 道多选题,涵盖六大类细粒度动作理解,并附带时序证据标注与经筛选的用户提示。 评估环境结合视频检查工具与用户模拟器,允许模型调整时间覆盖、采样密度及空间细节,并在模拟用户反馈下重新审视证据。 该基准测试了单通道观察、自主工具使用及结合用户反馈的工具使用模式,为探索固定观察设置之外的智能体视频理解提供了测试平台。

  4. arXiv · AI21

    SixthView:针对隐藏视图重建与 3D 装配推理的基准测试

    推出包含 602 个合成多立方体装配的基准测试 SixthView,要求模型根据五个正交视图预测第六个隐藏视图。 涵盖 2 至 10 个部件的装配体,采用精确网格评估,确保所有合法装配产生一致的隐藏视图。 在 552 项完整评估中,结合图像与精确文本的准确率范围 33.2% 至 85.4%,添加精确文本显著提升性能。

  5. arXiv · AI26

    EnvAgent 多智能体方法在云端构建科学环境

    ENVAGENT 框架通过多智能体协同合成、构建并验证仓库级 Docker 环境,在 54 个科学代码仓库的平均成功率上达到 43.5 个,显著优于 Codex 和 Claude Code 的 23.5 个。 该框架结合确定性工具与智能体规划,在 7 种语言测试集上执行 2,108 项加权检查,综合评分达 62.02,证明环境特异性智能体编排能提升自动化构建效率。

  6. LessWrong · All Posts31

    GPT-6.2 Astra 在 TASTE 基准上表现低于随机猜测,GPT-6 Astra 与 Fable 5.2 接近随机水平

    GPT-6.2 Astra 在 TASTE 基准测试中同意研究者判断的频率显著低于随机猜测,具体准确率为 35%。 GPT-6 Astra 的准确率为 41%,Fable 5.2 为 53%;鉴于测试包含 92 个配对,这两者均处于 40% 至 60% 的随机猜测预期区间内。 TASTE 基准发布于 2026 年 8 月,旨在评估 AI 模型在安全研究提案选择上与研究人员的共识程度。

  7. AWS Machine Learning Blog52

    Amazon SageMaker JumpStart 推出模型排行榜

    Amazon SageMaker JumpStart 推出模型排行榜(Leaderboard),在 SageMaker Studio 内统一对比 LLM 的质量、速度与成本。排行榜基于 BIG-Bench Hard、GPQA Diamond 和 MMLU-Pro 三项基准,覆盖 70 余款模型,支持使用用例画像与优化目标筛选,并可基于部署配置直接比较响应速度与成本。

  8. Hacker News AI76

    Supercite 测试 AI 推荐稳定性,84% 的答案次日发生变化

    Supercite 团队测试了 210 个购买类问题,发现 84% 的 AI 回答在次日推荐的品牌组合发生变化,其中 Gemini 变动率最高达 95%。分析显示,品牌在 AI 推荐中的稳定性高度依赖其被引用的基础页面(列表);出现在多个榜单中可显著提升品牌在不同 AI 引擎中曝光的稳定性,单一截图不足以代表 AI 推荐趋势。

    推荐理由:基于839个样本的跨引擎对比研究,为理解AI检索推荐的动态性及制定可见性策略提供了可参考的量化依据。

  9. OpenAI29

    OpenAI 模型推进芯片设计

    OpenAI 优化了 Jalapeño 芯片电路并改进 RISC-V 核心设计,展示了 GPT-6 Astra 在 AI 辅助芯片设计上的进展。 GPT-6 Astra 直接应用于具体芯片流片与核心架构优化环节,验证了大模型在半导体工程领域的落地能力。 此举标志着 AI 从代码生成向底层硬件设计的延伸,加速芯片研发流程。

  10. Hacker News LLM40

    AgentKombat:LLM 智能体 3D 竞技场,提示词即战斗风格

    AgentKombat 是一个基于 3D 竞技场的 LLM 基准测试平台,用户接入 Claude、GPT、Gemini 等模型,通过提示词定义策略进行回合制对战。 平台支持 11 种战斗角色与 9 种行动指令,引入 Elo 排名体系;获胜方分得奖池,支持 SOL 或免费积分下注,战斗日志可重放且模型密钥经 AES-256-GCM 加密。 ```

11月18日周三
  1. 量子位55

    InclusionMed 医疗健康AI独立评测平台正式上线

    全球首个医疗健康 AI 独立评测平台 InclusionMed 正式上线,并同步推出评测图谱 Atlas 和首期评测指数 Index。该平台由斯坦福、哈佛等29家机构共同建设,采用“角色×能力”九宫格定位基准;首期指数纳入1034项任务,对国内外11家厂商的22个模型进行独立复测与比较,重点考察临床诊疗与医疗管理能力。

  2. Hacker News LLM58

    BenchAudit:审计LLM基准测试的泄露、数据复用与执行环境缺陷

    BenchAudit 是一个审计 LLM 基准测试完整性的工具,通过评估测试数据隐私保护、内容新旧与来源、任务刷新频率及模型运行隔离度,将基准划分为 Tier S 至 D 的完整性等级。其界面提供各等级基准的横向对比、随时间推移的完整性衰减曲线以及领域污染分布,帮助用户识别容易因数据泄露或复用而失效的公开数据集,并筛选出仍在更新且隔离良好的可靠评测。

  3. arXiv · NLP30

    **title_zh**: TSW-NL:评估语言模型的荷兰语单词谜题基准

    **summary_zh**: 研究者提出荷兰语开放词汇基准 TSW-NL,包含 222 个实例,旨在通过确定性评分评估 LLM。 该基准源自 Wikipedia 消歧义页面,人工研究得分介于 49.5% 至 61.0% 之间,最高开源模型得分仅为 39.3%。 GPT-4.1 得分 59.2%,而 GPT-5.6 Sol 使用最大推理模式得分达 88.8%,显示闭源模型显著进步。

  4. arXiv · NLP26

    契约显式评估:从审计学习型读者到范围证书

    提出契约显式评估协议,解决文档级关系抽取(DocRE)及LLM裁判中排名在评分契约下反转且无法确定哪些比较有效的问题。 该协议基于Kendall秩相关分解,通过预注册五步流程生成分布无关普查证书。DocRE审计中3个标记实例上限为0.146;LLM裁判普查中12.25%的比较需对冲,边界0.124。 协议、地图及工件已发布,明确置信度证书在真实分数下被撤回的失效边界。

  5. arXiv · NLP36

    CrisisBench: 针对危机咨询 AI 的评估套件

    研究人员发布隐私保护评估套件 CrisisBench,旨在测试大语言模型在危机咨询中的风险管理与去升级能力。 套件包含 1085 个单轮任务及 23 项评估维度,经专家校准后用于评测五个 GPT 模型。 结果显示生成增强检索模型多轮得分最高(0.961),所有系统在过度共情方面均弱于人类咨询师。

  6. arXiv · AI41

    EMRD:面向关键安全场景下视觉语言模型就绪度的基准测试

    EMRD框架提出了一种评估视觉语言模型在关键安全场景下探索、映射、记忆和决策能力的基准测试方法。该框架将空间推理分解为四个阶段,并使用18个指标对11个开放和闭源VLM进行了评估。 实验在16栋建筑中进行,包括三种环境压力。结果显示,开放权重模型在95%的案例中未能访问所有房间,而闭源模型在添加外部记忆后表现更佳。 该基准测试为评估VLM在具身智能控制中的可靠性提供了重要工具。

  7. arXiv · AI29

    DiagTrace:用于临床决策的交互式基准

    研究提出DiagTrace基准,包含510个跨8个专科的案例,用于评估LLM在交互式信息获取中重建诊断轨迹的能力。 其中225个案例用于测试4种LLM的临床路径一致性、交互质量与效率。 结果显示模型在覆盖率、来源一致排序及轮次使用上存在权衡。

  8. arXiv · AI42

    SciWorkBench:面向真实科研工作流的基准测试

    研究团队提出 SciWorkBench 基准,用于评估智能体在生物学、化学等真实科研任务中的能力。 测试涵盖四大领域,由专家验证统一分析框架,并在 Claude Code 和 Codex 框架下评估最新模型。 性能最佳的智能体仅获得 57.38 的平均分,表明当前智能体在将科学知识转化为具体步骤及多模态证据整合方面仍存在显著短板。

  9. arXiv · AI32

    RehearsalBench 基准测试:评估 AI 预测企业运营变革后果的能力

    RehearsalBench 发布基准以测试 AI 预测企业变革后果能力,最佳模型 GPT-6 Astra 较无干预提升 6.8%。 十款模型在 14 个组织场景中完成 280 次尝试,平均预测正确但效应大小常高估五倍,且从未建议“不行动”。 外部验证中 12 款模型对 33 个真实变更的预测排名与现实排名相关系数达 0.92。

  10. arXiv · AI42

    ATLAS-Finance:在模拟银行环境中评估 AI 智能体的基准

    研究团队发布 ATLAS-Finance,这是一项包含 100 项端到端投资银行任务、横跨 13 家模拟企业的基准测试。 该基准由资深银行家基于真实交易工作设计,单个任务耗时 15-30 小时,评估标准包含中位 124.5 项细则。 当前最先进模型表现不佳,Claude Opus 与 Fable 在任务中的通过率均低于 11%。