跳到正文
11月13日周五
  1. arXiv · NLP43

    LLM 长期记忆中的时态扁平化现象

    研究指出,LLM 代理的长期记忆常将进行时用户事实扁平化为一般现在时,导致“时态扁平化”现象。在名为 LAPSE 的基准测试中,三个生成模型在 381 对样本中的 210 对里保留了时态差异,且 11 个测试模型均显示此单向丢失现象,该结果同样存在于 mem0、Graphiti 和 Letta 系统中。

  2. arXiv · NLP20

    跨厂商与版本模型行为低成本评估方法

    研究者提出一种简单、廉价且可复制的模型行为评估框架,单次实验成本低至每个模型几美元。 该方法在四年来的前沿及开源实验室模型发布上运行,通过精确匹配、LLM 评审代码本及仪器化环境三种方式读取结果。 研究识别出模型行为的收敛性、对特定提示的抗性、随代际变化的立场坚持特性,以及编码智能体在不同运行环境下的账户一致性差异。

  3. arXiv · AI28

    控制 AI 系统部署前测试中未知未知概率的算法

    研究人员开发了一种算法,用于认证在 AI 系统(如 AI agents)部署前测试中,观测到未见失败模式(unknown unknowns)的概率已足够小。该算法构建了一种 anytime-valid 的置信上界序列,允许开发者在测试过程中反复检查界限,并在其低于预设阈值时停止测试,而无需破坏统计保证。

  4. arXiv · AI31

    Science Prediction Universe (SPU) 基准发布,评估智能体在隐藏实验结果中的预测能力

    Science Prediction Universe (SPU) 基准包含 100 个公开任务和 16 个私有任务,评估智能体对实验结果排名的预测能力。 测试 13 种智能体配置和 12 个前沿模型,公开基准上任务调整后的斯皮尔曼相关系数从 0.227 到 0.478 不等。 分析显示,科学判断而非工具执行是瓶颈,智能体相互一致性(0.52)高于与实验现实的一致性(0.33)。

  5. arXiv · NLP25

    Jev 作为多语言评估裁判的表现评估

    研究对比了 Jev 与生成式 LLM 在四个多语言基准上的表现,覆盖 47 种语言。Jev 评估成本仅为 GPT-6.1 的 1/31 至 1/61,在多数任务中具有竞争力,但在知识密集型验证上落后。 Jev 在低资源语言中更易接受错误答案,其概率输出有助于识别错误。研究据此提出评估指令、基于置信度的选择及模型路由建议。

  6. arXiv · ML27

    SO-Arena:基准测试 System One 模型的能力谱系与决策可靠性

    研究人员发布 SO-Arena 基准,用于评估 21 个 System One 模型在 11 个领域及 5 种能力家族中的表现。 该基准通过受控选项集变化测试决策稳定性,并考察无有效选项时的识别能力,发现性能最强的模型在可靠性排名中仅列第七。 研究指出整体高分不必然意味着决策可靠,需将能力谱系与可靠性作为互补维度进行系统评估。

  7. arXiv · ML48

    聚合准确率掩盖了医疗视觉语言模型的诊断特异性失败

    审计显示5个开源医疗VLM在气胸检测上暴露严重缺陷,聚合准确率掩盖了单病种诊断的完全失败。 HuatuoGPT-Vision和Qwen2.5-VL在气胸病例上检测率为零,而MedGemma检测率为38%,该失败在独立数据集上复现且非由提示词或模型规模导致。 需报告各病种的召回率与特异性,以区分模型是否真正识别了特定医疗发现。

  8. arXiv · ML31

    ORBIT:评估 LLM 在 IT 运维推理能力上的证据导向基准

    ORBIT 是一个包含选择题、开放题和故障排查三种格式并附带参考答案来源的 IT 运维基准。审计发现约 1/10 生成题目存在模板缺陷,被剔除后故障排查格式基于真实从业者线程重建。5 个 LLM 在独立评审下多数选择题答对,开放题答对率介于 1/3 到 50%+,故障排查题正确率较低;ORBIT 旨在辅助选择和监督助手而非部署测试。

11月12日周四
11月11日周三
  1. Hacker News AI56

    GnollHack 如何用 .NET MAUI、Avalonia 和 31 个工具实现 AI 顾问

    芬兰非营利团队 Sound Mind Games 将 50 万行 NetHack C 引擎封装进 .NET MAUI 和 Avalonia 中,实现了跨六大平台的图形化重制版 GnollHack。团队构建了游戏内嵌的免费 AI 顾问 Gnoll Overseer,集成 31 个工具并支持前端模型查询;同时开发了 GnollBench 基准,以实际游戏提示和工具测试模型在高风险场景下的准确性。

  2. Hacker News AI34

    我们需要在 LLM 能力评估中引入更多科学严谨性

    作者指出社区常依据主观个案结果而非科学评估判断 LLM 能力,易受“p-hacking”或“HARKing”等行为误导。 LLM 擅长处理训练数据充足的领域(如常见游戏代码),但在 Zig 等数据稀缺领域表现不佳,且直接代码翻译存在诸多未覆盖的边界案例。 作者主张 LLM 开发者应设立严格假设,避免将模型对存量数据的复述误判为泛化创新能力。

  3. IT之家42

    IDC 报告显示,2026 年上半年中国液冷服务器市场收入同比增长 153.1%,交付单元正从单台服务器转向整柜系统。

    当前采购呈现高密度算力集成趋势,互联网企业占比 65.6% 为最大买方,冷板式液冷占比 90.2%。随着推理负载占比上升及 AI 智能体应用爆发,算力消耗放大;中国整柜交付比例目前为 5.0%。 增量价值正向高配置算力系统集中,液冷增长驱动因素涵盖 AI 计算需求与供给约束。

  4. arXiv · NLP45

    ARE-bench:在真实研究会话与工作区中评测 Agent 研究能力

    ARE-bench 发布 75 个基于真实研究者项目的任务,涵盖 7 个研究阶段、33 项需求及 1173 个二元检查项。 在七个前沿模型中,最强模型仅通过 66.2% 的任务所有检查项;一旦加入历史与工作区上下文约束,通过率骤降至 28.4% 至 40.0%。 这表明忽略上下文要求的评测会高估研究 Agent 的真实交付能力。

  5. arXiv · NLP33

    LLM 验证使最小对基准测试对语言模型更易通过

    LLM 验证使最小对基准测试对语言模型更易通过。在 BLiMP 和 QFrBLiMP 数据集中,10 个开源大语言模型(LMs)在预注册 LLM 过滤器标记的项上比接受的项难 18.9 分,且所有 70 种 LM-验证器组合均显示标记项更难。该过滤去除了 LMs 失败但人类未失败的项目,使准确率提升超过随机去除。

  6. arXiv · AI47

    SciConBench 揭示健康领域 AI 智能体科学结论综合能力不足

    针对健康领域 AI 智能体结论综合能力的未知,研究提出 9.21K 问题的 SciConBench 基准,并配套 SciConHarness 隔离环境以防止数据泄露。 在清洗后的评估中,前沿模型表现不佳,最佳智能体事实 F1 仅 0.337,远低于无约束环境下的估计。 研究还发现 Google AI Overview 等消费级产品常生成不完整甚至矛盾的结论,表明可靠科学综合仍面临重大挑战。