跳到正文
10月16日周五
  1. arXiv · AI33

    Kolab:长流程工作中人机协作的基准测试

    Kolab 数据集包含 50 名来自 40 个职业的专业人士与 AI 智能体协作的 115 小时屏幕录制及质量判断。 该基准测试智能体预测专业用户采纳、修改或拒绝贡献的能力,并评估协作质量。 前沿模型高估了与专家的协作效果,难以区分高、低质量协作,Kolab 为此提供了真实数据支持。

  2. Hacker News AI52

    161家AI训练数据与RL环境供应商目录发布

    whosellsdata.com发布了包含161家AI训练数据和强化学习环境供应商的无排名目录,支持按数据源和业务领域筛选对比。该目录详细列出了包括AfterQuery、Centific、Mercor在内的多家供应商提供的训练数据集、评估基准、RL环境及仿真服务,部分条目还附带有融资额度和最后核实日期。

  3. arXiv · AI45

    OmniStepBench:面向部署的多模态与任务复杂度智能体评估基准

    OmniStepBench 提出了一种面向部署的智能体评估基准,旨在超越静态答案正确性,重点评估多模态感知、多步执行、工具使用及工件交付。该基准基于 OpenClaw 执行环境,将 22 个来源基准的 233 个任务组织成 2x3 工作负载矩阵,并在统一的基于契约的协议下进行评估。

  4. arXiv · AI38

    3R-Bench 评估 LLM 对话上下文对网络安全协助边界的影响

    研究团队发布 3R-Bench 基准,包含 150 个真实网络安全请求,评估 8 个 LLM 在直接提示及两种预设对话场景下的表现。 直接请求时合规率为 75.3%,在被拒绝先例后降至 57.8%,在接受先例后升至 81.0%;中性或失败对话使合规率从 74.2% 降至 57.2% 至 60.3%。 这些结果说明 LLM 的网络安全协助边界随对话历史动态变化,需超越直接请求拒绝率进行评估。

  5. arXiv · AI35

    Doc2Harness:大语言模型在编码智能体长时程框架工程中的基准测试

    研究者提出双阶段基准 Doc2Harness,用于评估大语言模型构建编码智能体“框架”(harness)的能力,而非仅测试下游任务成功率。 基准在 19 个前沿模型上运行 328 个测试用例;GPT-6 Astra 通过率最高为 53.05%,最弱模型仅 27.44%,且失败多集中在跨模块功能划分上。 这是首个针对长时程框架工程的确定性基准。

  6. arXiv · AI33

    GraceBench:移动 GUI Agent 执行稳定性诊断基准

    研究提出 GraceBench 框架,利用 UI 转换图(UTG)对移动 GUI Agent 进行步骤级执行稳定性诊断。 GraceBench 包含 169 个任务、10 个应用及 2,909 个 GUI 状态,涵盖 3,718 条轨迹,指标包括偏差率与恢复能力。 评估显示 GPT-5.6 Sol 成功率最高但恢复能力最低,51.24% 的成功轨迹包含偏差或循环。

  7. Hacker News LLM32

    Model Atlas:使用能力权重对比 LLM 基准测试

    Model Atlas 工具通过设置能力权重来对比特定模型配置下的公开基准测试结果。 截至 2026 年 10 月 15 日快照,索引涵盖 134 个基准测试族、12 项能力及 730 个观测记录。 该工具支持通过筛选开源模型保持排名不变,并明确区分来自不同发布页面的独立测试数据。

  8. Hacker News AI23

    路由器成为 AI 堆栈新原语:Vals 独立评测揭示模型选择潜力

    Vals 指出 AI 路由器作为新原语,通过为每个请求动态分配模型以平衡质量、成本与延迟。其模拟最优路由器在 Vals Index 上比最佳单模型性能高 14 分,成本降低 40%。 现有基准测试难以评估长周期智能体任务中的路由决策,无法反映缓存成本与错误恢复机制。 Vals 计划开展独立比较,通过私有长周期任务测试各路由器在真实专业领域的表现。

10月15日周四
  1. Mistral AI80

    Mistral 发布 Timestral 时序基础模型

    Mistral 发布首个时序基础模型系列 Timestral,提供 5M、28M、123M、209M 四档模型。209M 模型在 GIFT-Eval、TIME 和 fev-bench 三项基准上排名第一,参数量仅为此前最优模型的三分之二,并支持概率化多变量预测、past-only 和 known-future covariates。

    推荐理由:209M参数的时序基础模型在三项公开基准中取得第一,并支持概率化多变量预测与CPU端部署。

  2. 机器之心78

    Artificial Analysis 发布 AA-Robotics 榜单:通用大模型操控机械臂效率远落后于人类基线

    Artificial Analysis 发布 AA-Robotics v0.1 评测,测试 GPT、Claude、Gemini 控制真实机械臂完成八项任务的能力。结果显示 GPT-6 Astra 总分最高为 69.4 分,但完成单任务平均耗时约半小时,比 20 秒的人类基线慢近两个数量级。测试表明通用模型在复杂物理交互和纠错能力上仍不稳定,且调用成本较高,专用具身模型仍有价值。

    推荐理由:评测给出了通用大模型操控机械臂的效率与成本基线,有助于判断专用具身模型的替代空间。

  3. 千问大模型75

    WMT26机器翻译大赛结果:Qwen-MT-Lumen与Wayfinder获多项冠军及最佳系统

    WMT26评测中,受限赛道模型Qwen-MT-Lumen在23个细分领域获18冠3亚,被评Clear Winner;全赛道系统Wayfinder获5冠4亚,为唯一Best System Overall。Qwen作为基座被9个参赛系统采用,居首。

    推荐理由:报告给出了14B模型与Agent系统在WMT26的具体名次和技术路径,为判断翻译模型轻量化与多智能体协作的落地效果提供了直接依据。

  4. arXiv · NLP23

    MasalBench:评估 LLM 对波斯语谚语的语境与跨文化理解基准

    研究提出 MasalBench,用于评估 LLM 对波斯语谚语的语境与跨文化理解。测试 8 个 SOTA LLM,语境识别准确率超 0.90,但识别英语等价谚语时表现显著下降,最佳模型准确率为 0.79。 该基准揭示了当前 LLM 在文化知识、类比推理及低资源语言方面的局限,提供了评估其他低资源语言跨文化理解的框架。

  5. arXiv · ML20

    MAPLE:用于评估LLM的参数化知识提取多轴透镜

    研究提出MAPLE框架,以评估知识提取增强(KEE)技术对大语言模型的影响。 MAPLE在表层、概率层和采样外层解耦效应,通过测量答案恢复、破坏及排名变化进行诊断。研究评估了OLMo2、Qwen2.5和Llama3三种模型家族的六种KEE技术。 结果显示不同技术间存在显著差异与权衡,表明MAPLE在超越整体准确率方面具有重要价值。

  6. arXiv · NLP30

    BANGLAPLAN:孟加拉语约束规划与决策评测基准

    研究团队发布包含1000道问题的评测基准BANGLAPLAN,专门用于测试LLM在孟加拉语环境下的约束规划能力。 该基准涵盖十类任务及四种语言变体,答案采用JSON格式。实验表明GPT-6.1 Sol准确率达98.7%,而多数直接回答配置低于“始终不可行”基线。 该基准为评估孟加拉语规划任务提供了可复现基础,并显示难题主要降低计划构建准确率。

  7. arXiv · ML31

    MA-Bench: 衡量大语言模型作战计划能力的基准

    MA-Bench 基于军事任务分析场景,包含 10 个合成文档包和 1257 项专家编写的通过/失败要求。 最优前沿模型在该基准的评分项中正确率为 62%;模型在事实陈述上得分最高(58%),在推断判断上得分最低(33%),且 60% 的失败归因于遗漏而非错误。 MA-Bench 已公开数据文档、评分规则、提示词及评分器。

  8. arXiv · NLP29

    PersEvalBench 评测 LLM 评估器对个性化信息适用的判断能力

    论文提出 PersEvalBench 基准,包含 403 个多集数场景,测试 LLM 评估器能否识别用户历史信息的恰当使用。 该基准覆盖过度个性化、不足个性化和误用状态三类共九种错误亚型。在五个 LLM 评估器测试中,即使拥有完整对话历史,其识别受控个性化错误的能力依然有限。 结果证实评估器常混淆错误方向,且简化证据呈现方式对提升识别准确率帮助甚微。

  9. arXiv · NLP37

    Chatbot Arena 中的 Luce 公理失效:相似模型与赔率断裂

    Chatbot Arena 基于 Bradley-Terry 模型的评分假设 Luce 选择公理,但分析显示该公理在近似模型间失效。 1.8 百万投票数据显示,同模型不同版本间的投票决断性比预测高 1.37 倍,且效果随模型相似度增加。 通过引入 4 至 6 个参数并重点建模平局的修正方法,在保留集上预测优于原有模型,但未显著改变排行榜顺序。

  10. arXiv · NLP25

    多语言摘要 LLM 评估:GPT-5.6 Luna 未保持孟加拉语优势

    该研究对 8 个 LLM 进行零样本基准测试,GPT-5.6 Luna 领先英文词汇指标,LLaMA 3.3 70B 取得最高 ROUGE 和 BLEU,Gemini 2.5 Flash 获最高孟加拉语事实性分数。 测试采用词法、语义指标及 LLM-as-a-Judge 评估,结果显示不同方法产生不同排名,单一指标存在局限。 这凸显了面向低资源语言需采用综合评估框架的必要性。

  11. Hacker News AI77

    本地AI模型基准测试:MiniSforum MS-S1 MAX 硬件下各大模型实测表现

    作者使用搭载 AMD Ryzen AI Max+ 395 和 128GB 内存的 MiniSforum MS-S1 MAX 设备,对多款本地部署的大语言模型进行代码能力基准测试。测试结果显示 Qwen3.8-27B 在编码任务中表现接近顶级云端模型,但响应速度较慢;Swift Q6_K 在速度优化后表现均衡;Gemma 4 在处理复杂代码审查任务时出现误报。

    推荐理由:该评测通过六项真实代码基准测试,量化对比了本地端侧大模型与云端模型在实际开发场景中的性能差异。

  12. Hacker News AI81

    Epoch AI 发布 SpireClimb 基准:评估大模型在 Slay the Spire 中的游戏能力

    Epoch AI 发布新基准 SpireClimb,通过视觉计算机使用框架评估 LLM 在 Slay the Spire 1 和 2 中的表现。前沿模型目前能在 StS1 基础难度达到 90% 以上胜率,在最高难度下 GPT-6 Astra 和 GPT-6.1 Sol 分别取得 17% 和 20% 胜率。测试还表明,StS2 作为较新游戏,模型表现未出现显著下降,显示通用策略推理能力正在增强。

    推荐理由:通过冻结 StS2 版本隔离训练数据偏差,该基准为量化 LLM 在视觉计算机使用场景下的即时通用策略推理提供了可复现方法。

  13. The Decoder67

    Google 称自我改进型 AI 仍遥不可及

    Google 工程师 Haydn Belfield 指出,自我改进型 AI 进展有限,DeepMind 尚未发现由 AI 驱动的 AI 研究加速。目前 AI 已编写超过 75% 的生产代码,但约 88% 的代码变更仍依赖人工审查。在内部基准 RE-Bench 上,Argon 解决了约半数任务,显著优于 Gemini 3.7 Flash 的 27%,但距离全自动化所需表现仍有差距。