跳到正文
10月26日周一
  1. arXiv · NLP26

    MISCONCEPTDIALOGUE 揭示 LLM 数学辅导评测标准决定结果:不同评分方法差距达 39.2 个百分点

    MISCONCEPTDIALOGUE 框架在 5000+ 轮对话中对比评测 7B-14B 开源 LLM 数学导师。 基准 exact-match 仅 42.1% 成功率,而人类校准 LLM judge 达 81.3%,差距 39.2 个百分点,超过导师模型、教学策略和诊断信息的综合影响。 多判官收敛(kappa 最高 0.91)表明评分标准本身比模型能力更影响结果,评估需多标准多判官加人类锚定。

  2. arXiv · AI33

    EvalCards 提出标准化评测报告框架以解决 GPAI 评测可复现性、可访问性与问责制问题

    针对通用人工智能(GPAI)模型评测报告普遍存在可复现性、可访问性和问责制不足的问题,研究者提出 EvalCards 框架。该框架基于对现有报告缺陷的综述,确立了关键维度并提供了简洁评测摘要的初步格式。EvalCards 旨在为未来评测报告标准的制定提供指导,提升评测报告的透明度与一致性。

  3. arXiv · AI32

    LGMT:用于测试 LLM 逻辑推理可靠性的开源工具

    LGMT 是一款开源工具,通过基于一阶逻辑的变形关系检测 LLM 逻辑推理中的不一致性。它无需真实标签,生成逻辑等价的后继测试用例并对比模型蕴含预测。 该工具内置 20 种变形关系,支持 Z3 定理证明器验证自定义关系,提供 CLI 和 Web 界面。在 6 款常用 LLM 的 3,091 个基准测试组中,检测出的不一致率介于 20.84% 至 29.44% 之间。

  4. arXiv · AI43

    TraceTrial-Bench:AI Agent 框架可靠性与故障归因基准

    TraceTrial-Bench 提出包含 95 个任务的新基准,用于评估 AI Agent 框架(harness)的可靠性与故障归因。 该基准涵盖上下文、执行、治理等七个组件,通过 3,420 次运行数据显示,框架得分在 59.8% 至 72.0% 之间,且 31.1% 的运行在框架失败情况下仍实现了任务成功。 其设计为对比框架、诊断故障及研究框架与模型交互提供了可审计且可复现的基础。

  5. arXiv · AI30

    SWE-Shift:评估演化工作区中编码智能体的基准测试

    SWE-Shift 基准测试评估编码智能体在执行任务期间应对工作区动态变化的能力。 该基准包含 120 个场景、12 个变化族及 9 个干预点,成功标准包括完成当前任务、保留有效工作及满足状态检查。 对 17 个系统的测试显示,所有系统在“偏移”条件下的成功率均低于“干净”条件,且工具变更导致所有系统配对成功率为零。

10月25日周日
10月24日周六
  1. IT之家73

    中国信通院:6 月国内词元日均消耗量约 500 万亿,是 2025 年 12 月的近 4 倍

    据中国信通院,2026 年 6 月国内词元日均消耗量约 500 万亿,是 2025 年 12 月的近 4 倍。其发布的《大模型词元服务性能监测报告(2026 年)》显示,8 月国内模型平均 TPS 为 78.23 个/秒,较 2025 年均值翻倍但仍低于国外的 112.82 个/秒;国内词元服务均价涨幅接近 1 倍,而 1M 上下文模型占比已达 47.8%。

  2. 36氪81

    Kimi K3.1 Pro 发布,全球智能指数升至第4

    Kimi K3.1 Pro 发布,Artificial Analysis 显示其全球智能指数升至第4,总分55分,较前代提高11分。Terminal-Bench 4.0成绩从13%升至65.7%,接近Opus 5.5。文章还实测了文字到Blender再到网页的3D资产生成,以及Excel财务模型和金融分析工作流。

    同一新闻,精选展示《Kimi K3.1 Pro发布实测:性能逼近前沿闭源模型,支持 3D 创作与长程编码》

  3. 量子位80

    高德发布首个基于开放世界行为的全身基座模型 λ0

    高德发布首个基于开放世界行为的全身基座模型 λ0。该模型仅依靠人类行动数据实现机器人零样本全身动作对齐,真机任务成功率较最强对比基线提升 22.5%,数据采集效率约为主流方法的 3.4 倍。项目已在 GitHub 开源相关代码,并在 HuggingFace 上线 HumanVerse 数据样例。

    推荐理由:该基座模型仅靠人类全身数据实现机器人零样本全身动作对齐,其简化采集管线的结果可供评估具身智能的数据替代上限。

  4. 量子位86

    国产5B参数生图模型MOSS-Image开源发布,海外社区4天下载破130万

    模思智能和OpenMOSS团队开源MOSS-Image,4天收获130万次下载并引发社区大量衍生开发。该模型基于5B参数DiT主干,重点优化中英文文字渲染与Layout控制,支持4096 tokens长提示词,并采用国产PPU算力平台完成训练。

    推荐理由:5B参数DiT架构与原生Layout控制是核心变量,为复杂图文设计提供了可量化的落地方案。

  5. Hacker News LLM63

    LLM 评审通过存在缺陷的 UI 渲染:植入缺陷的测试发现

    作者构建了一个将 Figma 设计转为 React 组件并由多模态模型打分的管线,使用固定缺陷(如 font-semibold 改为 font-normal)和 Cloudflare Clef 测试了评分的稳定性,发现 0.85 的评分门限无法区分正常与有缺陷的渲染,并建议将门限提高至 0.88 且结合 Clef 的二元检查以改善验证准确性。

10月23日周五
  1. arXiv · AI45

    ProductWebBench:评估超越任务完成度的网站连续性

    论文推出 ProductWebBench 基准,在 320 个变更任务和 80 个长期构建任务中评估前端编码代理的网站连续性。 基准基于 8,737 次运行和 13 个模型测试,发现 28.2% 通过目标检查的运行仍存在连续性故障,18.3% 破坏了已验证状态。 ProductWebBench 通过冻结快照和确定性检查,实现对动态系统中补丁影响的精确溯源。

  2. arXiv · ML25

    苹果芯片 LLM 推理优化的适用性评估

    研究评估了 KV-cache 修剪、推测解码、内核移植和量化在苹果芯片上的表现,发现其收益高度依赖硬件与负载。 KV-cache 修剪在苹果平台上最高可达 1.75 倍吞吐,但推测解码在单请求解码下反而降低性能。该论文已被 NeurIPS 2026 设备端智能(ODI)和 SLM 代理系统(SLM-Agents)研讨会接收。

  3. arXiv · ML21

    基于对偶最优性的强化学习真值优先基准测试框架:从平滑全观测系统到非平滑或部分观测任务

    提出一种基于对偶最优性的真值优先基准测试框架,通过预置认证最优值函数和策略进行评测,避免传统相对排名依赖奖励设计。 框架统一了敏感性基准测试和参考预言机比较模式,适用于串行平面机械臂和非完整车辆等任务,支持非仿射接口和部分观测评估。 该框架消除外部积分选择干扰,实现了对非平滑和部分观测任务的严谨评测,代码与诊断工具已公开。

  4. arXiv · NLP20

    基于语言学维度的TTS自动评估基准揭示MOS预测器与Audio-LLM裁判的局限性

    研究将语音自然度解构为10个语言学感知维度,构建首个包含860条语音片段的TTS元评估基准。实验显示,MOS预测器更敏感于韵律和副语言声学属性,Audio-LLM裁判则呈现依赖提示词的选择性检测,偏好识别词级错误。两类模型均无法可靠捕捉广泛的语言结构语音错误,相关数据集与评估代码已公开。

  5. arXiv · NLP32

    CARTE:一个映射大语言模型跨法国区域知识能力的基准测试

    研究团队推出名为CARTE的多项选择基准测试,用于评估大语言模型对法国13个大区及12个主题领域的细粒度地理知识区分能力。该基准包含3132道题目,经过人工与模型混合的四阶段验证,并涵盖评估32个1B至30B开源模型及3个前沿API模型。实验结果显示,不同模型规模和区域间存在显著性能差异,揭示了预训练数据在国别内部地域变异上的覆盖缺口。

  6. arXiv · NLP20

    OmniDR-Bench:针对以视频为中心的深度研究报告的智能体评测基准

    针对当前深度研究智能体未评估以视频为中心的研究报告生成的局限,arXiv 论文提出了 OmniDR-Bench 基准。该基准包含 50 个中英文任务、6,414 条原子评估标准,旨在测试视频定位、多模态证据检索及交互式报告生成。 在测试的 18 种智能体配置中,最佳系统得分为 63.3/100。结果指出当前智能体仍存在内容覆盖面不足、跨模态因果逻辑分析及引用准确性欠缺等问题。

  7. arXiv · NLP33

    StateTrack-Bench 揭示长对话中 LLM 状态完整性崩溃特征

    研究提出 StateTrack-Bench 基准,发现大模型在长对话中出现“状态完整性崩溃”,即保留约束记忆但停止应用。 在 7 个模型快照上,联合保持率介于 62.4% 至 100.0% 之间;88.6% 的失败源于行为漂移而非遗忘。 结构化状态锚定(Structured State Anchoring)在不可变约束上最多可恢复 24.4 分,表明单轮遵循无法推断长程可靠性。