跳到正文
11月17日周二
  1. arXiv · AI23

    基于统计校准视角的人类-AI 团队协作研究

    该研究从统计校准角度分析了人类-AI 团队中人类与 AI 模型均具备校准属性的假设。 理论及实证结果指出,现有预测组合方法无法保留人类的校准度,而预测委托方法虽保留下游预测器校准度,但要求决策拒绝模型具备更精细的校准以识别成员优势区。当人类依赖系统无法观测的信息时,这一要求将变得不可达成。

  2. arXiv · ML23

    大语言模型推理轨迹探测:七款开源模型在四个基准上的表现分析

    研究团队提出一种轨迹探测协议,通过截断并重新注入部分推理轨迹来评估模型预测答案的动态变化。 该协议应用于 Qwen3-4B/8B/14B、gpt-oss-20b/120b 等七款开源模型及 GPQA Diamond、MMLU-Pro 等四个基准。结果显示准确率随推理 token 比例增加而提升,且强模型常复现弱模型的错误,但允许进一步推理可显著恢复正确率。

  3. arXiv · AI33

    LLM 在有限元分析科学编码中的表现:基于扩展 FEM-Bench 的实证研究

    研究团队扩展 FEM-Bench 至 17 项有限元任务,并评估 15 个 LLM 模型在无执行反馈下的代码生成能力。 最佳单次实现成功率达 87.1%,但 Claude Opus 5 结合 SimpleAgent 在 Pass@3 指标上表现最优。分析显示测试覆盖不足是主要错误来源,分离 coder 与 tester 的探索性配置取得了 97.6% 的 Pass@3 最高分。

  4. arXiv · AI21

    计算与推理市场:结构、融资与风险转移

    大型语言模型算力租赁与Token输出市场已建立价格指数及衍生品交易,CME和ICE已制定期货合约。 研究发现合约结算价基于短期租赁率,而非运营商主要收入来源的长期私有合同价格;Token价格与租赁率通过吞吐量关联但风险敞口不同,GPT-5在十二个月内最低列表价下跌17倍。

  5. arXiv · ML67

    使用 Claude 复现权重空间编程研究

    作者使用 Claude Opus 5.5 复现了 Takehi 等人关于 GPT-6 Astra 的权重空间编程核心研究。Claude 成功从权重中识别 Atari 游戏并找到复制头,在 4/5 环境中超越 PPO,并利用 Qwen3.5-0.8B 的权重将 MATH-500 准确率提升至 58.1%,但其对训练数据的回答常受先验影响。

    推荐理由:作者通过十项预注册实验复现了权重空间编程研究,展示了模型在不训练条件下修复网络与推理的具体边界。

  6. arXiv · AI40

    SciResearch-Eval:评估自主实验智能体科学判断的基准

    引入基准SciResearch-Eval,首个结合自主实验设计与故意缺陷模拟器的科学判断评估集。 在93个任务、2511次测试中,模型常因忽视模拟器缺陷而报错,但95%置信区间覆盖真值的频率远低于预期。 Claude 5.5在最大算力下性能提升超10倍,而GPT-6 Astra和Claude Fable 5.2在默认设置下表现更佳。

  7. arXiv · AI60

    Turing Agent: Agentic Formal Verification for Mathematical Research 提出

    研究人员提出 Turing Agent,一个用于编排研究级数学形式化验证的智能体系统。Turing Agent 利用结构化证明分解和并行验证,在 Formal TCS Bench 上的忠实形式化成功率约为 57-62%。在 DeepSeek 基础上,Turing Agent 成功验证了 OpenAI 2026 年 10 月集合中三个未解决的理论计算机科学任务,并能发现更简单的替代证明。

    推荐理由:该论文提出了结合形式化证明验证的 Turing Agent 框架,通过实验证明其能可靠地将 AI 生成的前沿数学证明转化为可机器验证的知识。

  8. arXiv · AI44

    Razavi-Bench 基准追踪 AI 在模拟电路推理上的进展

    研究提出 Razavi-Bench 基准,用于评估多模态大语言模型在模拟电路分析上的能力。 在 2024 年 5 月至 2026 年 11 月间发布的 73 个模型中,最高得分从 28.83% 跃升至 98.33%,仅用 30 个月。 当前主流模型几乎能正确回答所有教科书级问题,仅剩的难点在于那些看似常规但实际运作不同的电路。

  9. arXiv · AI26

    AGPV 通过智能体引导过程验证提升数学推理自纠正准确率

    AGPV 在五个数学推理数据集上实现平均准确率 63.8%,较最强基线提升 13.5 个百分点。 该方法将解题分解为关键声明序列,结合共享数学工具箱与完整性验证,证明了在覆盖充分时的正确性保障。 评测涵盖 DeepSeek、Qwen 及 GPT 四个模型,显示 AGPV 的修复覆盖率高于程序化验证基线。

  10. arXiv · NLP25

    多语言证据下事实核查 LLM 的鲁棒性评估

    针对多语言事实核查场景,研究构建包含英语、德语等 190 条声明的数据集,测试模型在证据缺失或误导下的表现。 实验表明,误导性编辑使 Llama 3.1 8B 的英语准确率从 80.00% 跌至 16.84%,且低资源语言性能下降更显著;机器翻译可部分恢复差距,但裁判评分衰减慢于准确率,显示自动评估低估了性能退化。 研究警告不应在嘈杂多语言证据上部署 LLM 事实核查,并开源了数据集与评估代码。

  11. arXiv · NLP34

    医学 LLM 评估中的自我偏好:裁判并非 impartial

    研究显示 LLM 裁判在医学评估中存在自我偏好,8 个模型在 13,760 次判断中均倾向于给自身生成的答案更高排名或分数。在 Real-POCQi 测试中,合并后的 Answer Rank Bias 为 +1.22 位置,揭示生成者身份仅使该偏倚平均减少 0.094 位置。临床 AI 部署应使用多模型裁判小组以增强评估公正性。

  12. OpenAI (X)44

    OpenAI 推出 20+ 医疗插件强化智能体能力

    OpenAI 发布 20+ 医疗插件并升级 Computer-Use 智能体,以提升临床答复质量。 @AbridgeHQ 与 @CVSHealth 等机构已在先验授权、转诊及出院计划等环节应用相关模型。 此举旨在帮助医疗团队连接医学证据与实际工具,从而减少系统操作耗时,增加患者护理时间。

  13. OpenAI45

    ```json

    { "title_zh": "OpenAI:科学家如何使用 ChatGPT 进行前沿科研", "summary_zh": "OpenAI 探讨 1,800 多名科学家如何在研究中应用 ChatGPT。\n\n内容涵盖每日工作流程、生产力反馈及发现期望。" } ```

  14. OpenAI (X)68

    OpenAI 联合 Apollo Research 等机构开展嵌入式对齐评估

    OpenAI 宣布与 Apollo Research、METR、Transluce AI 和 Goodfire AI 合作开展嵌入式评估(embedded assessments),允许外部专家深入访问内部模型和系统以调查对齐问题并测试安全机制。这些评估建立在 OpenAI 现有的对齐与安全研究基础上,旨在通过独立审查来识别和管理系统风险。

    推荐理由:原文披露了OpenAI与多家外部机构合作开展嵌入式评估的计划,展示了其引入独立专家审查对齐与安全保障的新机制。

11月16日周一
  1. arXiv · NLP36

    LLM 身份指纹的传染性:模型如何继承前序对话者的特征

    研究发现 LLM 身份指纹具有传染性,模型会继承前序对话者的特征,导致 API 中继审计失效。 DeepSeek 替换 Claude Sonnet 时,检测器识别率从 0.97 降至 0.72;Haiku 降级后从 0.87 降至 0.54。 提出的 Lineup 方法通过对比相同历史下的参考分布进行审计,假阳性率为 0.056,有效识别 0.81 的替换会话。