跳到正文
10月9日周五
  1. arXiv · AI50

    TestJack:通过评估器进化审计智能体编码基准的可信度

    TestJack 框架指出 34.4% 被判定正确的智能体试错实际违反任务要求,使整体解决率从 50.6% 降至 33.2%。 该框架针对固定单元测试无法检测隐性行为的缺陷,通过生成靶向测试并验证真值补丁,提供可重放的失败证据。 研究显示现有编码智能体评估存在根本局限,评估器需随 LLM 优化能力同步进化。

  2. arXiv · AI27

    Mine Odyssey 基准测试现实世界中的空间智能体能力

    Mine Odyssey 基准包含 180 个基于 Minecraft 现实地点重建的任务,覆盖五大洲 30 个地点。 任务涉及 20 个室外和 10 个室内场景,测试包括寻找入口、开门和使用楼梯等复杂导航能力。 在 8 个测试模型中,GPT-6 Astra 成功率达 85.6%,而最强的开源权重模型 DeepSeek-V4.1-Flash 仅 23.9%,显示当前智能体空间智能存在显著不足。

  3. arXiv · AI40

    OpenProblemBench:基于基础理论科学未解难题的AI基准测试

    OpenProblemBench 发布,收录82道来自数学和理论物理的未解难题,用于评估AGI超越既定知识的进展。 基准测试由四个评估模型独立判断解题正确性与进展,无标准答案。在7种配置评估中,GPT-6-Astra 平均解决率为14.0%,开源全尺寸模型为5.5%-6.7%。 该基准为探究AI作为基础理论科学贡献者的能力与局限提供了场景。

  4. arXiv · ML26

    评估评分标准生成的干预转移方法

    提出基于干预转移(IT)的评分标准生成评估方法,核心观点是若响应受扰动后通过/失败变化一致,则两个评分标准相似。 该研究在 HealthBench 案例中测试了 Qwen3.8-27B、Deepseek-V4-Flash 和 Opus-5 生成的标准用于评估 GPT-5.6-Terra 的响应,发现扰动导致的降级可转移,但升级不可靠,揭示了生成标准的非对称性。

  5. arXiv · NLP35

    105个语言模型“选词”测试:46%模型选择Serendipity

    105个语言模型在96个开放式提示中,46%选择了“serendipity”作为“选一个词”的答案。 研究使用96个提示、每模型测试8次,发现大型实验室模型集中度不低于全领域,且轻微后训练模型更具发散性。 在共享类别中,模型群体比人类更集中,监督微调是向群体答案靠拢的最大步骤。

  6. arXiv · NLP43

    AAArena 基准测试 AI 智能体在对抗游戏中的启发式学习潜力

    AAArena 基准引入 12 款对抗游戏与 1,920 个人类程序,测试 AI 智能体通过启发式学习优化策略的能力。 Opus 5.5 结合 Claude Code 在测试中斩获 6 枚金牌,但未能登顶其余 6 个人类榜单,复杂规则游戏中表现更弱。 实验表明对手选择与密集反馈有助于策略改进,智能体可从自身及他人对局回放中学习。

  7. arXiv · NLP41

    重新思考 LLM 评委可靠性:并非所有裁决都等价

    LLM-as-a-Judge 作为 NLP 评估标准范式,其系统性可靠性存在严重漏洞,裁决结果受位置偏差和温度设置显著影响。 研究对 6 个前沿模型进行审计,发现位置顺序交换会导致多数任务裁决反转,最确定性评委虽 100% 一致但与真值准确率仅 51%。 提出可信裁决率 T 指标,证明从成对胜率转向整体评分表能比单一提示词干预更显著提升评估可靠性。

  8. arXiv · NLP26

    多智能体 LLM 谈判中的宪法规则门控与确定性恢复

    针对多智能体 LLM 谈判中的合规死锁,研究构建了包含 5-Pillar 运行时宪章和认知退火的控制栈。 实验采用 Gemini 2.5 Pro 和 Claude Haiku 4.5 进行 30 次运行,数据显示确定性原子清除加规范罢工在 5 次死锁测试中全部成功,而纯 LLM 引导 0 次成功。 该方法在不增加额外模型调用成本的前提下,实现了从死锁状态的可靠恢复。

10月8日周四
  1. arXiv · AI35

    MiniScope 通过任务中心分层权限模型,将模拟权限确认次数降低 43.4%-89.4%,并在 ChatGPT 与 Claude 中发现 6 个越权配置。

    该系统自动化权限层级发现,在运行时执行上下文最小权限原则,所有权限升级攻击均被完全阻止,对工具效用和运行时的影响可忽略不计。 这项技术通过自动化权限管理解决了安全与可用性的权衡,为智能体系统提供了最小权限保障。

  2. arXiv · AI41

    前沿模型客户反馈分析中的运行间不稳定性测量:相同反馈,不同答案

    该研究提出了一种用于评估前沿大语言模型在重复运行中表现一致性的框架,引入了主题翻转率和数量分歧两个核心指标。 在八个前沿模型的测试中,基于分类法的智能体(TGA)在固定使用 Claude Opus 4.8 模型和 1,000 条语料库的情况下,将主题翻转率降低了 86-88%,且匹配主题的数量分歧为零。

  3. AWS Machine Learning Blog70

    Claude Haiku 5.5 上线 AWS

    Anthropic 的 Claude Haiku 5.5 已在 Amazon Bedrock 和 Claude Platform on AWS 提供。它是 Claude 5.5 家族中最快且最高效的模型,成本比 Claude Haiku 4.5 低约 75%,适合子代理、大规模、成本敏感的任务,并且是首个支持 effort 控制的 Haiku 模型。

    推荐理由:官方说明模型在AWS的两条接入路径,并给出编码、Agent 等场景的选型理由与调用示例。

  4. Claude Code Releases22

    Claude Code v2.1.293 发布

    Claude Code v2.1.293 更新,新增 Claude Haiku 5.5 作为 Anthropic API 默认模型,并优化多项功能。 Claude Haiku 5.5 支持 1M 上下文,输入价格 $0.10/百万 token,输出 $0.50/百万 token。 更新修复了 MCP 连接内存泄漏、后台会话消息丢失及 Chrome 会话断开等多个问题。

10月7日周三
  1. Anthropic (X)68

    Anthropic 扩展网络验证计划,允许安全专业人士进行授权攻击性工作

    Anthropic 宣布扩展其网络验证计划,向已验证的安全专业人士开放对 Claude Mythos 5.1、Opus 5.5 和 Sonnet 5.5 的访问权限。该计划新增授权层级,允许进行渗透测试和红队测试等攻击性安全工作,并配有针对防御性工作的安全防护措施。

    推荐理由:程序新增攻击性测试与红队授权层级,读者可据此判断访问策略从纯防御转向攻防并举的变化。

10月6日周二
  1. arXiv · AI38

    《停止法则:智能体 AI 的可中断性、禁令与治理》

    一篇 arXiv 论文提出"停止"是制度实践而非纯技术产物,并沿技术可供性、中断权限、认知触发与认知地位四个维度构建停止理论。对约 1400 起 AI 事件(保留 1213 起)的编码显示,约 80% 未发生停止;在可停止却未停止的案例中,信息、经济与社会危害多因法律要素缺失,物理危害与智能体系统则多因技术要素缺失。

  2. Claude Code Releases28

    Claude Code v2.1.290 发布

    Claude Code 发布 v2.1.290 更新,新增 serverToolUses 钩子数据及 agentId 字段,并引入 ceiling 审批阈值。 该版本修复了高嵌套响应导致的崩溃、图像读取越权及长期会话卡顿问题,同时优化了 WebFetch 截断处理与后台任务调度。 更新增强了插件钩子验证功能,修复了跨代理网关的请求失败及 Windows 平台下的 CRLF 换行符兼容性问题。

10月5日周一
  1. arXiv · AI45

    AI 智能体编程任务 Token 消耗分析与预测研究

    该研究首次系统分析 AI 智能体在编程任务中的 Token 消耗模式。分析八种前沿 LLM 在 SWE-bench Verified 上的表现发现,智能体任务 Token 消耗是代码推理的 1000 倍,且 Kimi-K2 比 GPT-5 多消耗 150 万 Token。研究发现模型难以预测自身消耗量,相关系数仅 0.39,且高 Token 消耗并不必然带来更高准确率。

  2. arXiv · AI42

    通过 Agent 轨迹解构模型行为

    该研究提出了“意图-执行”间隙概念,指出 AI Agent 性能受限于模型假设与执行框架(harness)行为的匹配度。研究开发了可定制框架 Simple Strands Agent (SSA),旨在捕获跨模型族的通用模式及特定偏好。