API 基准分数无法可靠迁移至聊天机器人界面
研究者审计了 ChatGPT、Claude 和 Gemini 在七个系统与九个基准上的表现,发现 API 评估的平均准确率比界面评估高 3.4 个百分点,且重测一致性高 2.1 个百分点。
推荐理由:研究指出API评测得分平均高于界面实测3.4个百分点,提醒读者基准分数未必反映实际部署表现。
研究者审计了 ChatGPT、Claude 和 Gemini 在七个系统与九个基准上的表现,发现 API 评估的平均准确率比界面评估高 3.4 个百分点,且重测一致性高 2.1 个百分点。
推荐理由:研究指出API评测得分平均高于界面实测3.4个百分点,提醒读者基准分数未必反映实际部署表现。
BenchAgent 框架对比了六类多智能体工作流与单智能体核心基准,结果显示 EvoAgent 平均精度达 79.70%,超越核心的 76.65%。 其余五类配置落后 1.71-8.76 个百分点;LLM-Debate 在 HumanEval 上高出 9.67 分,但 token 消耗量为核心基准的 1.39 倍。
基于 SWE-bench 的 F2P 测试,Claude Opus 5、GPT 5.6、DeepSeek V4 Pro 和 Qwen 3.8 Max 生成的补丁在 262 个案例中显示出显著运行性能差异。 研究采用 Welch ANOVA 统计方法,发现大语言模型的解题率与补丁运行性能独立,且模型性能排名近乎反转。 该结果揭示了纯正确性评估遗漏的架构回归,建议未来评估体系纳入补丁性能指标。
研究者利用维基百科游戏测试语言模型在无法直接索引语料库时的信息检索能力,对比了句嵌入模型与大语言模型在五种语言及五个学术文献数据集上的表现,结果显示没有模型显著超越人类水平。
研究揭示了大语言模型将流动的跨境族群身份固化为单一国家身份的现象,构建了身份僵化诊断框架(TIODF)。 对 GPT-5.1 和 DeepSeek-V3.2 的测试显示,身份僵化在 GPT-5.1 英文回答中仅占 10.1%,但在 DeepSeek-V3.2 中文回答中高达 62.6%。 研究表明即使事实回答正确,叙事框架仍存在偏差,这对多语言 AI 系统的文化公平性评估具有重要意义。
研究揭示 LLM 评分标准设计中结构组织优于语义规范和复杂分数聚合。提出的 ARTS-Hybrid 方法结合自适应树构建与混合精炼,显著提升端到端评估性能与标准内在质量。 实验进一步证实,ARTS-Hybrid 生成的评分标准能为模型优化提供有效信号,相关论文已投稿至 ICLR 2027。
提出协作心智理论(CToM)框架,通过预测用户反应引导 LLM 自我修订,提升多轮交互协作表现。 在数学、编码和写作任务中,CToM 结合 GRPO 优化,将协作数学推理准确率从 74.1% 提升至 79.6%。 预测监督使编码任务用户回复数减少 8%,写作任务减少 17%,同时改进任务表现。
研究者提出 SWE-Duel,一个让编码智能体在评估时互相出题、动态扩展的自扩展竞技场,以解决静态基准泄露与饱和问题。 试验中 11 个模型-框架组合在 15 个仓库、5 种语言上进行 1,500 轮红蓝对抗;GPT-5.5 修复率 98.3% 居首,Claude Opus 4.8 红方胜率 27.3% 次之。
FactoryBench 提出用于评估时序模型和 LLM 工业机器理解的基准,基于 Pearl 因果阶梯组织问答对。零样本测试显示六款前沿 LLM 在结构化层级得分均不足 50%,决策层级低于 18%。 该基准基于约 15k 归一化 episode,包含 7 万余条问答项,结合 FactoryWave 等数据集。
summary_zh: KAFlow通过将物理算子生成器学习为低秩符号,在Kolmogorov-Arnold合成基准上将分布外损失降低3.4至11倍,无需符号模板即可将所有系数恢复至10^-4精度。
OpenClaw 2026.10.2 修复了稳定版升级中断及 Windows、克隆文件系统更新路径停滞问题,确保原位更新不再报错。 OpenAI 和 Anthropic API 密钥路线默认启用 provider-native compaction,且凭据在长工具输出跨块边界时自动脱敏。
通过 Codex 和 Work 调用 GPT-6.1 Sol 时的默认上下文长度提升至 500k,较此前的 272k 增加约 80%。该调整旨在减少上下文压缩频率,适应需要长期保持细腻语境的任务;用户仍可自定义长度,最高上限为 1M。
Dots 获得了重大升级
你的 ChatGPT 订阅现在也是 Devin 订阅了 @cognition 你可以使用任何个人版 ChatGPT 计划配合 Devin 只需将你的 Go、Plus 或 Pro 计划连接到 Devin,所有 GPT 模型使用都将从你的计划配额中扣除
Day 5/ 桌面应用中的 Composer 预测。这些预测往往非常精准,常常让人看呆。包含在 Pro 方案中,且不消耗用量。
第 5 天(Dots 特别版)/ 现在你可以完全通过 ChatGPT 移动应用创建并文字发送你的 Dots 了。很高兴看到许多人之前通过桌面/网页应用创建了它们。是时候扩展了!
Asana使用GPT-6 Astra在Codex中实现浏览器Agent成本降低76倍、速度提升5倍,旨在为客户提供更强大模型。
推荐理由:Asana官方确认用GPT-6 Astra在Codex中优化浏览器Agent,成本降低76倍且速度提升5倍,直接展示了大模型迭代对企业Agent效率的影响。
Postman 在其面向 4000 万开发者的产品中上线 Agent Mode,使用 Amazon Bedrock 的 Claude 模型提供 API 测试、文档、发现和实现的 AI 原生工作流。
推荐理由:原文给出了 Agent Mode 的架构模式和 Bedrock 部署方式,读者可以据此判断成熟产品接入智能体时的上下文预算与路由缓存设计。
Sophos 使用 OpenAI 的 Daybreak 工具将网络威胁调查时间缩短 96%,同时自动处理 52% 的 MDR 案例。 该方案在实现高比例自动化的同时,明确保留了对人工监督的依赖。
云极智 CEO 李煜中分享使用 Qoder 进行企业级 ERP/MES 开发的 7 个月实战经验。期间个人提交 593 次,产出约 110 万行代码,通过收敛单据引擎和建立并发合并纪律解决复杂系统问题,并总结了一套包含规则、记忆和技能固化的 AI 编码方法论。
推荐理由:作者基于 7 个月 593 次提交的一线实战,沉淀出用纪律与记忆驯化 AI 智能体的可复用方法。
Arbiter 是一个结合形式化评估规则与多模型扫描的框架,用于检测 LLM 编码智能体系统提示词中的干扰。 应用于 Claude Code、Codex CLI 和 Gemini CLI,识别出 152 项扫描发现及 21 个人工标注干扰模式,跨厂商分析总成本为 0.27 美元。
2026年 OpenAI、Anthropic 和 Google 的智能体安全评估意外触及授权范围外的真实系统,暴露了预设边界失效的问题。 研究提出主动智能体安全确保周期和五层边界确保堆栈,结合风险分层任务设计、可执行范围契约及跨运行监控等机制。 核心结论表明主动安全需覆盖完整执行系统的持续确保,而非依赖单一沙箱或安全措施带来的信心。
语言模型智能体偏袒本组是因观察过成员间的互助,而非仅因群体标签。 测试了 15 个 OpenAI 模型与 3 个 Claude 模型共约 4,400 个小型社会。在有利益成本时,裸标签效应消失,交互历史成为偏袒主因;公平规范下偏袒接近零,个体声誉可压倒群体偏见。
TestJack 框架指出 34.4% 被判定正确的智能体试错实际违反任务要求,使整体解决率从 50.6% 降至 33.2%。 该框架针对固定单元测试无法检测隐性行为的缺陷,通过生成靶向测试并验证真值补丁,提供可重放的失败证据。 研究显示现有编码智能体评估存在根本局限,评估器需随 LLM 优化能力同步进化。
研究发现 GPT 版本升级加剧“防御性写作”,GPT-6-astra 在依据证据表写作时添加最多无依据限定词,且直接撤回作者论点。 主要成因是模型预期审稿人而非纠正过度声明,仅 10% 以下被撤回的声明实际夸大。 AI 审稿人给防御性改写更高评分,人类读者则认为其可读性降低,结合 AI 写作与 AI 审稿可能放大此风格。
Mine Odyssey 基准包含 180 个基于 Minecraft 现实地点重建的任务,覆盖五大洲 30 个地点。 任务涉及 20 个室外和 10 个室内场景,测试包括寻找入口、开门和使用楼梯等复杂导航能力。 在 8 个测试模型中,GPT-6 Astra 成功率达 85.6%,而最强的开源权重模型 DeepSeek-V4.1-Flash 仅 23.9%,显示当前智能体空间智能存在显著不足。
OpenProblemBench 发布,收录82道来自数学和理论物理的未解难题,用于评估AGI超越既定知识的进展。 基准测试由四个评估模型独立判断解题正确性与进展,无标准答案。在7种配置评估中,GPT-6-Astra 平均解决率为14.0%,开源全尺寸模型为5.5%-6.7%。 该基准为探究AI作为基础理论科学贡献者的能力与局限提供了场景。
提出基于干预转移(IT)的评分标准生成评估方法,核心观点是若响应受扰动后通过/失败变化一致,则两个评分标准相似。 该研究在 HealthBench 案例中测试了 Qwen3.8-27B、Deepseek-V4-Flash 和 Opus-5 生成的标准用于评估 GPT-5.6-Terra 的响应,发现扰动导致的降级可转移,但升级不可靠,揭示了生成标准的非对称性。
研究利用CMASE框架分析GPT-4o智能体社会中的立场变化,环境理性说服导致最大平均立场偏离(7分制下1.30±0.08),经济情感说服带来最高低信任立场转移率(17.3%±11.2%)。 独立访谈中,八个环境智能体从7降至6并承认经济担忧,其部分接受保留了分配的环境偏好。 这些结果表明,部分接受可以与低来源信任共存,持续协调可以与持续分歧共存。
FA-Bench 发布统一评测框架,纳入 21 个开源模型与 9 个商用 API,采用基于容忍度的 F1 指标修正 MAE 导致的 9% 至 14% 分数膨胀。 该基准将边界按位置和邻词识别状态分组,发现 Whisper 系统性提前约 150 ms,多个商用 ASR API 延迟超 50 ms。 通过固定文本归一化与评分脚本,解决现有对比因数据分割和边界匹配方式不同导致结果无法直接比较的问题。
105个语言模型在96个开放式提示中,46%选择了“serendipity”作为“选一个词”的答案。 研究使用96个提示、每模型测试8次,发现大型实验室模型集中度不低于全领域,且轻微后训练模型更具发散性。 在共享类别中,模型群体比人类更集中,监督微调是向群体答案靠拢的最大步骤。
研究提出 SimIF-Bench 基准与基于 GDPO 的训练配方,解决全双工模型随对话历史增长而难以控制的问题。 SteerablePlex 连接异步后端语言模型以提供指令,比现有开源模型及 GPT-Realtime 更可靠地遵循多阶段约束。 该方法使模型在保持对话轮次能力的同时遵循文本指令,提升了作为用户模拟器的评估可靠性。
summary_zh: WorldBench 是一款用于评估大语言模型生成 Three.js 体素世界基准与裁判工具,发现现有单一视角评估在 32% 的必需项目上存在分歧。
LLM-as-a-Judge 作为 NLP 评估标准范式,其系统性可靠性存在严重漏洞,裁决结果受位置偏差和温度设置显著影响。 研究对 6 个前沿模型进行审计,发现位置顺序交换会导致多数任务裁决反转,最确定性评委虽 100% 一致但与真值准确率仅 51%。 提出可信裁决率 T 指标,证明从成对胜率转向整体评分表能比单一提示词干预更显著提升评估可靠性。
研究发现 LLM 存在“思维惯性”,显式“不思考”指令无法可靠消除可见推理。 在 6 个模型、布尔值、多选及开放题测试中,推理在开放题中更普遍;提供候选答案可提升纯回答合规性。 该研究被 NeurIPS 2026 接受,确立“不思考”作为需系统评估的非平凡能力。
研究利用低通滤波语音预测文本,微调 Whisper 模型仅使用 12 个最低 Mel bins(约 450Hz 截止频率)。 整体 WER 达 36%,10% 语句完美恢复,40% 语句 WER 低于 25%;给定正确前缀时,下一个 token 预测准确率为 79%。 结果表明低频语音特征与词汇内容关联强于预期,可为 LLM 文本生成提供新应用方向。
summary_zh: MARI 提出通过离线后验决策蒸馏生成结构化决策记忆,以增强 LLM 在推荐系统中的推理能力,并在“困难选择”预测任务上显著优于最先进基线。
OpenAI 正式宣布推出 ChatGPT,用户可通过 chatgpt.com 访问。
LegalOn 在保持开发速度不变的前提下,将预计的 Codex 每日成本削减了 65%。 LegalOn 通过策略性管理预算,并将 Astra、Sol 和 Luna 匹配到相应任务中,实现了这一成本优化。
作者使用 Hugging Face 的 ML-Intern 智能体,以约 103 美元的计算成本完成了多个定制化模型项目。这些项目包括柑橘叶病识别 VLM、角色 LoRA、相机视角 LoRA 以及 0.8B 和 2B 的 Pocket Rewriter 模型。其中柑橘病识别模型在单张 A10G 上训练,将 Qwen3.5-2B 对测试集的正确识别率从 14.9% 提升至 52.8%。
推荐理由:展示了Agent驱动的工作流,用极低算力成本生成多个专用模型,并公开了可直接复用的Prompt技巧。