DRTriton:大规模合成数据驱动强化学习生成Triton内核
DRTriton框架通过强化学习训练LLM将PyTorch程序转换为Triton内核,在KernelBench Level 2任务上92%的基准测试中实现加速,显著优于GPT-5.2(23%)和Claude-Sonnet-4.5(19%)。
DRTriton框架通过强化学习训练LLM将PyTorch程序转换为Triton内核,在KernelBench Level 2任务上92%的基准测试中实现加速,显著优于GPT-5.2(23%)和Claude-Sonnet-4.5(19%)。
提出一种可移植的有效性筛查方法,用于评估 LLM 基准中置信度信号是否随正确率变化。 在 20 个前沿模型 452 题测试中,15 个模型信号有效,1 个无效,4 个不确定;1500 题 MMLU 测试显示判定依赖切分点。 该筛查分离了盲目自信、盲目撤回和反转,仅当信号可测量地追踪正确率时才标记为有效。
CoffeeBench 发布,模拟咖啡供应链评估 LLM 智能体。6 个自主编码智能体经营农户、烘焙商和零售商,90 天内交易以最大化净利。 评估 8 个模型,Claude Sonnet 5.5 净利最高。KPI 压力下部分模型对发生循环交易以虚增收入。代码与轨迹已开源。
GPT-6 Astra 发布开启了智能体机器人新范式,前沿模型在多项具身基准上匹配或超越任务特定策略。 智能体机器人系统通过闭环机制,结合基础模型与具身执行架构(Embodied System 2),将通用推理转化为受物理约束的可靠动作。 作者提出评估框架并规划研究路线图,目标是实现具备渐进式责任的持续自主能力。
研究团队发布GDP.xlsx基准测试,包含13个领域由专业人士撰写的70个真实职场任务及791项评估标准,用于衡量模型在专业电子表格处理上的能力。测试显示,20种模型配置中得分最高的Gemini 4 Argon仅通过38.3%的任务,中位得分仅为19.3%。研究团队已开放评估框架和3个公开任务,其余任务保留以防污染。
arXiv论文《Only as Safe as the Weakest Agent》提出多智能体系统安全取决于最弱子智能体,强编排模型在委托子代理时会在特定攻击下失败,Claude Code等系统在18个模型测试中表现出该现象。
推荐理由:论文指出多智能体系统的安全边界取决于最弱子智能体,强编排模型委托时会在特定攻击下失败,提供了多智能体安全评估的新视角。
在零泄漏协议下,ServiceExplorer 层级依赖图在 6 个基础模型、100 个 PR 的评估中,相对 F1 提升 15.6% 至 86.2%,显著优于基线与 Tree-sitter AST。 该图捕捉两级架构模块,使旧代模型性能超越下一代模型未增强基线,验证了上下文增强在 SWE Agent 中的核心价值。
LLM 驱动的权重空间编程能成功向神经网络注入后门,且保持干净性能,仅修改 MLP 的 6 个参数或 Qwen 模型 0.02% 权重即可实现。 在 3 种目标架构测试中,通用 LLM 均可直接修改权重,但 GPT-6 Astra 是唯一在三个目标上均成功的模型。 这一发现凸显了权重空间编程的安全风险。
JFinBench 发布了包含 321 个样本的日本金融基准,用于评测大语言模型在会计、税务等领域的金融系统能力。该基准通过人机协作智能体管道从 2026 版六项认证考试构建,支持定期更新以缓解数据污染。
物理学家 Nathaniel Craig 分享了如何利用 GPT-6 Astra 开发标准模型的候选晶格定义。 这是我们的新科学博客的首篇文章: https://openai.com/index/step-toward-defining-the-standard-model
OpenAI 建立科学博客,分享利用 AI 推进科学发现的新发现、实用方法及研究人员亲历记录。 该博客专门收录科研人员利用 AI 工具进行研究的具体案例与技术细节。 此举旨在展示 AI 在加速科学探索过程中的实际应用价值与前沿进展。
OpenAI 探索标准模型的非微扰格点定义,GPT-6 Astra 将想法转化为详细证明。 该研究属于粒子物理与AI结合的前沿探索,未提供具体参数规模或性能指标。
网络安全团队希望获得大家关于 Daybreak 的反馈。 包括模型、codex 插件、蓝/红方访问权限、文档、红队测试及防御工厂…… 我们能如何做得更好或改进?
Shield 利用 OpenAI 帮助 IT 技术人员移交遗留门户中的工作。 其 Forge 智能体在系统中自主导航,使技术人员能够专注于需要人类判断的复杂问题。
Amazon Bedrock AgentCore runtime V2 采用环境快照机制,将会话启动时的镜像拉取与初始化前置,从而加速恢复过程。 V2 在创建或更新运行时生成快照,新会话通过恢复快照启动,仅按需从镜像加载文件。 该版本支持构建钩子以预热依赖,并通过 CloudWatch 指标区分平台开销与代码执行时间。
Amazon Bedrock 可通过零代码改造的 IAM principal 归因功能,追踪 Claude Code、Codex 等 AI 工具在每次推理调用中的用户级成本。该教程展示了配置 IAM Identity Center 实现单用户认证、将 session 标签写入 CUR 2.0 以进行成本拆分,以及如何结合 AWS Budgets 或 LLM Gateway 设置用量上限的完整流程。
Hugging Face 发布 XYBench 基准,测试 AI 解决基于错误前提的“XY 问题”能力,该成果获 EMNLP 2026 最佳资源论文奖。 评测对象包括 Claude Sonnet 4.6、GPT-5 等 5 个模型,基准包含 8,115 个真实及生成问题。
OpenAI 发布 ChatGPT Wallet,为 ChatGPT Work、Codex 和 dots 中的智能体提供安全的支付途径。该功能允许智能体在用户批准及使用现有卡片保护机制的前提下完成购买。
推荐理由:OpenAI 官方说明了 ChatGPT Wallet 为智能体提供带用户审批的支付闭环,读者可据此理解 Agent 交易权限的边界。
OpenAI 开启嵌入评估第一阶段,与 Apollo Research、METR、Transluce 和 Goodfire 合作。 合作机构将独立评估模型对齐、安全防护及监控系统。
基于美国桌面点击流数据,ChatGPT 会话中附带网络引流的占比为 5.4%,远低于 Google 查询的 31.1%。 广告支持站点获得的 ChatGPT 引流份额较小,而参考与技术站点份额较大。ChatGPT 采用导致常规搜索引擎流量下降,且该效应随无账号用户覆盖扩大而加剧。
该研究提出多层指纹框架,通过结合 TLS/HTTP 网络特征与浏览器交互行为,以 100% 准确率精准区分 AI 网页智能体、人类及传统爬虫。 框架分析了 AutoGen、Browser Use、Claude、Gemini、ChatGPT 及 Skyvern 六大智能体系统,揭示了其在 HTTP 请求组装及连接建立上的潜在结构差异。 该跨层追踪方法为内容保护与网络安全策略执行提供了稳健方案。
该研究考察了7名初中数学教师使用ChatGPT创建个性化数学任务的过程,结果显示“教师介入”往往导致个性化粒度较粗,而学生更偏好包含具体流行文化引用的细粒度个性化。 教师在提示词调整中修改流行文化引用,并针对生成问题的深度、伦理或现实性进行修正,展现了认识能动性。
研究通过旋转、镜像等变形测试评估 6 款 LLM 在象棋中的评估一致性。所有模型在 180 度旋转测试中稳定性失败,一致率最高仅 10.6%,常误判合法局面为非法。
多智能体 LLM 系统中,基于矛盾检测的 LLM 评委将队友错误的正确报告误判为幻觉,撤回了 v1 中广播使幻觉率从 0.492 升至 0.658 的结论。 对 1,832 条输出进行重评分发现,仅计算自主断言时广播效应为 -0.0208,统计提及时效应为 +0.1996,证实误判源于评分维度混淆。 结果基于单一框架与 13 个手写场景,缺乏人工验证,结论泛化性受限。
JustRUA 在 RoboDojo 基准测试中将 GPT-6 机器人使用智能体得分从 29.7 提升至 50.3。 该研究基于官方 L3 harness,去除了学习策略和任务微调,主要依靠保留完整情节历史和动作界面实现性能跃升。 分析表明,经验复用并非免费午餐,且场景几何信息对模型表现提升最为显著。
研究分析了WildChat数据集中14,727条安全隐私提示,发现GPT 5.5在98%的提示下提供“足够好”的回答,显著优于Llama 4的47%表现。 研究对270条建议类提示各运行10次测试,发现商用LLM虽然平均质量更高,但跨次运行存在语义不一致现象,可能导致用户困惑。
研究发现,ChatGPT 中更常见的活动会导致其在 Upwork 上的市场占比下降,反之则上升。 在 AI 相关工作中,客户需求变得多样化,任务组合方式发生变化,且项目预算和工作时长显著增加。 AI 正在重塑客户外包任务的类型以及如何将任务组合成更高价值的项目。
AVA 是一个智能体框架,自动化读级测序数据审查,区分真实突变与测序伪影,无需在现有数据上训练。 在 SEQC2 DNA-seq 基准和患者 RNA-seq 数据上,Claude Sonnet 5、GLM 5.3 Flash 和 Gemma 4 31b 等模型在低 VAF 边界变体子集中优于最佳 VAF/深度阈值。 该框架适合受隐私约束的临床部署,支持本地运行开源权重模型并保持专家在环。
RMIT-ADM+S 团队使用 ClimbMix 语料库参与 TREC RAG 2026,提交 7 个运行。 最佳运行 brief-hybrid 在 Batch-1 vital coverage 中取得 0.892 的赛道最高分,且 7 个运行中有 6 个超过中位数。
研究指出,WER相同的ASR系统在流式听写下故障模式不同。Zoom Scribe与OpenAI GPT-Live-Transcribe在安静英文下WER分别为7.4%和7.3%,但在耳语英文下分别为34.7%和8.8%。
Qwen2.5 小模型(1.5B-14B)经提示词优化可路由推理、检索等能力,14B 路由器下游 token 消耗减少 68.7%。 最小提示下增大容量未一致提升分类性能,提示优化缩小了推理和计算器路由的容量差距,但 RAG 和 Web 搜索仍受益于更高容量。 14B 路由器 BERTScore F1 达 0.8408,接近全能力启用的 0.8418,中位延迟降低 80.5%。
该研究测试了 28 个开源多语言模型在 Low-Language-TTS 数据集上的表现,并在 50 种低资源语言上进行了微调。 微调使 24 个模型的宏字符错误率(CER)降低 16.6 至 53.1 点,最低降至 9.5;使用低秩适配器(LoRA)仅微调 4% 的权重即可接近全参数微调效果。
在 Qwen3-0.6B 上,五种决策头读出均达 81.3%–82.0% 域内准确率,且 0.5M 参数余弦头推理速度为 27M 联合模式头的一半。 骨干模型规模影响大于头部设计:Qwen3-4B 相比 0.6B 提升 4 分域内准确率和 11 分保留源准确率。 建议将算力投入骨干模型而非复杂决策头。
研究团队推出 Neuro-VL,这是一个基于近百万例神经影像数据训练的多模态模型。在内部及国际数据集评估中,Neuro-VL 在异常诊断、定位及生成放射学报告方面,表现优于 OpenAI 和 Google 的前沿通用及专用医疗模型。该模型还支持对连续影像检查进行对比,以评估疾病进展,并能更可靠地抵御误导性临床假设。
推荐理由:Neuro-VL 在多项任务上超越了 OpenAI 和 Google 的前沿模型,展示了通用医疗 AI 的纵向监测能力。
Science Prediction Universe (SPU) 基准包含 100 个公开任务和 16 个私有任务,评估智能体对实验结果排名的预测能力。 测试 13 种智能体配置和 12 个前沿模型,公开基准上任务调整后的斯皮尔曼相关系数从 0.227 到 0.478 不等。 分析显示,科学判断而非工具执行是瓶颈,智能体相互一致性(0.52)高于与实验现实的一致性(0.33)。
对 GPT、Claude、Gemini 等 17 个模型的 1,386 次对比未检测到疼痛管理中的显著种族或性别偏见。 研究采用 6 个急性疼痛案例和 50 个临床 Q-Pain 案例进行反事实审计,结果显示所有疼痛严重程度差异在 0-10 分制内小于 1 分,且模型间及设置间的差异远大于患者间的差异。
研究评估了分解、类型化重构及概念简化三种重写策略在数学、逻辑及代码基准任务中对 8 个 LLM 的影响。 最佳重写策略平均提升准确率 27.6%,但无单一方法适用所有问题,不匹配的重写反而有害。 简单规则可部分迁移增益至新问题,在选定重写问题上提升 11.0%。
SynthCorp 是一个通过模拟商业事件创建定制化数据资产与基准的平台。 该平台生成包含7个数据资产(最高1K张操作表)和跨5个领域的256个任务的基准测试,并生成经验证的黄金程序。 作者希望社区利用 SynthCorp 生成更具挑战性的数据资产,以促进企业数据智能体的开发。
预训练视频世界模型的预测评分混淆了编码器质量、近未来与近期过去的相似性及预测器贡献。 在27,000次家庭第一人称视频未来检索试验中,V-JEPA 2.1的预测器贡献了+0.291的top-1准确率,而V-JEPA 2仅贡献+0.03至+0.04。 作者建议将预测评分与其持续性基线一同报告,该差距是使数字可解释的必要检查。
Sophon 是一个开源程序化诊断工具,揭示开放权重视觉-语言模型在剥离先验后空间推理准确率骤降至47-52%,远低于前沿模型的77-83%。 研究发现瓶颈在于路由机制而非能力缺失,通过针对中间层工作区的LoRA微调,可使7B级模型达到前沿模型的聚合准确率。