AgentLogs:揭示 GitHub 云智能体内部运作的大规模日志数据集
研究团队推出 AgentLogs,这是首个涵盖 GitHub 云智能体真实世界活动的大规模数据集,旨在打开黑盒,记录包括失败在内的执行过程。 数据集包含来自 40,565 个公共仓库的 363,624 个任务和 635,886 个会话,以及 75,631,136 条日志条目,详细记录了提示词、推理、工具调用和 token 消耗。 该数据集支持对智能体行为、故障模式、效率成本及人机协作等方向的研究。
研究团队推出 AgentLogs,这是首个涵盖 GitHub 云智能体真实世界活动的大规模数据集,旨在打开黑盒,记录包括失败在内的执行过程。 数据集包含来自 40,565 个公共仓库的 363,624 个任务和 635,886 个会话,以及 75,631,136 条日志条目,详细记录了提示词、推理、工具调用和 token 消耗。 该数据集支持对智能体行为、故障模式、效率成本及人机协作等方向的研究。
研究团队发布首个 GPT-Image-2 公开数据集,汇集 2026 年 4 月 21 日模型发布后六天内的 10,217 张确认图像。 数据经多语言启发式与浏览器自动化验证筛选,涵盖 CLIP 主题分类、OCR 文本可读性及人脸检测等四维度分析。 发现 Twitter CDN 上传会系统性剥离 C2PA 内容凭证,导致社交媒体来源 AI 图像的加密溯源验证不可行。
该研究构建了基于 LLM 的宏观金融压力测试管道,利用 2,420 个场景数据发现压力严重性主要由提示词设计继承,而非由模型自主生成。 实验对比了 GPT-5.6-luna 和 Llama-3.1-8B,前者遵循算术逻辑但锚定提示区间,后者离散度高出 4-7 倍且在 90% 案例中自相矛盾。 研究指出 LLM 场景生成器最适合在预设严重路径下进行叙事和部门启发,而非作为压力幅度的自主校准器。
提出技能级联攻击新范式及自动化红队框架 SkillCascade,旨在通过跨技能交互揭示系统级安全风险。 框架发布包含 213 个验证测试用例的 SkillCascade-Bench 基准,在 OpenClaw 等代理中有效诱导有害行为并规避单技能检测。
研究人员提出 SpatialCLI 框架,通过调用空间工具显著提升视觉语言模型的空间推理表现。在 MindCube 测试中,该框架将 Qwen3-VL-8B-Instruct 的准确率从 29.3% 提升至 84.6%。
研究者提出 N-gram Memory(NGM)模块,实现无需训练的即插即用式增强。该模块直接复用主干模型预训练的 token 嵌入空间作为内存,避免了额外的嵌入学习或外部检索基础设施。
研究发布包含 1,235 张小票图像的数据集 GPT4o-Receipt,对比 5 个多模态 LLM 与 30 名众包标注者。 人类虽具备最大视觉判别差距,但二分类检测 F1 值低于 Claude Sonnet 4 和 Gemini 2.5 Flash。 研究揭示 LLM 通过验证算术错误而非视觉特征检测 AI 文档,相关框架与结果已公开。
该研究提出一种分层多智能体框架,利用 LLM 智能体通过 ReAct 循环自主分解自然语言意图并合成网络切片配置。 框架包含编排智能体及 RAN 和核心网专家智能体,基于结构化网络状态表示进行迭代推理。 实验表明系统性能优于单体智能体、基于规则系统及直接 LLM 提示,架构适用于 Open RAN 部署。
LLM在人类参与者模拟中表现出局限性,轻微修改30个道德情景措辞会显著降低人类与LLM评分的相似度。 该现象源于LLM对新颖刺激的反应可能与人类不同,相似度下降幅度因模型而异。 研究者需在具体实验中验证人类与LLM反应的相似度,而非直接将LLM用作心理研究模拟器。
GPT-6-Astra 作为核心代理在 EBench 基准上控制机器人,对比了直接控制与调用后训练策略两种配置。在直接控制模式下,该模型在短程任务上表现领先且泛化方差最小,但在长程任务及高精度接触操作上弱于后训练策略。
提出FlashScript方法,将智能体成功运行编译为可复用神经符号程序(NSP),动作变代码、判断变LLM调用。 在120个WorkBench任务中,NSP使用约70倍更少的输入token且运行时间缩短至三分之一,比技能引导智能体更稳定。 NSP可视为累积软件资产,供用户在重复工作流中测试、维护和复用。
summary_zh: 研究发布首个全面基准 SecPRBench,用于评估基于真实世界 bug-introducing commits 的 agentic security review。
MARC 提出一种基于可执行运动学图的机制感知反思修正方法,用于铰接物体代码生成。在 20 个物体的测试集中,MARC 结合 Kimi-K3 模型达到 67.8% 的有效运动覆盖率和 60.0% 的整体成功率,优于六个基线模型。
研究团队将验证视为 Agent 框架测试时扩展的关键维度,在 Terminal-Bench 和 SWE-bench Verified 上对比了7个前沿编码模型的17种验证设计。
Check Point 使用 OpenAI Daybreak 加速其安全防御背后的漏洞研究过程。 该工具使分析人员能够更快地将漏洞情报转化为客户防御措施。 此举提升了 Check Point 保护客户免受新型威胁的能力。
OpenAI Codex 发布 v0.165.0,新增 Google Cloud Vertex AI 内置提供商,并将 GPT-6.1 Terra 加入模型目录。 默认启用 memory v2 并支持导入外部 agent 记忆;修复 TUI 会话权限及 MCP 请求取消等 bug。
OpenAI 与 Oracle 扩大合作伙伴关系,将业务应用和 AI agents 接入 ChatGPT,并驱动 Oracle 的新产品。 双方合作涵盖应用集成与产品创新。
国金证券与阿里云合作,利用 Qoder 将 AI 代码生成占比稳定提升至 90% 以上。 双方将 2000 余份知识卡片提炼为 10 条避坑规范,覆盖 5 类研发环节;实测知识导航减少工具调用约三成,显著降低存量系统开发风险。 此举将个人经验转化为组织标准,确立标准与约束为 AI 规模化落地的核心瓶颈,而非工具本身。
HealthAgentBench是一套包含75个智能体医疗任务的基准,由研究人员发布。 该基准覆盖9个类别,任务要求智能体在复杂环境中处理原始数据并执行多步操作,如查询大型数据库或解读病理图像。测试显示,Claude Code Opus-5.5以57.3%的成功率领先,各AI智能体在CT和MRI等专业影像模态上的表现普遍较弱。
研究识别出长程搜索中模型未耗尽上下文窗口即提前终止或给出错误答案的失败模式。 分析了七种上下文管理方法及行为感知并行采样策略,并行采样带来 2.6% 至 4.9% 的性能提升。
多项多模态大语言模型(OpenAI O1、Gemini、Grok、Llama 等)被评估在真实交易文档上识别篡改文本、格式错位及金额不一致,顶级模型在零样本场景下优于传统方法,但在分布外数据表现仍不稳定。模型规模与推理能力与检测准确率相关性有限,任务微调可能更关键。
Qwen3-4B 通过 LoRA 微调,在 CallScreenBench 上实现 AUROC 0.974 和 64.5ms 单次决策。 模型在 41 个场景中未产生误报,且比 LLM 裁判提前 1.14 轮做出决策。 验证了基于读出的校准方法优于传统生成式微调,贡献在于评估协议而非架构创新。
针对现有方法遗漏全局故障及搜索空间过大的痛点,VerifyMAS提出基于假设验证的故障归因框架,通过验证全轨迹中的失败假设来定位故障智能体,而非直接预测。 该方法基于结构化错误分类构建假设数据并微调LLM验证器,在Aegis-Bench和Who&When基准测试中,显著提升了包括Qwen和GPT在内的多种基座模型表现,且未牺牲长轨迹推理效率。
研究九款 OpenAI 和 Anthropic 模型在 3,997 次生成尝试中,发现 Markdown 围栏 JSON 是主要失败模式。 在 681 次围栏失败中,仅 48.0% 在移除围栏后通过验证,其余多隐藏字段长度违规。 提出 4 项工程实践用于验证器、模式、重试及评估设计,并公开分类器与数据集。
研究表明 LLM 评委版本更迭会改变测量标准的几何与分辨率,而非仅调整评分尺度。 在 Qwen、Gemma、Mistral 家族中,两次更迭趋向宽松,一次则导致 93% 分数坍缩至单一值。 提供相同事实无法消除版本差异,且占位符对照显示效应主要由格式驱动。
SEMA-Auto是一种具备自主性的视觉化高效多轮攻击方法,在多个数据集上取得了最先进的攻击成功率(ASR)。 该方法通过合成自举微调和决策监督强化学习进行两阶段训练,实现了在更少轮次内超越所有静态和交互式基线的效果。 例如,针对DeepSeek-V4-Flash,其在AdvBench上以平均3.0轮次实现了76.0%的ASR@1,显著优于基线表现。
MechAlign 提出项目级语义对齐审查框架,结合形式依赖提取工具 LeanTrace 与基于大语言模型(LLM)的评估机制。 LeanTrace 从 elaborated declarations 构建语句依赖图,保留定义体与结构约束,排除证明体并在显式库边界处停止。 该框架在 201 个主结果上进行了初步审查,并构建了包含 501 个三元组的 LeanReviewBench 数据集。
研究评估了智能体 RAG 中一致性事实性的可靠性与信息量权衡。实验使用 GPT-6 Luna 和 Llama 3.1 8B 模型,在 95% 目标下,非空响应覆盖率在 17.23% 到 60.17% 之间波动。
研究显示,同一条2.43美元项链在正式着装照片中估价是平铺照片的1.9至3.3倍。 该效应无需图像输入,纯文本描述背景时估价偏差比率为2.2至3.9倍;平铺估价本身已偏离收据价7.8至18.7倍。 模型对同一背景的价格评估并非基于客观事实,上下文背景显著影响了估值结果。
研究利用 Context Association Test 评估 GPT-4o 在零样本 ADHD 自诊断中的性别偏差,发现显性线索会放大特定亚型关联,而隐性线索呈现近代理分布。 结果差异表明显性人口统计线索可能激活过度矫正的偏见缓解机制,而隐性线索反映模型默认行为,LLM 自诊断中的性别偏差评估需关注模型编码的关联。
针对廉价“System One”审核模型(单次约0.000025美元、延迟100ms)的首次独立审计显示,其在142,658条标签数据上的零样本分类AUROC达0.83,与14个前沿推理模型在成本降低1-3个数量级的前提下准确率具有统计可比性。 研究指出模型置信度混淆了人类分歧与决策风险两种不确定性,通过分解子问题可恢复被原生置信度忽略的人类分歧信号,但该方法仅对最弱的模型有效且依赖分布敏感性。
研究者提出基于 Whisper 预训练编码器的嵌入子集选择方法,在希伯来语和丹麦语 ASR 微调中表现优于随机采样。 该方法使用固定维度嵌入空间与贪心 k-center 算法挑选多样且具代表性的训练子集,k-center 子集在较小规模下捕获更广词汇多样性,显著提升识别效果。
Greptile 利用 GPT-6 Astra 测试用户工作流,将缺陷检测能力延伸至代码审查阶段。 同时应用 Daybreak 强化安全防护,并使用 Codex 降低返工率。
OpenAI 分享了其在 Kakeya 猜想、指数时间假设(Exponential Time Hypothesis)和量子色动力学(QCD)上的模型结果,并说明研究人员如何验证和在此基础上继续构建。
CodeRabbit 采用 GPT-6.1 Sol 调查复杂代码库中的安全风险。 该模型支持安全智能体分析发现并提供修复建议。 开发者可据此对安全智能体推荐的检测结果和修复方案进行审查。
Sam Altman 发布推文宣布 GPT-6.1 Terra 上线,特别强调其开启了计算机使用的新纪元。引用的 OpenAI 说明称,该模型能以更低价格提供快速且有能力的计算机使用,可理解屏幕内容、跨应用执行操作并自然写作,成为更高效的工作日模型。
推荐理由:OpenAI 负责人强调 GPT-6.1 Terra 开启计算机使用新纪元,为理解该模型在跨应用操作与日常工作流定位提供第一手视角。
Tibo 宣布 OpenAI 模型 GPT-6.1 Terra 回归,强调其书写、个性与细微理解能力显著增强。该模型在电脑使用方面表现优异,相比 6.1 Sol,其 API 和订阅服务的使用额度翻倍。
OpenAI 工程师使用 Codex Ultrafast 工具,将事故调查时间从数小时大幅缩短至数分钟。 该工具在快速安全分析、代码重构及日常工作流中发挥关键作用,显著提升了开发效率。
OpenAI 发布 GPT-6.1 Terra,模型可理解屏幕内容、跨应用执行操作并自然书写,同时以更低价格提供高效整日工作能力。
本文以 Amazon Bedrock 为例,指导开发者为运行在 Bedrock 上的 OpenAI 模型(如 GPT-6 Astra)配置提示词缓存,以降低多轮智能体调用的输入成本。