大语言模型驱动的智能体 NetOps 与 AIOps:架构、评估与安全综述
一篇 59 页综述系统梳理了大语言模型在 NetOps 与 AIOps 中的智能体应用,指出该领域存在"能力-保障缺口":读取型辅助与工具支撑的诊断证据较充分,但越接近配置变更、受限执行与闭环运行,证据越不完整。
一篇 59 页综述系统梳理了大语言模型在 NetOps 与 AIOps 中的智能体应用,指出该领域存在"能力-保障缺口":读取型辅助与工具支撑的诊断证据较充分,但越接近配置变更、受限执行与闭环运行,证据越不完整。
研究者推出 PSI-Bench,一个可在轮次、对话和人群三个层面自动评估抑郁症患者模拟器行为的框架,并对两个模拟器框架下的七个 LLM 进行基准测试。 测试发现模拟器回复过长、词汇过于多样、变异性偏低,且过快推进治疗阶段并转向正向情绪;模拟框架对保真度的影响大于模型规模。 人类研究显示该基准与心理健康专业人员的判断高度一致,为未来模拟器设计与评估提供了可解释、可扩展的基准。
一篇论文对 MCP 分层提示词注入防御 CASCADE 的评估做了记录级审计,发现其检测数据高度依赖决策约定与语料构造方式。
WebNavigator 将网页导航从概率式探索重构为确定性检索与路径规划,在 WebArena 多站点任务上取得 72.9% 成功率,超过企业级智能体两倍以上。
研究基于 SMCR 传播框架系统评估了 6 个主流 LLM 在事实知识、医疗问答和社会偏见三个领域中的说服易感性,发现最小的 Llama 3.2-3B 表现出极端顺从,82.5% 的信念改变发生在第一轮说服中。
ATOD 是一个面向智能体任务型对话(TOD)的评估框架与基准,包含 1,000 段合成对话,标注六项高级 TOD 属性,ATOD-Eval 定义依赖敏感完成度、记忆召回与主动性指标。
研究者发布 Oolong 基准,专门评估模型对长上下文逐块分析并聚合回答分布性问题的能力,GPT-5、Claude-Sonnet-4 和 Gemini-2.5-Pro 在 128K 下两个子集准确率均不足 50%。
研究者推出 FreshBrew,一个评估 AI 智能体在项目级 Java 迁移中表现的新基准,重点关注程序语义保持与避免 reward hacking。在 228 个基于 JDK 8、在 JDK 17 上构建失败且测试覆盖率高的 Maven 仓库上,表现最佳的 Gemini 2.5 Flash 成功将 52.3% 的项目迁移至 JDK 17。
研究团队发布 RealCompanion 基准,包含 10 段真实人际关系中共 27,218 条、跨度最长 120 天的对话记录。 数据显示用户仅 3.4% 的消息依赖历史内容,且所需信息中位数在 2,157 条消息之前;AI 模型在标记为“记忆”时过度引用历史,F1 分数为 0.71。
PRISM 是一个基于范畴论、模态无关的框架,用于测量和提升多模态类比中的关系对齐,在视觉隐喻生成任务上验证。其 pullback score 在 AnaloBench 上仅凭分数选择正确类比即达 82.5% 准确率。
研究者提出 InFlowOp,用单一无标签成本为多智能体工作流的每个决策定价,在执行前双向确定任务分解粒度与智能体分配,执行中按同一成本以最低代价纠错。在跨领域与不同骨干模型上,InFlowOp 较单智能体基线最高提升 +11.97%,流内优化带来 +9.64% 增益。
研究者推出 EnterpriseBench,用于评估 LLM 智能体从静态问答到动态决策的企业级能力,涵盖 Consulting、Beer Game 和 Enterprise Digital Twin 三个交互场景。
研究者提出 SWE-Prometheus,一个面向仓库工程治理改进的基准,包含 60 个仓库,通过配对证据、干净环境探测、行为门控和两位独立教师评分评估六个治理维度。
针对多数企业 GenAI 项目难以体现可衡量业务效果的问题,研究者提出 EnterpriseVal 用例级评估系统,将指标向量与置信区间映射为 REJECT/CONDITIONAL/SCALE 三级决策。
腾讯混元联合北京电影学院、北京大学、深圳大学发布 DramaChain Bench,称其为首个评估短剧完整生产链每一阶段的基准,覆盖从剧本、分镜、关键帧图像、镜头级视频到成片的五个环节。
一项对 29 个 LLM 在 HLE 纯文本多选题子集上的心理测量分析发现,HLE 由单一通用推理因子主导,领域标签仅解释题目响应主成分 3.5% 的方差。 拟合双参数逻辑 IRT 模型后,域内与域间残差相关性几乎相同(Cohen's d = 0.016);测试信息函数显示测量精度集中在中等能力水平,在 θ = 0 以上急剧下降。
Cura 1T 是一个通过递归自我改进(RSI)训练的医疗基础模型,在 6 个医疗基准中于 MedAgentBench、HealthBench Professional、HealthBench Hard、MedXpertQA text 和 AgentClinic 上得分最高,在 MedXpertQA 多模态上排名第二。
针对人类编写的基准测试饱和、超人类能力难以评估的问题,研究者提出基于相对测量的新范式:由模型生成能区分其他系统的公开挑战,聚合结果形成可随被测系统扩展的对抗式心理测量评分系统。 论文描述了减少私有信息攻击动机、支持无裁判裁决的实用协议,并在可验证与开放式不可验证领域实例化该框架。 该框架展示了模型生成评估如何持续测量超越人类前沿的系统。
研究提出一种基于 LLM 的语义判据,要求 Lean 编译通过且 GPT-5.2 与 Gemini-2.5-Pro 判断一致,在独立审计样本上与人类多数意见吻合率达 91.5%。
研究评估了 13 个通用 LLM 与安全专用评审器的安全评判能力,发现 LLM 评审器虽能从新信息中学习,但当上下文或安全定义偏离其内部先验时,普遍不会更新评估结果。
研究者提出 EnvSimBench,首个对"环境模拟能力"(EnvSim Ability)进行形式化定义的基准,覆盖 167 个环境、400 个样本,并带可验证标签与三维难度分层。
研究者提出 UnivEARTH 编码基准,用 408 道来自 NASA Earth Observatory 的是/否问题测试 LLM 智能体能否可靠完成地球观测任务,覆盖 7 个主题、超过 15 种卫星仪器与数据源。
研究在五个非公开软件环境中评测开源与闭源 AI 模型的漏洞利用生成与修复能力,其中包含私下披露、当时仍未修补的漏洞,评分由研究者开发并复核的确定性评分器给出,而非 LLM 评判。
Odyssey 是一个面向长时程驾驶的闭环基准,包含 100 个场景,每个场景由 100 秒的 nuPlan 驾驶日志重建,用于评估端到端驾驶中早期决策对后续行驶的影响。
研究者推出 SpatialChain 基准,用 28,350 条训练和 899 条测试样本,将 GQA 空间问题与场景图推理链配对,并采用链重叠指标与场景图感知 LLM 评判的双轴评估,审计 VLM 空间推理的忠实度。
研究者推出 SWE-CC 基准,用于评估自主编程智能体在代码与流程上对代码仓库贡献规范的遵守情况,发现智能体虽能生成功能正确的补丁,却违反了 43.1% 的适用项目规范。
研究对 Chatterbox、CosyVoice、OmniVoice 和 VoxCPM2 四款现代 TTS 系统在土耳其语上进行系统基准测试,覆盖微调与零样本配置,并以 VITS 为基线、自然语音为参照。
研究提出 OR-Bench 细粒度基准,覆盖旋转检测、旋转幅度估计与多视角旋转推理八项任务,测试 12 个 VLM 发现最强模型检测准确率接近 100%,但粗略幅度估计仍接近随机水平。
一项针对传统中国八字的基准测试发现,六个语言模型在理论题上的准确率全面高于案例题,排除无效回答后差距仍达 16.60-29.56 个百分点。 该基准包含 3,000 道中文多选题,覆盖 14 个理论类和 11 个案例类,主结果基于 2,492 题的精炼集;十二长生与纳音平均准确率分别为 89.10% 和 88.62%,而事业与六亲仅 36.98% 和 38.19%。
研究者推出 UndoBench 基准,覆盖 8 个企业领域的 36 个基础工作流与 36 个故障场景,通过相同随机种子下的反事实配对试验,将任务能力与故障恢复能力解耦评估。
TasteVal 是评估前沿模型实验研究品味的基准,定义为迭代设计实验并得出结论的能力。 最佳模型 Opus 5.5 超越人类专家基线,计算倍数为 2.3x,成本约为基线者的 1/30。 自 2025 年 12 月起,前沿模型的计算倍数值每 3.0 个月翻一番,旨在推动 AI 进展预测。
研究团队推出 MechHypoBench,这是首个专门评估 AI 智能体能否从经验数据生成数据驱动机制假设的基准。该基准融合了 14 个科学领域的机制与包含 1798 万条记录的真实数据集。 实验通过检验假设在保留条件下的后果进行评估,结果显示当前通用 AI 智能体生成的假设与真实机制之间存在显著差距。
summary_zh: Jev 1.13 是一款非生成式“系统一”模型,在 4 项医学基准测试中表现不一。 在 PubMedQA 上准确率 78.4%,与 GPT-6 Sol 持平;但在 NEJM Case Challenges 上仅 61.8%,远低于 GPT-6 Sol 的 82.4%。
研究团队发布 BIRD 基准测试,旨在为基于 LLM 的迭代奖励设计提供统一配置与评估空间,解决现有方法难以直接比较的问题。 该基准在 MuJoCo、Meta-World、Assistax 和 HumanoidBench 环境中评估发现,少量简单的设计选择组合即可显著优于此前已发布的各类方法。 BIRD 基准测试突出了简单基线的强大性能,为后续研究何时需要更复杂的算法复杂度提供了依据。
Reflection 发布其首个开源权重模型 Beam,这是一款 501B 总参数量、23B 激活参数的稀疏 MoE 模型,面向编码、推理与智能体工作负载。模型在 23.8T tokens 上预训练,并使用了 10.5K 块 NVIDIA GB300 GPU 进行 4 周的高强度强化学习,生成超 1 亿条 rollouts。
同一新闻,精选展示《Hugging Face 开源 501B MoE 模型 Beam》
GitHub 发布 ReviewBench,这是一个用于评估 AI 代码评审智能体的离线基准,包含 219 个来自 19 种语言的公开拉取请求,并基于 1.039 亿个 GitHub 拉取请求的分布特征构建。
开发者将 OpenAI 的 GPT-6 Astra 连接至开源魔兽世界客户端,模型通过读取原始服务器网络数据包和 SQL 文件而非视觉画面,在 40 分钟内零死亡通关兽人起始区域并自主管理装备。此外,OpenAI 正在图像创作工作流中测试静态图像广告,面向美国部分广告主,免费用户可见而付费用户不可见。
arXiv 论文提出 MintEval 基准,用于评估 LLM 将自然语言交易指令转化为可执行代码时的行为一致性。基准包含 800 个 BTCUSDT 15 分钟数据任务,通过逐 bar 对比实际交易动作而非利润或代码相似度来衡量正确性。
研究人员推出 VisAudit 基准测试,用于评估多模态智能体在图表渲染中的缺陷诊断、代码修复及验证能力。该基准包含 1,900 个带缺陷样本、300 个初始正确图表,覆盖 21 种图表类型及 10 种缺陷类别。实验显示,最强模型在自主修复任务中仅能完全恢复 47.4% 的有缺陷图表,暴露出自主审查能力的显著不足。
基准测试 ArrivalBench 发现,单次运行验证的 Agent 数据管道在重放非理想交付时序时存在 7.0% 至 79.2% 的隐蔽错误率,远超其单次测试的认证通过率。 该研究区分了隐蔽的错误表结果与可监控的崩溃,指出提示幂等性风险虽能将某模型的隐蔽失败率从 48.2% 降至 10.5%,但会导致其崩溃率从 9.0% 激增至 37.0%。