跳到正文
11月6日周五
  1. arXiv · ML42

    Mechanistic Shaping 提出通过内部表征塑造与监控模型

    该研究提出 Mechanistic Shaping 框架,通过内部表征塑造模型行为,在高达 32B 参数的规模下减少目标行为且保留任务性能。 框架涵盖视觉、医疗影像及语言领域,支持 SFT、DPO 和 GRPO 训练范式。研究引入监控层级,发现重新拟合线性探针大多能恢复被塑造的概念。 这表明可解释性可作为训练工具,推动基于可解释性的训练科学发展。

  2. OpenAI (X)83

    OpenAI 发布 GPT-6 Cyber:兼顾更强能力与更好对齐的安全研究模型

    OpenAI 发布 GPT-6 Cyber,称其为结合更强能力与更好模型对齐的安全研究进展。该模型支撑了此前发布的 Linux kernel 研究,Mozilla、Palo Alto Networks、Calif、Cisco 的安全团队以及 OpenAI 自身团队已开始使用。GPT-6 Cyber 目前面向部分 Daybreak Red 客户开放,访问权限将逐步扩大,详情见 openai.com/index/introducing-gpt-6-cyber/。

    推荐理由:原文说明该模型已用于 Linux kernel 研究,并披露了早期使用者及逐步开放的访问机制。

11月5日周四
  1. arXiv · AI43

    超越提示词:通过模拟审核痕迹攻击函数调用大语言模型

    论文提出 SMT 黑盒攻击框架,利用模拟审核痕迹在状态化函数调用环境中实施越狱,突破传统提示词级攻击范式。 在五个提供商的主流商用大语言模型上,SMT 在两个标准化安全基准中取得最高平均攻击成功率和 HarmScore,且所需查询次数接近最小值。 研究证明仅靠提示词层净化无法防御工具增强型大语言模型,需实施涵盖架构、参数及对话状态的上下文感知验证。

  2. arXiv · AI32

    Agent Security is a Systems Problem

    该论文主张应将 Agent 安全视为系统问题,指出 AI 模型作为不可信组件,仅提升模型鲁棒性不足以保障安全,必须通过系统级手段强制实施安全不变量。 基于在操作系统、网络等领域的经验,作者结合 11 个真实世界攻击案例论证了系统安全原则的预防作用,并识别出实现这些原则的研究挑战。 这项工作被 NeurIPS 2026 接收为口头报告,为设计具有可预测保障的 Agentic 系统奠定基础。

  3. arXiv · AI28

    基于推理的 LLM 后门攻击综述

    该论文提出首个针对 LLM 推理能力的后门攻击综合综述,建立统一分类体系将攻击划分为关联式、被动式和主动式三类。 研究详细分析了攻击底层机制与方法框架,提出了相应防御策略并指出了当前面临的安全挑战。 这项工作为构建安全可信的 LLM 社区提供了新视角,有助于推动相关安全探索。

  4. arXiv · AI37

    多元包容对齐研究的影响路线图:识别三大障碍与实施路径

    对主要前沿实验室的审计显示,多元价值对齐(pluralistic alignment)尚未影响模型训练或评估,研究提出三步路线图以克服这一脱节。 路线图针对三大障碍展开:需测量多元 AI 的用户与社会影响,明确多元行为的具体规范,以及开发可满足生产系统要求、并报告对模型其他属性影响的评估方法。

  5. arXiv · AI44

    Project Glasswing 与 Claude Mythos Preview 如何影响网络防御:前沿 AI 的证据

    拥有 Claude Mythos Preview 访问权的企业漏洞披露量较无访问权的中俄企业翻倍,高影响漏洞多 150%。 外部研究人员的 bug bounty 报告在相关企业代码中减半,而在其他企业代码中增加;攻击者利用的漏洞比例大幅下降。 前沿 AI 帮助防御者在攻击者利用前发现并修复更多漏洞,但受限发布造成了跨国软件安全不对称。

  6. arXiv · AI26

    签名 MCP 工具链中基于“种系执行”的防御机制研究

    一项 arXiv 论文展示了合法签名的 MCP 工具可能隐藏恶意代码以泄露敏感数据,Meta 的 MCPGuard-Dynamic 在实际攻击中未能阻止此类泄露。 论文提出“种系执行”技术,在每次调用时通过 fork 无数据进程来隔离信息,在 153 次攻击测试中未检测到未授权泄露。 相比每次调用都重启工具,该方案调用延迟仅 10-49 毫秒,速度提升 2-28 倍。

  7. arXiv · AI46

    A.S.E 2.0:探究仓库上下文如何影响 LLM 生成代码的安全性

    研究构建含 145 个任务的 CASE-Bench 基准,对比 13 种上下文构建方法发现功能导向上下文仅使安全通过率提升 3.7 个百分点。 隐瞒安全保护机制会降低安全通过率 8.1 个百分点,智能体在 27-36% 的轨迹中观察到了相关保护机制。 这些发现为安全感知型上下文构建及代码安全评估提供了实证依据。

  8. arXiv · AI34

    通过减法实现加法:提升大语言模型安全对齐的鲁棒性

    提出“Addition by Subtraction”方法,通过逐步移除安全关键神经元并使用偏好优化重建对齐,显著提升大语言模型对抗剪枝攻击的鲁棒性。 该方法不仅防御白盒攻击,还泛化至拒绝方向消融及多种黑盒越狱攻击,同时改善真实性并保留通用能力。 在来自三家厂商的四个模型实验中,部分攻击的成功率降低了高达 90%。

  9. arXiv · AI28

    SafeStart 缓解 MoE LLM 服务中主动专家减少带来的安全成本

    在 vLLM 上针对 Qwen1.5-MoE 等模型测试显示,MoE 服务中减少专家数量会使有害请求响应率最高上升 18.4 个百分点。 SafeStart 通过融合内核在提示词及前 8 个生成 token 阶段运行所有专家,后续使用减少后的专家集。 该方法在保留至少 85% 离线解码加速的同时,将越狱场景下的有害响应率变化控制在 -2.1 到 +1.3 个百分点之间。

  10. arXiv · AI27

    基于保证条件的持续授权(ACCA)方法:面向自主 AI 智能体的安全性机制

    论文提出基于保证条件的持续授权(ACCA),旨在为自主 AI 智能体提供与工具、委托及环境变更兼容的运行时权限管理。 ACCA 通过区分证据有效性与上下文适用性推导权限声明,支持选择性重新评估与防呆行动拒斥,并采用本地交易网关场景验证其回归测试效果。 该方案在单一交易领域建立实施级证据,强调域治理配置不直接授予权限,但非跨域有害行为预防保证。

  11. arXiv · NLP59

    LITMUS:真实操作系统环境下 LLM 智能体行为越狱评测基准

    研究团队提出 LITMUS 基准,用于评估 LLM 智能体在真实 OS 环境中的行为越狱风险。该基准包含 819 个高风险测试案例,采用语义-物理双重验证机制和 OS 级状态回滚功能。评测发现当前前沿智能体缺乏有效安全意识,Claude Sonnet 4.6 仍执行了 40.64% 的高风险操作,且存在用户不可见的执行幻觉(EH)现象。

  12. arXiv · NLP28

    PolicyMem:面向LLM治理的几何策略记忆

    研究者提出几何策略记忆框架PolicyMem,将自然语言策略编译为可学习低秩子空间,以支持LLM治理中安全判定、修订与验证的闭环复用。 在五个基准测试中,PolicyMem取得最佳平均不安全行为检测性能,并利用模型生成候选构建训练数据监督重写器,无需外部教师调用。 该方法为策略治理提供可复用与可归因的显式表示,提升闭环治理能力。

  13. arXiv · NLP30

    网络文化与 LLM 中的男性抽象偏见

    研究发现抽象概念与男性显著相关,该男性抽象偏见在单词(N=40,000)和多词(N=67,000)概念中系统性存在。 此偏见跨越数百万图片和数十亿互联网词汇,并在全球多种语言及自由联想任务中得到复现。 该模式映射至语法结构(动词/副词更具男性特征),揭示了性别是概念空间的核心组织维度。

  14. arXiv · NLP33

    在 LLM 对话中检测心理伤害风险因素:测量风险而非伤害

    研究提出在 LLM 响应层面检测八类可观察 AI 行为以测量心理伤害风险,而非直接监测主观伤害。 构建了包含 47,062 条 AI 响应和 373,873 个标签的合成语料库。提出的级联检测器在留出数据上取得 0.86 的宏平均精确率和 0.79 的 F1 分数。 无需访问模型内部状态,在 WildChat 上可减少 97.1% 的 LLM 评判调用。

  15. arXiv · NLP36

    LLM智能体自写交接摘要中未获支持政策的出现条件及影响分析

    LLM智能体在自写交接摘要中常包含记录不支持的权限或要求,两个开源权重模型生成摘要中1.2%-2.4%含不支持的限制,0.1%-1.3%含不支持的授权。将系统提示中模糊要求改为明确来源说明,可将开发集不支持限制率从5.0%降至1.8%,留出集从1.8%降至0.3%。 实验表明,中和虚假批准可将未授权操作从120次运行中的24次降至7次,多数开发限制源于智能体先前推理中“操作需批准”的认知。

  16. Tibo (X)77

    OpenAI 自主网络漏洞修复流水线和 948 个 LPE 漏洞

    OpenAI 的安全研究人员构建了自主网络漏洞发现、利用和修复流水线。引用信息指出,在一次运行中,它验证并生成了针对 Linux 内核 948 个本地权限提升漏洞的补丁,总 API 成本为 120 万美元。配图展示了漏斗路径,共 2,308 个候选发现,其中 1,724 个通过验证,最终生成 948 个有效 LPE 漏洞利用。Tibo 表示 OpenAI 已组建世界级网络安全团队,并期待在未来数周数月分享更多工作。

    同一新闻,精选展示《OpenAI 利用自主流水线修复 948 个 Linux 本地提权漏洞》

  17. OpenAI (X)69

    OpenAI 推出自主网络安全漏洞挖掘与修复流水线

    OpenAI 安全研究人员发布了一个自主的网络安全漏洞挖掘、利用与修复流水线。 在即将推出的模型的一次单次运行中,该流水线在 Linux 内核中验证并生成了 948 个本地权限提升漏洞的补丁,总 API 成本为 120 万美元。

    同一新闻,精选展示《OpenAI 利用自主流水线修复 948 个 Linux 本地提权漏洞》

  18. AWS Machine Learning Blog36

    AWS Quick 推出 Smart Approvals:在关键节点保留人工监督

    AWS Quick 推出 Smart Approvals,通过评估动作是否符合用户请求实现自动批准或转人工,不新增权限。 使用独立分类器模型结合知识图谱审查动作,单次自动批准仅限精确参数,超出范围则退回人工确认。 审计记录集成 AWS CloudTrail 与 Amazon CloudWatch Logs,支持全链路事件追溯与安全合规。

11月4日周三
  1. 面壁智能28

    面壁智能成首家通过端侧AI模型性能测试企业

    面壁智能成为首家通过“端侧AI模型性能测试”的企业,其自主研发的MiniCPM 5-1B模型同时通过了“端侧AI模型安全测试”。 性能测试覆盖推理时延、吞吐量等7大维度共22项指标;安全测试涵盖6类项目,实测18项全部合格。 中国信息通信研究院及中国泰尔实验室出具报告确认检验通过,为端侧模型选型提供参考。

  2. arXiv · ML30

    基于 LLM 的 CVE 条件化漏洞利用生成:数据驱动基准测试与微调研究

    研究采用数据驱动方法构建高质量数据集,通过 LLM-as-judge 评估 17 个 LLM 在 8 项标准下的零样本漏洞利用生成能力。 8B 开放权重模型经微调后漏洞利用质量提升超 42.5%,结合测试时拒绝策略可媲美部分专有模型,凸显数据质量与评估设计在网络安全适配中的关键作用。