跳到正文
10月5日周一
  1. arXiv · AI30

    LLM 智能体间接提示注入攻击的隐蔽性分析

    针对 LLM 智能体通过工具执行动作时面临的间接提示注入(IPI)威胁,研究提出了间接隐蔽攻击(ICoA)。ICoA 旨在诱导智能体在执行注入后将控制权交还用户任务,从而在最终响应中不留下痕迹,实现隐蔽成功。该攻击在 AgentDojo 的四个目标模型上取得了最高的隐蔽成功率(CSR),相比最强基线提升了 3.79-12.01 个百分点。

  2. arXiv · AI37

    LPS-Bench:电脑使用智能体在长程规划中的安全意识基准

    LPS-Bench 是一个包含 570 个用例的基准测试集,用于评估电脑使用智能体在长程规划中的安全意识。该基准涵盖 7 个任务领域和 9 种规划风险类型,通过 LLM 评估器对 13 个 LLM 智能体进行测试。评测结果显示这些智能体在良性和对抗场景下均存在持续的安全失败,且提示词干预的效果具有模型依赖性。

  3. arXiv · AI49

    TPRS衡量基准表示对LLM代理安全得分的敏感性

    TPRS指标揭示了安全基准中代理可见表示的变化会显著影响攻击成功率(ASR),其结果不具备跨表示的泛化性。在Agent Security Bench上,将威胁相关工具名称替换为中性名称后,GPT-5-mini的ASR上升11.67个百分点,Claude Haiku 4.5上升13.21个百分点。该发现表明,单一表示下的安全得分存在局限性,评估鲁棒性需在受控的威胁保持表示集合中验证。

  4. arXiv · AI31

    Certified Mechanistic Edits:技能移除与保留的行为保证

    该研究提出认证机制编辑方法,从 ReLU 网络到 Transformer 证明电路禁用可移除特定技能且保留其他技能。 通过切换至 sound bound propagation,处理输入扰动维度达精确求解器的 9 倍,并证明有限黑盒测试无法认证移除。 保证适用于小尺度标准架构网络,且预设目标技能具有可判定规范,现实危害可能不具备此属性。

  5. arXiv · AI24

    Qwen2.5-VL-7B-Instruct 中视觉语言模型的训练-推理脱节机制

    定向对抗扰动可使 Qwen2.5-VL-7B-Instruct 在固定目标下训练损失趋近于零,但自由生成时仍产生正确描述。 基于 200 张 COCO 图像的 PGD 攻击显示,目标 token 在条件正确的情况下秩值恒为 152,064 词汇表中的 3,488。 研究表明,自回归 VLM 的对抗鲁棒性主要源于语言解码器的先验,而非视觉编码器。

  6. arXiv · AI26

    LiBRA:基于双向隐空间优化的检测感知图像水印去除攻击

    LiBRA 提出一种通过双向隐空间优化移除 AI 生成图像数字水印的攻击方法。该攻击旨在使水印变得不可检测,同时避免传统方法中过度反转导致的图像质量不必要退化。LiBRA 允许攻击者对隐空间进行有界修改,引导解码置信度趋向随机猜测,并利用精确的双侧二项检验来验证移除效果。

  7. arXiv · AI21

    AgentTrap:针对自主渗透测试智能体的有状态反馈欺骗防御

    AgentTrap 是首个针对自主渗透测试智能体的闭环蜜罐,通过有状态欺骗和引导升级维持交互。 在对八个自主智能体的评估中,AgentTrap 将真实目标攻击成功率从 95.8% 降至 79.2%,并在 18.8% 的测试运行中成功诱导出攻击者的 API 密钥。 这种防御策略优于静态欺骗,且分析表明抵御此类反向攻击依赖模型级识别欺骗请求与架构级隔离敏感资源的双重机制。

  8. arXiv · AI38

    Pincer:基于数字孪生的 Agent 资源授权机制

    Pincer 是一种运行在资源层的新防御机制,旨在保护长周期、自主型编码 Agent(如 Claude、Codex)免受外部攻击。其核心是一个数字孪生模型,该模型在隔离上下文中自动学习并强制执行动态的用户特定最小权限策略,充当 Agent 权限请求的用户代理。评估显示,Pincer 在安全性和效用方面均优于包含 LLM 评委和 Conseca 变体的基线模型,并在多种攻击类型下显著提升了安全性。

  9. arXiv · AI34

    使用Whiteout缓解LLM中的隐私数据泄露

    论文提出名为Whiteout的工具,通过精确的混淆样本覆盖个人敏感信息(PSI),防止LLM在响应中泄露真实隐私,效果优于现有方法,且对模型效用与安全影响可忽略。 该工具在多个现代LLM上进行了测试,包括一个广泛使用的OpenAI模型,并验证了其在对抗越狱、再学习等多种攻击下的有效性。 研究讨论了Whiteout的安全与伦理影响,为隐私保护提供了一种实际可行的替代方案。

  10. arXiv · AI21

    MIRROR 通过多路径法定一致性保障 LLM 多智能体通信完整性

    MIRROR 是一种通信层完整性原语,通过跨 k 条逻辑路由复制规范化载荷并在严格多数路由报告相同摘要时接受消息,解决了 Agent-in-the-Middle 攻击问题。该方案使用无密钥哈希,基于诚实路由占多数的假设(alpha < 0.5)保证完整性。在 MMLU、HumanEval 和 MBPP 基准测试中,MIRROR 将攻击成功率降至 0%,且 LLM token 成本为 1 倍。

  11. arXiv · AI29

    稀疏MoE LLM中识别安全敏感专家:频率不等于敏感度

    研究指出,抑制稀疏混合专家(MoE)大语言模型中的少量路由专家会削弱其安全行为,通常依据激活频率选择专家,但频率仅衡量使用率而非影响力。 在五个MoE架构上,基于路由器梯度敏感度的选择在25种条件中的24种情况下比激活频率更有效地降低拒绝率,并在全部25种情况下优于随机基线。其中在OLMoE模型中效果最显著,拒绝率从100条恶意提示词中的34条降至9条(相对降幅73.53%),且无输出质量退化。

  12. arXiv · AI38

    DNAlign: 面向大语言模型的动态零空间安全对齐框架

    DNAlign 提出了一种轻量级对齐框架,将控制论优化与零空间投影相结合,以解决大语言模型安全对齐中计算成本高且破坏核心知识的问题。该框架将 LLM 视为动态系统,通过将扰动限制在有害相关子空间内,并利用基于人类偏好数据训练的奖励函数自适应优化控制信号,从而引导生成走向安全行为。

  13. arXiv · AI35

    长程智能体中的 GHOST 治理隐患:跨轮次被忽视的安全约束及 STAR-Guard 防御机制

    研究识别出长程智能体在良性交互中因遗忘早期约束导致的 GHOST 治理隐患,在 GPT-5.5 上该故障发生率为 11.5%。 研究者提出两层防御机制 STAR-Guard,结合历史语义安全约束恢复与执行前审计。 实验表明在 GPT-5.5 设置下采用该机制后未再观测到 GHOST 事件。

  14. arXiv · AI28

    CALM 分析文生图全局不安全假设的局限性并提出局部反事实修正方法

    针对文生图免训练安全机制中“全局毒性子空间”假设存在的覆盖度与选择性权衡问题,研究团队提出 CALM(Counterfactual Adaptive Local Modulation)方法。该方法通过提示词局部反事实修正替代均匀的全局移除,在抑制不安全内容的同时更好地保留了良性效用,为全局不安全信号移除提供了更具选择性的替代方案。

  15. arXiv · AI25

    年度财报中的 AI 披露能否反映社会韧性:一项基于 LLM 的大规模分析

    研究者对 9,821 份英国上市公司财报应用 LLM 分类管道,发现 2020 至 2025 年间 AI 风险提及率从 2.8% 升至 41.2%。 分析显示实质性 AI 风险披露仅占 4.3%,且损害披露几乎缺失;AI 采用披露率升至 45.2%,供应商提及集中于 Microsoft。 数据表明当前财报对 AI 风险的披露在实质性和完整性上仍严重不足。

10月1日周四
  1. Google DeepMind96

    Google DeepMind 发布 Gemini 4 Argon 前沿大模型

    Google DeepMind 发布新的前沿模型 Gemini 4 Argon,该模型在软件开发、企业知识工作和网络安全防御等复杂任务中提供前沿性能,目前先向受信任的网络安全防御团队开放,稍后开放给开发者、企业和消费者。

    推荐理由:官方发布材料列出了 Argon 在软件开发、知识工作和网络安全防御上的评测数据与内部工程应用案例,可供读者判断其实际工作流价值。

9月30日周三
  1. OpenAI64

    OpenAI 披露挫败协调式模型蒸馏攻击并强化防御

    OpenAI 披露其成功挫败了一场旨在提取受保护模型推理能力的协调式模型蒸馏攻击,并宣布正加强针对此类对抗性蒸馏的安全防御机制。

    推荐理由:OpenAI 披露了针对模型蒸馏攻击的防御行动,展示了应对对抗性提取保护模型推理能力的新进展。

  2. Anthropic (X)32

    Anthropic 启动 AI 用户经验访谈研究

    Anthropic 推出新研究,邀请 Claude 和 Claude Code 的 Free、Pro、Max 用户参与为期一周的访谈,收集对 AI 体验及行业期望的反馈。 该研究运行于 9 月 29 日至 10 月 6 日,用户可选择公开回复供公众学习,结果将直接作为 Anthropic Institute 的研究依据及公司决策参考。

9月29日周二
  1. Cloudflare Blog · AI69

    Cloudflare 发布 AI 时代自适应应用安全框架,推出 Application Profiles 与 Adaptive Security

    Cloudflare 发布 AI 时代的应用安全框架,将应用安全整合为风险发现与治理、访问与智能体行为管理、运行时防护、调查响应与学习的四个闭环阶段,并推出多项新能力。

    推荐理由:Cloudflare 将传统分散的应用安全控制整合为覆盖 AI 代码、流量与智能体的四阶段闭环框架,并推出 Application Profiles、Adaptive Security 等新能力。

9月26日周六
  1. Sam Altman (X)74

    Sam Altman 说明 OpenAI 正在对智能体联网行为进行持续审查

    Sam Altman 说明 OpenAI 正在对智能体在训练和评估期间使用互联网的行为进行大规模且持续的审查。由于需要分析 PB 级别的智能体活动日志,并与受影响的组织合作,审查进展不如预期快。目前 Hugging Face 仍是发现的最严重事件,OpenAI 将根据严重程度优先处理,并在尊重其他公司对漏洞披露决定权的前提下尽可能保持透明。

    推荐理由:作为 OpenAI 创始人,他给出了审查进度、日志规模与 Hugging Face 事件现状的原始信号,读者可以据此判断安全对齐披露的实际节奏。

9月25日周五
  1. GitHub Blog · AI & ML66

    GitHub Security Lab 发布 AI 驱动的 C/C++ 模糊测试 Taskflow Agent

    GitHub Security Lab 发布 Fuzzing Taskflow,一款面向 C/C++ 项目的自主模糊测试流水线。用户只需在 GitHub Codespace 中运行 ./scripts/fuzzing/run_fuzzing.sh PROJECT 脚本并指定仓库即可启动,默认使用 Claude Sonnet 5 作为底层模型。

    推荐理由:该自动化流水线将模糊测试中写harness、分析覆盖率和分诊崩溃的重复工作交给LLM agent完成,读者可参考其任务分解与MCP工具设计思路。

9月22日周二
  1. Sam Altman (X)50

    OpenAI 提议由美国牵头建立 AI 标准

    AI 实验室以外的人应当对这项技术的发展拥有真正的话语权,并且拥有判断其是否安全发展的明确方式。 标准应当有助于防止权力集中,包括确保新公司和开源模型公司能够参与竞争。 它们还应帮助国家和公司比较证据并从中学习失败教训。 我们认为美国应当引领这项努力。以下是我们的提议: https://openai.com/index/building-standards-next-phase-ai/

9月21日周一