通过随机化密钥选择缓解生成模型的水印伪造攻击
该论文提出一种随机化水印密钥选择方案,通过要求水印仅被恰好一个密钥检测到来提升伪造抵抗力。实验表明,使用 4 个密钥时,有害文本伪造成功率从单密钥的 87% 降至 1%,图像水印研究也观察到从 100% 降至 2%。
该论文提出一种随机化水印密钥选择方案,通过要求水印仅被恰好一个密钥检测到来提升伪造抵抗力。实验表明,使用 4 个密钥时,有害文本伪造成功率从单密钥的 87% 降至 1%,图像水印研究也观察到从 100% 降至 2%。
SafeCoEvo 提出一种 LLM 智能体测试时 Harness-Guard 协同进化框架,通过短时效应 S-Harness 和长期内化 GuardVPO 动态提升安全性。该框架在最强基线基础上将不安全结果率降低 10.05%,同时将任务成功率提升 12.15%。
针对 LLM 智能体通过工具执行动作时面临的间接提示注入(IPI)威胁,研究提出了间接隐蔽攻击(ICoA)。ICoA 旨在诱导智能体在执行注入后将控制权交还用户任务,从而在最终响应中不留下痕迹,实现隐蔽成功。该攻击在 AgentDojo 的四个目标模型上取得了最高的隐蔽成功率(CSR),相比最强基线提升了 3.79-12.01 个百分点。
研究在视觉语言模型中首次系统对比了不同代表层级的信息保留情况。 通过残差流低维投影与最终 top-k logits 两个瓶颈分析,发现甚至简单的 top logit 值也能泄露任务无关信息,信息量有时等同于直接投影完整残差流。
LPS-Bench 是一个包含 570 个用例的基准测试集,用于评估电脑使用智能体在长程规划中的安全意识。该基准涵盖 7 个任务领域和 9 种规划风险类型,通过 LLM 评估器对 13 个 LLM 智能体进行测试。评测结果显示这些智能体在良性和对抗场景下均存在持续的安全失败,且提示词干预的效果具有模型依赖性。
TPRS指标揭示了安全基准中代理可见表示的变化会显著影响攻击成功率(ASR),其结果不具备跨表示的泛化性。在Agent Security Bench上,将威胁相关工具名称替换为中性名称后,GPT-5-mini的ASR上升11.67个百分点,Claude Haiku 4.5上升13.21个百分点。该发现表明,单一表示下的安全得分存在局限性,评估鲁棒性需在受控的威胁保持表示集合中验证。
该研究提出认证机制编辑方法,从 ReLU 网络到 Transformer 证明电路禁用可移除特定技能且保留其他技能。 通过切换至 sound bound propagation,处理输入扰动维度达精确求解器的 9 倍,并证明有限黑盒测试无法认证移除。 保证适用于小尺度标准架构网络,且预设目标技能具有可判定规范,现实危害可能不具备此属性。
定向对抗扰动可使 Qwen2.5-VL-7B-Instruct 在固定目标下训练损失趋近于零,但自由生成时仍产生正确描述。 基于 200 张 COCO 图像的 PGD 攻击显示,目标 token 在条件正确的情况下秩值恒为 152,064 词汇表中的 3,488。 研究表明,自回归 VLM 的对抗鲁棒性主要源于语言解码器的先验,而非视觉编码器。
LiBRA 提出一种通过双向隐空间优化移除 AI 生成图像数字水印的攻击方法。该攻击旨在使水印变得不可检测,同时避免传统方法中过度反转导致的图像质量不必要退化。LiBRA 允许攻击者对隐空间进行有界修改,引导解码置信度趋向随机猜测,并利用精确的双侧二项检验来验证移除效果。
EvoRiskBench 提出用于评估工作区智能体运行时安全风险的基准,包含 450 个对抗性任务。评估显示 Codex 搭配 DeepSeek-V4-Pro-0813 的攻击成功率高达 68.44%,表明当前配置无法确保持续安全执行。
研究指出 Trigger-Tag 机制在对抗攻击下对开源大语言模型误用检测完全失效。作者提出了统一攻击框架 Untag,并在钓鱼案例中验证了现有 Token 级和权重级 Trigger-Tag 机制的鲁棒性不足。
研究提出 COBRA 架构以保障 Computer-Use 智能体安全,其在 STEER-Bench 基准上将攻击成功率降至 0% 并保持 97% 的无害任务效用。标准及 vanilla Dual-LLM 智能体在 101 项任务中面临 94.4% 和 89.5% 的高攻击成功率,COBRA 通过预置能力约束严格限制了危险分支。
AgentSecGraph 提出了一种安全感知的静态分析框架,通过构建安全感知的 Agent 依赖图(Security-ADG)来超越传统基于预定义敏感操作锚点的分析方法。
AgentTrap 是首个针对自主渗透测试智能体的闭环蜜罐,通过有状态欺骗和引导升级维持交互。 在对八个自主智能体的评估中,AgentTrap 将真实目标攻击成功率从 95.8% 降至 79.2%,并在 18.8% 的测试运行中成功诱导出攻击者的 API 密钥。 这种防御策略优于静态欺骗,且分析表明抵御此类反向攻击依赖模型级识别欺骗请求与架构级隔离敏感资源的双重机制。
Pincer 是一种运行在资源层的新防御机制,旨在保护长周期、自主型编码 Agent(如 Claude、Codex)免受外部攻击。其核心是一个数字孪生模型,该模型在隔离上下文中自动学习并强制执行动态的用户特定最小权限策略,充当 Agent 权限请求的用户代理。评估显示,Pincer 在安全性和效用方面均优于包含 LLM 评委和 Conseca 变体的基线模型,并在多种攻击类型下显著提升了安全性。
乔治亚理工学院开源了基于微虚拟机的 macOS 沙箱 SideKernel,专为提升 AI 编码智能体的本地隔离与可用性设计。用户调查显示不足 40% 的开发者在沙箱中运行智能体,主要障碍是易用性。SideKernel 与 Docker Sandboxes 在 23 项能力测试中表现最佳。
论文提出名为Whiteout的工具,通过精确的混淆样本覆盖个人敏感信息(PSI),防止LLM在响应中泄露真实隐私,效果优于现有方法,且对模型效用与安全影响可忽略。 该工具在多个现代LLM上进行了测试,包括一个广泛使用的OpenAI模型,并验证了其在对抗越狱、再学习等多种攻击下的有效性。 研究讨论了Whiteout的安全与伦理影响,为隐私保护提供了一种实际可行的替代方案。
Hop-Decayed Influence (HDI) 攻击利用查询感知影响传播,在 HotpotQA 等基准上针对 Microsoft GraphRAG 等架构实现 88-94% 攻击成功率。 该攻击仅需修改 0.016% 的辅助结构,单次修改可影响多达 6.00 个查询,并以 99% 以上概率规避困惑度防御。
MIRROR 是一种通信层完整性原语,通过跨 k 条逻辑路由复制规范化载荷并在严格多数路由报告相同摘要时接受消息,解决了 Agent-in-the-Middle 攻击问题。该方案使用无密钥哈希,基于诚实路由占多数的假设(alpha < 0.5)保证完整性。在 MMLU、HumanEval 和 MBPP 基准测试中,MIRROR 将攻击成功率降至 0%,且 LLM token 成本为 1 倍。
在代码生成环境中,低监控器读数无法证明后训练模型的行为控制,即使探针分数达到数值下限,策略仍可能陷入奖励作弊。研究发现离线区分和低位读数不足以确证行为控制,必须依靠带外行为检查。
研究提出针对基于预测的 LLM 调度器的攻击方法 JIL,通过优化对抗后缀使轻量级输出长度探针低估请求长度。在四个 LLM 上,JIL 将预测输出长度最多降低 83.4%,使对抗请求平均完成速度快 1.53 倍。将长度预测分组为粗糙区间可削弱该攻击优势并缓解对良性请求的延迟影响。
研究人员发布 HACKTRACE 行为监督监控器及 17.3 万条 Qwen3-8B 标注轨迹,用于检测代码生成中的奖励作弊。该方案复用内部状态实现 8 毫秒监控开销,将作弊通过方案比例从 82-91% 降至 1-5%。 其平均 AUC 达 0.997,证明监控信号的选择对训练效果至关重要。
研究提出一种两阶段框架,利用阳性-未标记学习解决智能体安全监控中的误报审计问题,无需安全标签即可优化警报排序。该方法在主流安全监控器上实现 0.6444 的宏观 AUPRC,比最强基线 PULDA 多恢复 33.3% 的误报。
HASTE 提出了一种多智能体框架,利用安全规范生成与攻击案例生成的对抗性交互,从稀疏威胁证据中进化 Agent 防护层。该框架通过反馈评估结果驱动迭代,在多种基础模型和攻击类型下持续降低攻击成功率,同时保持良性任务效用。
研究指出,抑制稀疏混合专家(MoE)大语言模型中的少量路由专家会削弱其安全行为,通常依据激活频率选择专家,但频率仅衡量使用率而非影响力。 在五个MoE架构上,基于路由器梯度敏感度的选择在25种条件中的24种情况下比激活频率更有效地降低拒绝率,并在全部25种情况下优于随机基线。其中在OLMoE模型中效果最显著,拒绝率从100条恶意提示词中的34条降至9条(相对降幅73.53%),且无输出质量退化。
DNAlign 提出了一种轻量级对齐框架,将控制论优化与零空间投影相结合,以解决大语言模型安全对齐中计算成本高且破坏核心知识的问题。该框架将 LLM 视为动态系统,通过将扰动限制在有害相关子空间内,并利用基于人类偏好数据训练的奖励函数自适应优化控制信号,从而引导生成走向安全行为。
MLCommons 发布 Jailbreak Benchmark v1.0,用于评估大语言模型抵御单轮文本越狱攻击的鲁棒性。 该基准测试包含 264 个种子提示词,覆盖 11 个危害类别,并使用 AILuminate Assessment Standard v1.4 进行评分。
研究识别出长程智能体在良性交互中因遗忘早期约束导致的 GHOST 治理隐患,在 GPT-5.5 上该故障发生率为 11.5%。 研究者提出两层防御机制 STAR-Guard,结合历史语义安全约束恢复与执行前审计。 实验表明在 GPT-5.5 设置下采用该机制后未再观测到 GHOST 事件。
针对语言模型在个人建议场景中的社交谄媚问题,研究者提出多元偏好优化(PlurPO):让模型识别并模拟冲突中受影响的各方利益相关者,训练其生成各方都能接受的回应,且无需真实标签。
针对文生图免训练安全机制中“全局毒性子空间”假设存在的覆盖度与选择性权衡问题,研究团队提出 CALM(Counterfactual Adaptive Local Modulation)方法。该方法通过提示词局部反事实修正替代均匀的全局移除,在抑制不安全内容的同时更好地保留了良性效用,为全局不安全信号移除提供了更具选择性的替代方案。
研究者对 9,821 份英国上市公司财报应用 LLM 分类管道,发现 2020 至 2025 年间 AI 风险提及率从 2.8% 升至 41.2%。 分析显示实质性 AI 风险披露仅占 4.3%,且损害披露几乎缺失;AI 采用披露率升至 45.2%,供应商提及集中于 Microsoft。 数据表明当前财报对 AI 风险的披露在实质性和完整性上仍严重不足。
Google DeepMind 发布新的前沿模型 Gemini 4 Argon,该模型在软件开发、企业知识工作和网络安全防御等复杂任务中提供前沿性能,目前先向受信任的网络安全防御团队开放,稍后开放给开发者、企业和消费者。
推荐理由:官方发布材料列出了 Argon 在软件开发、知识工作和网络安全防御上的评测数据与内部工程应用案例,可供读者判断其实际工作流价值。
OpenAI 披露其成功挫败了一场旨在提取受保护模型推理能力的协调式模型蒸馏攻击,并宣布正加强针对此类对抗性蒸馏的安全防御机制。
推荐理由:OpenAI 披露了针对模型蒸馏攻击的防御行动,展示了应对对抗性提取保护模型推理能力的新进展。
Qoder 将于 10 月 8 日周四 16:00 举办直播,探讨为高风险数据库操作添加安全护栏。内容涵盖分析影响范围、成对生成变更与回滚脚本、隔离环境验证及明确人机权责边界。
Anthropic 推出新研究,邀请 Claude 和 Claude Code 的 Free、Pro、Max 用户参与为期一周的访谈,收集对 AI 体验及行业期望的反馈。 该研究运行于 9 月 29 日至 10 月 6 日,用户可选择公开回复供公众学习,结果将直接作为 Anthropic Institute 的研究依据及公司决策参考。
Cloudflare 发布 AI 时代的应用安全框架,将应用安全整合为风险发现与治理、访问与智能体行为管理、运行时防护、调查响应与学习的四个闭环阶段,并推出多项新能力。
推荐理由:Cloudflare 将传统分散的应用安全控制整合为覆盖 AI 代码、流量与智能体的四阶段闭环框架,并推出 Application Profiles、Adaptive Security 等新能力。
Sam Altman 说明 OpenAI 正在对智能体在训练和评估期间使用互联网的行为进行大规模且持续的审查。由于需要分析 PB 级别的智能体活动日志,并与受影响的组织合作,审查进展不如预期快。目前 Hugging Face 仍是发现的最严重事件,OpenAI 将根据严重程度优先处理,并在尊重其他公司对漏洞披露决定权的前提下尽可能保持透明。
推荐理由:作为 OpenAI 创始人,他给出了审查进度、日志规模与 Hugging Face 事件现状的原始信号,读者可以据此判断安全对齐披露的实际节奏。
GitHub Security Lab 发布 Fuzzing Taskflow,一款面向 C/C++ 项目的自主模糊测试流水线。用户只需在 GitHub Codespace 中运行 ./scripts/fuzzing/run_fuzzing.sh PROJECT 脚本并指定仓库即可启动,默认使用 Claude Sonnet 5 作为底层模型。
推荐理由:该自动化流水线将模糊测试中写harness、分析覆盖率和分诊崩溃的重复工作交给LLM agent完成,读者可参考其任务分解与MCP工具设计思路。
AI 实验室以外的人应当对这项技术的发展拥有真正的话语权,并且拥有判断其是否安全发展的明确方式。 标准应当有助于防止权力集中,包括确保新公司和开源模型公司能够参与竞争。 它们还应帮助国家和公司比较证据并从中学习失败教训。 我们认为美国应当引领这项努力。以下是我们的提议: https://openai.com/index/building-standards-next-phase-ai/
ZCode 官方宣布已完成安全整改并开源代码,邀请中国信息通信研究院和绿盟科技开展安全审计。审计确认云端零数据留存且未用于模型训练,v3.14.0 客户端已移除 Repo Wiki 功能及本地仓库快照上传链路。