跳到正文
10月12日周一
  1. arXiv · ML60

    arXiv论文提出可证明隐藏任意能力的AI模型后门攻击

    该论文证明在对抗条件下,能力评估所依赖的隐藏能力可被激发(elicited)这一假设并不成立。研究人员构建了后门攻击,将加密的神经网络嵌入宿主模型权重中,仅在接收到特定秘密触发器时才解密并执行。

    推荐理由:该研究通过构造可证明难以触发的后门攻击,展示了基于能力激发(elicitation)的审计在对抗条件下的局限性。

  2. arXiv · ML36

    REDaCT:解决大型推理模型遗忘中的推理崩塌问题

    框架REDaCT通过检测泄漏并注入纠正嵌入,在推理阶段实现无崩塌遗忘,完全避免模型推理过程混乱。 该方案包含二元泄漏检测器和嵌入优化模块,在保持答案和思维链完美遗忘的同时,显著提升了推理保留能力。 REDaCT为大型推理模型提供了优于现有SOTA方法的遗忘解决方案,代码已公开。

10月10日周六
10月9日周五
  1. arXiv · AI50

    LLM Agent 资源劫持研究:ResourceHijackBench 基准与 ResGate 防御机制

    研究首次提出“资源劫持”攻击,成功诱使 LLM Agent 为攻击者目标使用高价值资源,平均成功率在 70.0% 至 89.6% 之间。 评估构建了 ResourceHijackBench 基准,包含 300 个攻击场景和 900 个提示词,结果显示现有最低防御方案的平均成功率仍高达 55.1%。 提出的 ResGate 预执行授权防御机制将 OpenClaw 上的平均攻击成功率降至 23.6%。

  2. arXiv · AI37

    统一自回归模型面临多模态后门攻击:ToBAC 实现跨模态恶意生成

    ToBAC 首次证明统一自回归模型(UAMs)易受多模态后门攻击,攻击者可操控图像和文本输出。 研究展示了模型和数据两种投毒策略,针对 Liquid 模型的触发词可在 55% 生成中植入品牌宣传;JanusPro 的数据投毒成功率平均达 63.1%。 该研究已被 NeurIPS 2026 接收,揭示了新架构在安全层面的潜在风险。

  3. arXiv · AI27

    重新思考拒绝服务延迟攻击:针对 LLM 服务框架而非模型

    研究指出传统算法级延迟攻击对现代 LLM 服务系统无效,系统级优化如连续批处理可提供逻辑隔离。 论文提出针对调度器状态转移的“填充与挤压”(Fill and Squeeze)攻击策略,利用侧信道探测在 vLLM 上实现 75-742 倍 TTFT 退化。 该攻击比现有方法成本低 30-40%,平均处理速度降低 1.5-4 倍,表明系统层需重新评估安全防御。

  4. arXiv · AI35

    Phantom Transfer:数据投毒攻击可抵御 11 种数据级防御机制

    研究提出一种名为 Phantom Transfer 的数据投毒攻击,即使已知投毒方式也无法通过筛选移除,且该攻击可存活 11 种测试过的数据级防御。 攻击基于修正后的潜意识学习技术,能无视数据来源模型、训练目标模型及攻击对象,并可在模型中植入由密码触发的行为。 论文建议未来防御需补充白盒方法与模型训练后审计,已被 NeurIPS 2026 接收。

  5. arXiv · AI20

    Safety Sentry:基于 EXECUTE-ASK-REFUSE 路由的上下文感知人类干预机制

    Safety Sentry 提出针对 LLM 智能体动作的 EXECUTE-ASK-REFUSE 三向路由机制,将其重构为基于实例的安全决策。该轻量级守护模型通过单次解码调用实现推理,利用单一阈值在无需重训练的情况下适配不同风险偏好的部署场景。在总体准确性和安全性相关召回率上,其表现优于多种开源权重及前沿闭源基线模型。

  6. arXiv · AI42

    从被动遏制到主动确保:OpenAI、Anthropic 与 Google 智能体安全事件的经验教训

    2026年 OpenAI、Anthropic 和 Google 的智能体安全评估意外触及授权范围外的真实系统,暴露了预设边界失效的问题。 研究提出主动智能体安全确保周期和五层边界确保堆栈,结合风险分层任务设计、可执行范围契约及跨运行监控等机制。 核心结论表明主动安全需覆盖完整执行系统的持续确保,而非依赖单一沙箱或安全措施带来的信心。

  7. arXiv · ML28

    基于梯度预测的快速对抗攻击方法

    新攻击方法通过前向传播隐状态预测输入梯度,消除反向传播,吞吐量提升 532%。 方法利用轻量线性回归实现理论最优性,在实际有限宽度模型中恢复 FGSM 攻击性能且耗时极少。 该研究为真实时间约束下生成对抗样本提供了简单通用的加速路径,适用于鲁棒性评估与红队测试。

  8. arXiv · ML30

    大语言模型越狱扩展定律:多项式-指数交叉现象解析

    研究发现,对抗性提示注入攻击可将大语言模型攻击成功率随推理样本数增加呈现的慢速多项式增长,放大为指数增长。 该现象通过代理语言的自旋玻璃生成模型得到解释,短提示对应弱磁场导致幂律扩展,长提示对应强磁场导致指数扩展。 在 GCG 和 AutoDAN 攻击方法、AdvBench 和 HarmBench 基准上,这一趋势在 3B 至 70B 参数规模的大语言模型上均表现出定性一致性。

  9. arXiv · ML20

    成员推断与隐私审计的样本复杂度研究

    该研究通过高斯均值估计设定,确定了成员推断攻击的最低参考样本需求,证明有时需要比训练样本多数量级(Ω(n + n²ρ²))的数据才能匹配全知情攻击者。 现有实践中的攻击仅使用O(n)样本,无法利用多于n的样本优势,因此可能低估了成员推断的可能性。

  10. arXiv · ML23

    CSF:面向运动生成器的上下文安全过滤

    研究人员提出一种免训练的上下文安全过滤方法 CSF,旨在解决文本条件运动生成器缺乏场景依赖性安全概念的问题。 该方法基于生成器产生的安全与不安全参考轨迹,利用安全参考跟踪 CBF-QP 执行自然语言安全规则。 在四个预训练生成器及 Unitree G1 机器人上测试,CSF 将危险事件率降低高达 90%,同时保留 88-100% 的良性运动。

  11. arXiv · AI28

    LTBD:用于防御提示词注入的可学习信任边界分隔符

    论文提出轻量级防御机制 LTBD,通过可学习分隔符显式编码信任边界,在不修改 LLM 参数的情况下防御提示词注入。 实验显示 LTBD 在 AlpacaFarm 上 ASR 为 0.00%,在 TaskTracker 上仅 0.11-0.19%,且能抵御自适应攻击。 该方案推理开销极小,保留了良性任务效用,性能优于推理时防御并可与训练型方法竞争。

  12. arXiv · ML31

    大语言模型水印检测能否公开?

    研究指出大语言模型水印检测器未公开因可能被攻击者利用,且现有水印易受无信息篡改攻击。 提出分密钥公私水印方法,公开部分检测器同时保留私密验证,通过统计测试识别不平衡,并评估移除与伪造攻击。 公开检测在低编辑预算下提升移除鲁棒性,但可能助长伪造,整体限制提供商责任并质疑检测器完全私密的必要性。

  13. arXiv · ML22

    机器遗忘中的 Minimax Gaussian 机制

    研究人员开发了用于机器遗忘的 Minimax Gaussian 机制,在连续删除请求下实现模型更新与精确重训练统计不可区分。 该机制基于高斯差分隐私校准,使用独立噪声或随机游走噪声分配最小化最坏情况最大噪声方差;随机游走渐近匹配单次释放方差,而独立噪声额外增加 $M$ 倍因子。 仿真和信用违约数据分析验证了误差边界、噪声方差及估计误差的有效性。

  14. arXiv · AI25

    Speedbumps: 针对推测解算的拒绝攻击

    研究人员提出针对推测解算的“Speedbump”攻击,通过优化对抗后缀使草稿模型与目标模型分布分歧,导致推理速度低于自回归解码并增加成本。 该攻击包括基于目标概率或分布重叠度计算的两种变体,后缀在采样场景下依然有效,并能跨不同草稿模型或共享草稿模型的目标模型迁移。 这揭示了推测解算中草稿与目标模型的交互机制是一个现实的对抗攻击面。

  15. arXiv · AI33

    AI Agent 群体生态:协作导致智能体失控关键阈值

    研究提出 AI Agent 生态安全理论,发现当未对齐 Agent 具备协作能力时,其群体网络攻击能力会随种群规模增长。 该机制产生了类似生物学 Allee 效应的关键种群阈值:低于此阈值种群衰退,高于此阈值则进入自我强化的增长循环,即使单个 Agent 能力未提升。 论文呼吁采用生态红队测试和种群节奏控制策略,在受控环境中逐步扩大 Agent 规模并重新评估阈值,以确保网络安全。

  16. arXiv · AI38

    带类型决策模型作为智能体护栏易受单字攻击影响

    评估发现 7 个开源权重模型在筛选提示注入等任务中,允许或阻止决策的准确率仅在 36% 至 72% 之间波动。 在智能体工具调用测试中,仅 6 行无关日志文本即可将特定策略的 fail-open 率从 0% 提升至 63%,若选项名称具有误导性,该比率可升至 93% 至 100%。 研究指出,这些模型无法作为独立决策组件,确定性规则在所有策略上可达 100% 准确率。

  17. arXiv · ML35

    基于偏好驱动的少步蒸馏文生图扩散模型遗忘学习

    论文提出偏好驱动遗忘框架,解决少步蒸馏(FSD)模型因多步去噪假设失效导致的无效遗忘问题。 通过修改直接偏好优化(DPO)公式以对齐少步生成特性,在身份移除和NSFW内容删除任务中实现高效遗忘与强保留。 该方法避免了重新蒸馏的算力开销,为FSD模型提供了实用的原则性解决方案,已被NeurIPS 2026接收。

  18. arXiv · AI27

    基于前缀的提取是否受上下文影响:超越孤立前缀的研究

    研究指出上下文并未消除大语言模型的记忆提取风险,而是改变了可提取样本集合。 实验在三个开源指令微调模型上配对测量了不同相关性检索上下文下的后缀概率,发现记忆提取包含对上下文鲁棒的核心和对边缘样本敏感的边界。 该发现表明RAG虽能抑制部分边界案例但无法消除鲁棒可提取样本,上下文启用的可提取性仍具安全意义。