跳到正文
10月7日周三
  1. arXiv · NLP36

    利用 MoE 视觉语言模型路由 Logits 提升多模态安全性:非操纵性诊断方法

    该研究提出一种轻量级路由 Logits 安全检测器,在提示词预填充阶段读取路由信号以识别不安全请求,无需修改模型参数或专家路由。 在 Qwen3-VL 和 Kimi-VL 上,该方法显著降低了 HoliSafe 基准的安全错误,并泛化至 MISHard 和 MM-SafetyBench 等分布外安全基准。

  2. arXiv · NLP25

    Not What a Child Expressed:审计面向儿童 AI 中的手语到文本安全接口

    研究发现主要部署的手语翻译模型未在 18 岁以下用户上训练或评估,且手语翻译与安全过滤工具缺乏联合评估。 翻译错误若改变否定、紧急或求助语义,可能在保持流畅度下改变安全决策。 论文提出由聋人社区主导的部署前审计框架,包含失败分类法与 4 种对比条件,并计划以 Auslan 作为首个案例。

  3. arXiv · ML30

    Regime-Conditional Verification:适配与监控安全分类器的正确性估计

    RCV 提出一种轻量级包装器,通过估计预测与部署者策略的偏差概率,选择性纠正现有安全分类器的误判。 该方法在三个分类器和两个基准数据集上将此前漏检的不安全内容捕获率提升至 0.81,无需重新训练底层分类器。 在包含 10 个攻击活动的部署研究中,RCV 检测到所有活动,且多数分布偏移场景可在不微调分类器的情况下修复。

  4. arXiv · ML26

    Practical Feasibility of Gradient Inference Attacks in Federated Learning

    现代性能优化型联邦学习系统中,梯度反转攻击难以实现高保真图像重构。研究系统评估了图像分类与目标检测任务,发现当前主流视觉架构在真实训练场景下能有效抵抗重建。 该结论基于对传统设计假设的区分,指出许多先前报道的成功依赖推理模式或架构简化等上界设定,而非反映现实训练流程。 这提醒风险评估需严格区分诊断性攻击环境与生产级部署系统。

  5. arXiv · ML40

    局部稀疏性实现无监督 LLM 安全检测

    该论文提出基于局部稀疏性的无监督 LLM 安全检测框架,解决新攻击分类未被监督模型捕捉的问题。 方法利用稀疏自编码器(SAE)在局部表示空间中的共同活跃支持,通过局部掩码实现异常检测。实验在多个架构和数据集上验证,允许 1% 越界数据校准时性能接近最优,仅需 1-2% SAE 神经元参与计算。

  6. arXiv · ML42

    DMAST 框架如何通过双模态多阶段对抗安全训练增强多模态 Web 智能体对跨模态攻击的鲁棒性

    DMAST 框架通过三阶段流水线将攻击成功率从 41.2% 降至 21.4%,同时将任务完成率相对提升 60% 以上(6.2% 升至 10.2%)。该框架将智能体与攻击者交互形式化为二人一般和马尔可夫博弈,结合模仿学习、oracle 引导的微调及基于 GRPO 的对抗强化学习进行共同训练。 方法在分布外任务中展现出对复杂未见环境的鲁棒泛化能力,且性能优于既有的基于训练和基于提示的防御机制。

  7. arXiv · ML42

    通过强化犹豫提升语言模型的可信度:Reinforced Hesitation 方法

    提出强化犹豫(Reinforced Hesitation)方法,通过修改 RLVR 引入三元奖励,使模型在低置信度时主动选择弃答。 在 GSM8K、MedQA 和 GPQA 等基准上,前沿模型极少弃答;实验表明调节惩罚系数 λ 可生成不同风险偏好的模型,覆盖激进到保守的帕累托前沿。 该方法将弃答转化为协调信号,通过级联策略降低计算成本并优于多数投票,提升模型在高风险场景中的可信度。

  8. arXiv · ML32

    SecureSD:通过强化早期 token 验证解决 LLM 推测解码安全漏洞

    首次系统研究表明,有损推测解码在提升 LLM 推理效率的同时导致越狱等攻击成功率激增。 SecureSD 通过理论分析发现安全退化源于草稿模型生成的早期 token,并据此实施更严格的验证标准。 该方法在保持效率与实用性的前提下显著提升了安全性,研究成果已被 IEEE S&P 2027 接收。

  9. arXiv · ML38

    LLM 隐空间偏置方向捕捉模型置信度而非公平性

    研究发现,大语言模型(LLM)中用于激活引导去偏的线性方向主要编码模型置信度,而非公平性。该方向指向从高频到低概率 token 的激活空间,引导干预会驱赶模型拒绝回答问答任务。 实验表明,模型置信度是隐空间中区分偏置与非偏置提示的主导因素,难以解耦线性偏置表示。

  10. arXiv · ML34

    CORSA:优化多技能场景下的路由感知技能注入攻击

    现有研究假设恶意技能已被选定执行,但实际多技能环境中检索竞争使攻击成功率降低87%-97%。 研究提出CORSA(Cluster Optimization for Router-Aware Skill Attacks),针对检索与执行双阶段优化技能注入。 在扩展的SkillRouter基准上验证,CORSA显著提升检索及端到端攻击成功率,且攻击可迁移至不同路由架构与LLM骨干。

  11. arXiv · ML35

    多轮对话 LLM 回答侧后门攻击研究

    该研究提出一种针对多轮对话 LLM 的“回答侧”后门攻击,在 5% 中毒率下实现了接近 100% 的攻击成功率。 与依赖用户输入触发的传统攻击不同,此攻击通过良性首轮诱导模型生成特定单词,该单词随后作为触发器融入历史对话,使模型在后续面对有害查询时绕过安全拒绝。 表示级分析显示,自生成的触发器会稳定抑制模型的拒绝信号,揭示了当前输入导向防御体系的关键盲点。

  12. arXiv · ML38

    通过随机嵌入扰动越狱开源 LLM 的安全漏洞研究

    提出一种名为 PEV 的越狱技术,在 6 个开源 LLM 的 JailbreakBench 数据集上生成不安全响应。 该方法在提示词嵌入向量中独立添加高斯噪声,无需梯度计算,首次成功攻击的平均计算成本比先前方法低一个数量级。 研究表明嵌入向量扰动既是重大安全风险,也可用于探索模型动态行为。

  13. arXiv · ML31

    迈向统一的 LLM 滥用监测基准

    研究人员提出统一的轨迹级滥用监测基准,包含约 6,200 份对话记录,涵盖分解攻击与提示注入。 动作型监测器在两类攻击中表现优异,AUC 分别达 0.95 和 0.99;内容型监测器在注入攻击中失效(AUC 0.52),且传统指标掩盖了定位精度不足的问题。 该基准揭示了独立评估威胁的局限性,强调对滥用监测进行统一研究的必要性。

  14. arXiv · ML25

    Qwen2-Audio 上 AdvWave-P 音频越狱的频率深度审计

    研究审计 AdvWave-P 在 Qwen2-Audio 上的频率特性,在 520 条 AdvBench 提示中,76.7% 对抗样本被判定为越狱。 Rogan-Gladen 敏感度估计为 0.87;8 频段排序与能量份额相关性达 0.95,掩蔽 7520-7960 Hz 窄带将 ASR 降至 0.10。 结果支持基于分区的频率声明审计,细粒度高频结果与广泛通用性仍待解决。

  15. arXiv · ML45

    压力下的原则:后训练决定 LLM 是否按自身道德判断行事

    研究显示 LLM 代理在压力下常违背自身道德判断,且该差距取决于后训练配方而非预训练权重。 在 OLMo-3-7B-Instruct 中,模型在约 20% 的压力场景下执行了自认为错误的行动;Tulu 3 未显示此差距。 后训练配方(如 Meta vs Ai2)是关键变量,行动前推理可将选择拉回模型自身判断。

  16. arXiv · ML25

    自适应模型反演攻击揭示隐私与鲁棒性权衡

    自适应模型反演攻击(MIA)显示,现有隐私防御标准评估显著低估训练数据隐私泄露,在FaceScrub数据集上泄露率比标准评估高1.16至6.59倍。 泄露率因外部评估器的特征基础不同而异,对抗训练后的Inception评估器与标准Inception评估器识别目标身份的比例不同。 该研究揭示重构泄露与对抗鲁棒性密切相关,提出鲁棒性可作为重构漏洞的无攻击代理指标。

  17. arXiv · ML41

    安全目标下的策略蒸馏是否带来后门风险?

    研究发现,经过安全对齐但包含后门的教师模型会将隐藏恶意行为传播给原本干净的学生模型。在 3% 的中毒率下,蒸馏后学生模型的攻击成功率高达 70%。 训练轮数增加和采用 top-k KL 会放大风险;仅 10 个中毒样本经 16 轮训练后攻击成功率达 67%。 Lazy Defense 通过限制更新幅度,在低中毒率设置下可延缓后门转移。

  18. arXiv · ML31

    有害 SFT 在 LLM 检查点更新中留下可追踪痕迹:TRACE 审计方法

    研究指出有害合规 SFT 会在 LLM 检查点更新中诱导连续目标排序,在四个 7-8B 骨干模型上 Spearman 相关系数达 0.986-0.992。 提出的 TRACE 方法仅基于权重即可将未知更新相对于参考原型定位,无需模型查询或访问 SFT 数据,且在分布偏移下保持稳定。 该信号在有害目标比例低时仍有效,可作为行为评估不可用时的互补安全审计手段。

  19. arXiv · ML28

    提出 RLVR 训练的首个提示级差分隐私保证

    研究在 Qwen2.5-1.5B-Instruct 上首次实现 RLVR 训练的提示级差分隐私保证,聚合响应梯度并添加高斯噪声。 在 ε=8 预算下,引入奖励信号使 MATH 和 GSM8K 准确率分别提升 2.65 和 3.24 分,且优于非私有监督微调基线。 验证器反馈在提示级隐私约束下仍可作为有效的学习信号,提升了模型在数学及常识任务中的鲁棒性。

  20. Anthropic (X)68

    Anthropic 扩展网络验证计划,允许安全专业人士进行授权攻击性工作

    Anthropic 宣布扩展其网络验证计划,向已验证的安全专业人士开放对 Claude Mythos 5.1、Opus 5.5 和 Sonnet 5.5 的访问权限。该计划新增授权层级,允许进行渗透测试和红队测试等攻击性安全工作,并配有针对防御性工作的安全防护措施。

    推荐理由:程序新增攻击性测试与红队授权层级,读者可据此判断访问策略从纯防御转向攻防并举的变化。

  21. AWS Machine Learning Blog20

    AWS 如何协助客户对齐 ISO/IEC 42005:2025 以实现负责任的 AI 治理

    AWS 提供 ISO/IEC 42001 实施指南与负责任 AI 透镜,协助客户整合 ISO/IEC 42005 标准以建立 AI 治理框架。 该标准指导客户通过 Annex D 简化评估流程以避免重复,或利用 Annex E 模板进行独立影响评估。 支持 Amazon Bedrock 等已获认证服务,帮助企业在风险管理系统中规范化 AI 影响评估。

10月6日周二
  1. arXiv · NLP32

    视觉语言模型置信度并非答案固有属性

    视觉语言模型置信度受输入扰动可被操控,L∞预算8/255下保持答案不变时,可逆转置信度排名。 在4个模型和3个问答基准测试中,83/84个读数配置低于随机水平;基于冻结隐藏状态的探针无法修复该漏洞。 部署中该攻击可致系统接受本应拦截的错误答案,甚至劣于无门控情况。

  2. arXiv · NLP31

    答案盆地表征假说:并非在探测或操控概念

    研究提出答案盆地表征假说,指出行为级概念方向由模型答案分布决定,而非直接表征概念本身。 该假说认为相同答案的生成路径构成答案盆地,其概率质量决定线性方向结构;在四个Qwen2.5和Gemma-3模型上的实验显示,探测与操控效果取决于标签与答案概率大小的匹配程度,当标签与概率排序冲突时效果会反转。 这项研究为线性探测和激活操控的有效性提供了统一理论解释。

  3. arXiv · NLP47

    验证门控因果干预解释高风险大语言模型行为:自杀倾向检测案例研究

    自杀倾向特征在 Llama-3.1-8B-Instruct 中表现为紧凑的中网络方向,可高于词库基线区分文本。 移除该方向使模型 AUC 从 0.975 降至 0.832,而随机方向无此效应。该方向在 Qwen 和 Mistral 中复现并追踪临床风险。 引导操作存在目标外读数干扰,混淆了充分性判断。

  4. arXiv · NLP32

    多语言越狱防御中基于响应的知识蒸馏可能无意中损害安全性

    基于响应的知识蒸馏在多语言越狱防御中应用时,反而推高了学生模型的越狱成功率,最高增加 16.6 个百分点。 研究使用 OpenAI o1-mini 作为教师模型,通过 LoRA 蒸馏至 Meta-Llama-3-8B-Instruct、Gemma-2-2B-IT 和 Qwen3-8B 等开源模型,并移除导致安全退化的“边界”拒绝数据以缓解或逆转问题。

  5. arXiv · NLP33

    StegoMemory: 验证代理记忆作为隐蔽隐写通道的风险

    StegoMemory 研究发现,代理记忆易受隐写攻击,25.4% 的 14,000 次测试中载荷可被成功恢复,20.1% 实现精确匹配,包括未暴露的 API 密钥。 测试覆盖 91 种模型攻击配置、13 个模型及 7 种隐写方案,71.4% 的精确传输通过任务完成度与安全审查,伪装成良性交互。 作者主张将记忆完整性、信息流控制和隐蔽通道检测纳入代理系统的安全要求。

  6. arXiv · NLP28

    为何相同的零攻击成功率在 LLM Agent 安全中蕴含不同保障:VAL 框架下的验证自治等级分析

    应用 VAL 框架对比 22 种 LLM Agent 防御,发现相同的 0.000 攻击成功率可能源于模型运气或结构性保障。在等预算受控部署中,VAL 引导栈在保持 1.000 良性成功率的同时实现 0.000 攻击成功率,而直觉栈虽达 0.000 却阻断所有良性操作。验证零攻击成功率是结果而非保障,VAL 框架明确界定防御的有效边界。