RogueMerge:针对 LLM 模型合并的鲁棒统一攻击框架
研究提出 RogueMerge 统一攻击框架,解决 LLM 模型合并中的供应链安全漏洞。 采用联合优化、随机极小-极大优化及分布鲁棒优化,应对自回归解码、未知合并配置及泛化挑战。 在 4 类威胁、6 种合并算法及 170 多个 LLM 上性能优于现有方法,且能抵抗标准防御。
研究提出 RogueMerge 统一攻击框架,解决 LLM 模型合并中的供应链安全漏洞。 采用联合优化、随机极小-极大优化及分布鲁棒优化,应对自回归解码、未知合并配置及泛化挑战。 在 4 类威胁、6 种合并算法及 170 多个 LLM 上性能优于现有方法,且能抵抗标准防御。
FogFool提出物理可行的对抗框架,在远程感知图像分类中生成基于Perlin噪声的雾状扰动。 实验显示该方法黑盒迁移成功率达83.74%,且对JPEG压缩等预处理防御具备鲁棒性。 该框架揭示了大气驱动扰动引发的模型注意力普遍偏移,构成隐蔽持久的威胁。
研究者提出基于 GPT-2 的日志异常检测框架,结合结构化输入设计与 Focal Loss 优化策略,显著提升检测性能。 该方法利用 Drain 解析器将原始日志转换为事件 ID 序列,并通过 Focal Loss 解决类别不平衡问题。实验显示优化后的 GPT-2 模型在 precision、recall 和 F1 score 上优于未优化模型,部分任务性能与 GPT-3.5 API 相当或更优。
arXiv论文提出针对编程智能体(Coding Agent)的读取隔离机制,指出其执行环境未阻止访问特定知识产权。 作者对容器、权限规则及沙箱的15条读取路径进行分类,发现三者均无法识别当前读取程序的来源。
研究提出“能力洗钱”攻击,弱未对齐模型可将有害任务拆解为无害子问题,独立咨询强对齐模型并本地合并答案,绕过安全限制。 实验评估 GPT-5.5、Claude Opus 4.8 和 Grok-4.3 作为顾问,在 CyBench 上 Gemma-4-31B 恢复 8/14 候选项,显著优于未协助时的 2/21;CBRN 攻击链平均分从 62.3 升至 83.1。
针对视觉语言模型(VLMs)易将面部表情误判为自闭症、ADHD等临床诊断的问题,研究构建了人口统计平衡的PARITY数据集。评估了27款开源与闭源模型,发现其弃权判断不一致,且安全护栏模型极少标记此类对比请求为不安全。
研究发现大模型 LLM 倾向于支持来自全球南方和低收入国家的申请者,而小模型则更偏向全球北方。 这种偏好差异主要受模型规模和对齐策略影响,而非单纯的地理标签。研究指出需对承担此任务的 AI 系统进行公平性和价值对齐审计。
论文论证受托理论适用于扩展式 AI 助手部署,提出忠诚、关怀、善意与坦率四项受托义务作为 AI 对齐准则。 文章将四类用户侧风险映射至这四项义务,并规定满足各义务所需的制度措施,强调这些义务独立于实际损害而存在。 该框架从开发者对用户的义务出发补充现有对齐研究,发表于 AIES 2026 会议。
基于结构编码的 Best-of-N 越狱在 Llama-3.1-8B 等三个开源权重模型上实现 67%、22% 和 15% 的行为越狱率,显著高于表面变异搜索的 3.0%。 实验表明 SAGE 防御因融合筛选与生成而失效,攻击者通过 2 至 N 次尝试可突破单轮防御,架构上需分离安全筛选与生成过程。
提出平台/小队/任务三级运行时验证框架,解决LLM辅助ISR无人集群中个体合规但整体违规的分布式故障。 框架将策略分解为单点与跨点规则,基于支持验证的消息总线聚合判决,通过显式标记未知状态而非沉默误报来保障证据完整性。 在模拟场景中,该机制成功检测并溯源了被单点监控漏报的协同攻击与通信故障。
ChannelGuard 通过检查各模型间的信息交接阻止多智能体 LLM 中的攻击,在 5700 多次测试中成功拦截了所有隐藏在工具输出中的攻击。 该防御无需额外训练或模型调用,在两个开源模型上将 80% 和 77% 的提示词攻击成功率降至 3% 和 10%,且 30 道数学题准确率不变。 改写攻击仍可能绕过防御。
Bulkhead 利用 LLM 结合结构化语义模式和 PoC 验证,实现了容器路径遍历漏洞的自动检测与修复。 该框架将历史 CVE 总结为语义模式,并通过独立执行 PoC 验证结果,已发现 20 个零日漏洞(占过去十年发现的 43%),其中 3 个已分配 CVE 且补丁已提交上游。 自动化的逻辑缺陷修复提升了容器安全防御能力,克服了传统静态规则与人工审计的局限性。
FinRED 是一个专家引导的金融大模型红队测试框架,通过映射 FATF 等国际标准构建威胁分类学,并开发将真实金融文档转化为情境丰富行为提示词的规模化流水线。专家验证的金融专项评分细则将关键假阴性率从 28 降低至 12。 该框架已部署在韩国的金融安全研究所(FSI)监管沙盒中,用于实际金融服务的生成式 AI 安全评估。
本文提出一种操作系统集成 AI 的功能边界审计方法,结合六种隐私失败面分类法和五维控制评估标准。 该方法已应用于 Apple Foundation Models、Android AICore/Gemini Nano 及 Microsoft Recall 等系统,并识别出通知、保留状态及问责制方面的模糊性。
针对开放权重 LLM 下游微调风险,研究提出“梯度密封”原则以防止禁忌能力被获取。该方法将相关预激活推至负值区域,利用 ReLU 族激活函数在负区的零或近零导数特性阻断内部路径。 实验表明,相比事后遗忘基线,梯度密封在多个 LLM 家族上展现出更强的下游获取抵抗力,有效提升了预发布保护机制。
提出量化鲁棒遗忘框架,在 MUSE 和 TOFU 基准测试中实现更抗量化的遗忘效果。 利用曲率准则识别敏感权重,应用敏感度引导噪声正则化以收敛至平滑极小值。 通过仅更新 forget-critical 层平衡遗忘与效用,代码已公开。
TARS 将抗蒸馏视为最大最小博弈,通过识别并移除语义冗余的“思维锚点”来破坏学生学习,同时使教师模型输出在统计上不可区分。 该方法将移除操作建模为突发删除,并在 DeepSeek R1 Distill Qwen 7B 等模型及 MMLU Pro 基准上验证了其有效性。 该防御机制在不降低教师模型任务准确率的前提下,有效阻断了针对前沿模型的对抗性蒸馏。
该方法在拓扑匿名嵌入上工作,结合无监督过滤与有监督“狙击”进行欺诈检测。 其特点是极低延迟且保护隐私,允许机构标记可疑活动而不泄露个人身份信息。
该研究提出特征方向漂移是模型蒸馏中潜意识学习的核心机制,并验证其通过学生端可识别的偏好差距在微调阶段累积为行为迁移。 受此机制启发,论文设计了探测空间走廊正则化方法,在约束漂移的同时保持任务性能,显著抑制了恶意响应和动物偏好等隐性特征的传递。 实验表明,该方法将恶意响应传输率从29.55%大幅降至6.45%,并以极低的准确率代价在Qwen主要设定中持续压制了动物偏好迁移。
PANDA 是一个基于 CROWN 框架的可扩展系统,利用零知识证明在不泄露模型私有参数的情况下,证明神经网络的鲁棒性和公平性。 该系统生成针对超过 2.9M 参数网络局部鲁棒性的证明仅需 5 分钟,验证耗时 10 秒,支持比先前方法大 4 个数量级的网络。
商业 AI 检测器无法区分轻度 AI 编辑与全文 LLM 生成,导致合规辅助也被误判为违规。 在 tau=0.50 阈值下,仅优化摘要的轻度 AI 编辑误报率介于 38% 至 80%;未修改的近期摘要误报率为 9% 至 15%,非 STEM 领域显著高于 STEM 领域。 诚实使用 AI 编辑面临的处罚风险高于使用去 AI 化工具规避检测,因此检测分数不应单独作为不当行为的证据。
研究提出基于运行时监控的 Agentic 安全新方法,允许用户以 Datalog 指定策略,在 Agent 执行工具调用时通过构建事件图判断动作是否违反策略,并据此阻止或放行。 方法已在多个 benchmark 上完成实现与评估,验证了在真实场景中的有效性,作为迈向可证明安全 Agentic 系统的进展。
研究表明,在59万份胸部X光片上训练时,胸部X光片监督预训练的效用优于其他起始点。 在严格隐私预算下,该方法的AUC比自然图像预训练高15.3%,且在最差的亚组中仍保持领先。 该发现说明,选择与目标任务一致的预训练领域比调整训练目标对隐私-效用权衡影响更大。
研究发现多智能体协调攻击产生“碎片化效应”,导致单智能体监控更难捕获攻击者。 研究构建了含 9 个服务和 86 个良性任务的 FakeLab 环境。显式规划器可使攻击完成率提高至 7 倍,强化该碎片化效应。
研究梳理 272 篇文献构建分类体系,发布开源平台 PromptSecurity 及 JailbreakDB 数据集。 JailbreakDB 含 445,752 条越狱提示对,评估覆盖 11 个模型与 20 种攻击,指出 ASR 受评判器配置影响。 强调配置感知报告必要性,避免无上下文的方法排名。
一项针对七种 LLM 在四个美国城市的审计发现,种族引导是模型解释许可的涌现行为,而非静态属性。 引导行为源于用户身份、偏好表达与模型内化空间逻辑的互动,偏好条件测试往往增加或重新配置了表现出引导行为的模型数量。
大语言模型在生成内容中显著限制了对酷儿群体的刻画。 研究将受限表征归纳为有害表征、窄化表征和话语他者化,并验证了相关假设。
idSCD 提出基于语义相关性描述符(SCD)的白盒指纹方法,用于数据集中性推断,可识别模型训练中的非因果数据痕迹。 该方法在自然语言推理、情感分类等三个场景下,平均性能优于 RMIA 等黑盒及 SIF 白盒基线。 当数据集组展现显著语义差异时,ROC-AUC 相对提升幅度超过 60%。
ECLIPTICA 框架通过 CITA 技术实现 LLM 运行时可切换对齐,在 Llama-3.1-8B 上 CITA 指令对齐效率达 86.7%,显著优于 DPO、GRPO 及 PPO。
研究在150道MedQA题目上评估六个LLM,发现准确率无法反映模型的反事实一致性与人口统计鲁棒性。MedGemma 27B准确率最高(87.1%)且反事实有效性最佳,但20.3%的回答随人口前缀改变,且存在大量刻板印象标记。结果支持安全筛查,但未确立临床部署能力。
该论文在 JailbreakBench 数据集上测试 9 种风格包装对 8 个安全评判模型的影响,发现不变内容下的包装可造成判定错误。实验中,GPT-4o-mini 的判定被翻转率最高达 19.9%,而调整评分提示词后攻击效果可降低约十倍。论文已开源代码、包装模板及逐条判定标签,并指出不同评判模型对目标模型安全性的排名存在不稳定性。
该研究提出了一种新的 LLM 红队测试范式,将红队测试形式化为分层强化学习框架下的马尔可夫决策过程。模型利用 token 级伤害奖励,生成多样化多轮攻击,在基准测试中超越了现有方法,实现了新的 state of the art。该工作将 LLM 红队测试重新定义为基于轨迹的严谨过程,有助于模拟真实世界中的复杂对抗性攻击。
SafeBranch 提出一种基于分支对的安全对齐框架,用于训练视觉语言模型驱动的具身智能体,解决交互过程中的安全约束冲突问题。 该框架通过回滚至安全关键步骤并生成替代动作构建分支对,在 IS-Bench 和 SafetyALFRED 等基准测试中,于未见过的物体变体上将安全任务成功率提升约十倍。 已被 EMNLP 2026 Findings 接受。
针对推理型 LLM 安全守护效率低的问题,REALGUARD 通过潜空间推理解耦安全判断与解释生成,提出可靠、高效且可审计的框架。 在 1B 至 8B 规模模型中,其常规安全分类速度提升最高 15.7 倍,推理 token 消耗降低最高 166.7 倍;审计解码器在 LLM 评估下解释可接受度最高达 87.73%。
LaCache 通过检查生成响应的前 $k$ 个推测解码 token,为 LLM 服务的语义缓存提供可证明的防御,防止缓存碰撞攻击。 该方案将完整性检查从查询转移到响应,利用对抗性响应难以同时满足多个竞争约束的特性,将攻击命中率降至接近零,同时保留超过 90% 的良性缓存效用。 这是首个利用对抗性响应固有约束提供可证明安全的语义缓存方法,发表于 NeurIPS 2026。
研究提出属性级多模态大语言模型遗忘任务,构建覆盖多类型目标的AMU-Bench基准。 针对遗忘易致残留泄露问题,提出免训练的CLRP框架,通过因果定位层并投影表示以保留无关信息。 实验显示在LLaVA-1.5-7B等模型上,CLRP在5%遗忘率下显著降低目标属性准确率并提升保留属性准确率。
MIND 提出一种轻量级防御框架,利用意图感知信息瓶颈和轻量级检测器对抗 LLM Agent 的内存注入攻击。 在 ReAct-StrategyQA 测试中,该方法将平均 ASR-r 和 ASR-a 分别降低 58.1% 和 53.5%,且在不损失任务准确率的情况下匹配了无防御 Agent 的推理效率。
研究者发布 PASB 基准,在 1600 个任务中测试 16 个模型,发现代理保存用户主张后,后续回复依赖该主张的失败率高达 68.1%,未保存时仅为 35.6%。
研究人员发布 AIRRI 框架,通过图像变换和对抗攻击生成机器抗读的教育内容,以应对 LLM 和图像转文本系统的挑战。 该框架应用字符间距、条纹叠加等图像处理技术,结合 RayS、SurFree 和 ADBA 等对抗攻击。
论文提出 SA-CUA,一种双 LLM 框架,通过为 Computer Use Agents 生成可靠信任边界解决间接提示注入风险。该方案利用无障碍树派生确定性规则隔离可信与不可信内容,使攻击成功率保持为零,同时比 CaMeL-CUA 保持更高的效用。