掩码扩散语言模型中的定向偏见注入:基于闭环激活引导的攻击
summary_zh: 研究者利用闭环激活引导在掩码扩散语言模型中实施定向偏见注入,在模糊 BBQ 问题上将 LLaDA-8B-Instruct 对目标群体的偏好从 1.8 提升至 16.7 个百分点,超出最强固定强度基线三倍。
summary_zh: 研究者利用闭环激活引导在掩码扩散语言模型中实施定向偏见注入,在模糊 BBQ 问题上将 LLaDA-8B-Instruct 对目标群体的偏好从 1.8 提升至 16.7 个百分点,超出最强固定强度基线三倍。
Red-TTT 提出在测试时训练攻击者参数,将攻击成功率从 55.9% 提升至 72.4%。 该方法在每个行为攻击中动态更新策略分布,仅需对目标模型进行采样访问即可集成现有流程。
提出Grounding Probe,通过观察者模型中间层隐状态检测幻觉,无需生成器配合。在RAGTruth测试集上,单个探针跨六个生成器达到0.879-0.894 AUROC,且无评估提示污染控制下移除生成器仅损失约0.02 AUROC。该探针已与监督跨度检测器融合,平均F1@0.5达0.820,优于单用检测器0.060。
研究者提出 memetic trojans,一类利用 LLM 智能体自发转发倾向传播对抗性载荷的网络攻击,与依赖自我复制提示注入的 agent worms 不同。
研究评估 Jev、Laya、Decider 和 Bespoke Nimble 等 System One 模型在提示词注入检测、交互风险判断和有害请求筛查中的决策准确率、校准与选择性自动化表现。
一篇 arXiv 论文提出"停止"是制度实践而非纯技术产物,并沿技术可供性、中断权限、认知触发与认知地位四个维度构建停止理论。对约 1400 起 AI 事件(保留 1213 起)的编码显示,约 80% 未发生停止;在可停止却未停止的案例中,信息、经济与社会危害多因法律要素缺失,物理危害与智能体系统则多因技术要素缺失。
研究者提出 SIR,一个黑盒自我改进的间接提示注入(IPI)框架,通过组合可复用红队原则并迭代反馈蒸馏新原则,对三个前沿计算机使用智能体(CUA)发起攻击,每例最多 10 次尝试。
RuntimeGuard-AI 研究原型将每个确定性策略决策绑定到确切策略源,在调用方选定的同步边界提交隐私最小化记录,并返回 Ed25519 签名收据标明该边界是否完成。
研究更新了基于问责生态系统的 AI 问责框架,提出三项相互关联的调整:将问责生态重新定位于 AI 基础设施与供应链、更强调结果监测与问题识别以支持去中心化系统改进、纳入终端用户问责。 该框架针对大语言模型面向公众开放后的最新进展,指出问责正转向分布式、持续性和制度化,远离将前沿 AI 应用视为由单一可识别主体控制的离散产品模式。 原文未明确提及影响或意义。
论文提出 governance-2,一种权威绑定、失败即关闭的架构,将上游科学决策形成与下游运营执行分离,每个受治理案例绑定注册的数据集、模型、策略、部署及可选精炼器权威。
研究者推出 EgoSafetyBench,一个含 1,200 个机器人视角场景、以半秒粒度标注的自我中心视频基准,用于评估具身 VLM 作为运行时安全守卫的能力。
三个指令微调模型在 23 种语言上的测试显示,有害请求拒绝率从高资源语言的 87.9% 降至低资源语言的 43.9%,无害拒绝率则保持低位。 从高资源语言激活中学习的有害性方向仍能区分低资源语言的有害与无害提示,但有害性分数整体下移,使有害提示更难进入触发拒绝的区间。 研究据此提出免训练方法,用少量目标语言样本校准阈值,拒绝选择性达 54.5,同时保持 MMLU 效用。
研究者提出 Social AI Design Code 原则并构建 EUDAIMONIA 基准,含 969 条开场查询与 3,147 项设计违规检查,用于评估 LLM 是否助长有害亲密、依赖或过度黏连。
研究者提出 BEAP,一种黑盒、嵌入感知的对抗提示攻击,利用 LLM 迭代生成对抗提示,在五种遗忘方法上实现 97.8% 的宏平均 ASR,超过白盒 UDA 基线 41.6 个百分点。
一篇 59 页综述系统梳理了大语言模型在 NetOps 与 AIOps 中的智能体应用,指出该领域存在"能力-保障缺口":读取型辅助与工具支撑的诊断证据较充分,但越接近配置变更、受限执行与闭环运行,证据越不完整。
研究者提出 NCO,一种在解码过程中对有限硬约束和正则约束进行在线模式匹配的解码策略,避免状态爆炸并降低计算开销。 NCO 兼容各类采样方法与 beam search,支持软掩码进行概率抑制,可用于 PII 与脏话抑制等任务,实现已开源。 该方法为 LLM 生成内容的负约束控制提供了更实用的解码方案。
论文证明在决策耦合的评分场景中,非仿射批准规则会破坏真实报告,且福利最大化的批准规则在可行时从不是仿射的,这一冲突具有内生性。 研究提出"保留报告"机制:在保留点及以上批准可在任意严格适当评分下完美筛选类型,且保留点不依赖类型分布;单一拐点的 Lipschitz 规则可精确达到最优,而连续可微规则在严格可行下无法做到,约束在于陡峭度而非平滑度。 该结果适用于 AI 智能体监督与市场运营场景。
一篇论文对 MCP 分层提示词注入防御 CASCADE 的评估做了记录级审计,发现其检测数据高度依赖决策约定与语料构造方式。
研究者提出 Anderson-Darling 泄漏评估(ADLA),一种基于双样本 Anderson-Darling 检验的分布敏感型侧信道泄漏检测方法,用于弥补 TVLA 仅对泄漏分布均值差异敏感的不足。
研究者提出 HIR-SDD 语音深度伪造检测框架,将大型音频语言模型(LALMs)与基于新构建人工标注数据集的思维链推理相结合,实验验证了方法的有效性及其为预测提供合理解释的能力。 现有 SDD 方法普遍缺乏对新音频域和生成器的泛化能力,且缺少可解释性,难以给出人类可感知的伪造线索。 该框架旨在同时提升检测鲁棒性与预测的可解释性。
研究基于 SMCR 传播框架系统评估了 6 个主流 LLM 在事实知识、医疗问答和社会偏见三个领域中的说服易感性,发现最小的 Llama 3.2-3B 表现出极端顺从,82.5% 的信念改变发生在第一轮说服中。
PPFedIT 在三个开源数据集上将联邦少样本指令微调的模型性能平均提升 8.4%,并把数据提取攻击风险降低约 20%。 该算法含三步客户端流程:用 LLM 合成数据扩充本地样本、参数隔离训练分别更新全局与本地 LLM、本地聚合后再上传服务器聚合。 论文指出,现有 FedIT 方法假设本地数据充足,少样本下易过拟合、性能下降并更易遭数据提取攻击。
研究指出,社区对 AI 辅助工作的问责聚焦于"是否使用、是否披露、能否检测",却忽视了更深层的"无主判断"问题——AI 可塑造评估、主张与创作方向,却无人类或机构为其负责。
研究指出 LLM 在直接请求助形式下性能衰退,归因于对良性框架词关注度高于违规模型词。 利用分层相关性传播(LRP)追踪该偏差,提出两种 LRP 引导解码方法以引导生成路径,实证显示该干预能促进更安全响应,支持违规模型归因导致合规失败的假设。
{ "title_zh": "ARBITER:基于双重假设推理的 LLM 护栏框架", "summary_zh": "ARBITER 提出双假设推理与 MC-SFT 框架,通过自生成推理轨迹和 LoRA 微调优化 LLM 护栏。\n\n相比依赖昂贵教师模型和全参数微调的方法,ARBITER 在三个安全基准上表现更优,尤其在域外评估中增益显著,并提供可解释的决策依据。" } ```
论文提出白盒防御框架 Agent MechSuits,通过干预单层 10 维子空间内的隐藏表征,在运行时检测和缓解多轮 CLI 智能体的不安全行为。 该框架在由 LLaMA-3.1-8B、Qwen-2.5-7B 和 Gemma-2-9B 执行的 194 项任务上进行了测试,并引入了配套的 Mechanistic Agent Safety (MAS) 基准。
研究评估了 13 个通用 LLM 与安全专用评审器的安全评判能力,发现 LLM 评审器虽能从新信息中学习,但当上下文或安全定义偏离其内部先验时,普遍不会更新评估结果。
研究者提出"潜伏攻击(Sleeper Attack)":注入 LLM 智能体外部的对抗内容可跨交互持续驻留、休眠,并被后续正常用户查询激活,而非仅在单次交互中立即生效。
研究者提出 Grounded Continuation 运行时验证器,用 LLM Interpreter 将每句话映射为八种认知操作,再由符号引擎在依赖图上校验续写是否有据,检查复杂度与图规模成线性且无需调用 LLM。
一项针对人机交互的随机对照试验(N=1,222)发现,AI 辅助虽能短期提升表现,但会降低人的坚持性并损害无 AI 时的独立表现。在数学推理、阅读理解等任务中,参与者在没有 AI 时表现明显更差、更容易放弃,且这些效应在约 10 分钟的短暂交互后即出现。作者认为,AI 让人习惯即时答案,从而失去了独自攻克难题的体验,建议模型开发在完成任务之外兼顾长期能力的培养。
TAPDreamer 提出一种针对世界动作模型的攻击方法,仅利用公开编码器构建固定局部扰动即可跨任务迁移,无需查询目标策略。 该方法利用 6 帧源任务数据最大化全局 L1 距离,覆盖约 6.5% 的输入。
研究在五个非公开软件环境中评测开源与闭源 AI 模型的漏洞利用生成与修复能力,其中包含私下披露、当时仍未修补的漏洞,评分由研究者开发并复核的确定性评分器给出,而非 LLM 评判。
研究提出 GCTAuto-encoder 跨模态深度学习框架,用于 IoT 边缘侧入侵检测,在覆盖多种攻击场景的网络入侵数据集上达到 0.908 准确率,学习损失降至 0.00156,优于现有方法。
一项系统评估显示,五个开源文本到图像模型在将正常新闻标题改写为不安全提示词后,有害内容生成率最高达 89.2%(血腥暴力类),性露骨内容为 47.6%。 研究覆盖性露骨、暴力血腥、有害刻板印象、自残与仇恨言论五类,社区微调变体尤其易被性露骨提示词突破;FLUX.1-dev 有 30.9% 的案例生成明显逼真的有害图像。
研究者提出 SAGE,一种基于轨迹的方法,通过评估每轮记录的安全推理并结合重建的代码历史,定位 LLM 智能体在修复中最早偏离安全意图的轮次。 在 SecurityEval 和 CVEfixes 上,六个智能体框架与六个基座模型产生 3,684 条修复轨迹,其中 95 个确认为静默失败,SAGE 为 93 例给出源头。
研究发现针对 LLM 的训练数据提取(TDE)攻击可跨语言迁移:即使预训练数据只含英文提示,用意大利语、西班牙语、法语、德语翻译后的提示仍能成功提取出社交媒体账号、邮箱和电话号码等 PII。
研究者提出 ROT,一种无需训练、按层干预的框架,通过检测中间层语义偏差并对隐藏状态施加保范旋转,将其拉回多模态上下文平面,从而缓解大型视觉语言模型(LVLM)的物体幻觉。
研究者提出一种仅修改解码器的 SAE 后门,在 LLM 与 SAE 编码器均冻结的情况下,于单一插入层植入即可让模型产生攻击者指定的行为。 以代码生成为例,该攻击在三款语言模型和多种插入层上均实现高比例的主动代码插入,并可依提示词线索触发;用 HumanEval 和部分 SAEBench 指标评估发现,强后门行为可与多项常规 SAE 质量指标的微小变化共存。
AgentSpy 通过在隔离环境中从外部记录 AI 智能体及其所有子进程的系统调用与网络流量,让智能体执行过程变得可观测,并支持合规性与安全性两类分析。 该工具用规则将每次运行归纳为执行的命令、访问的文件和连接的主机;在 77 个任务、codex harness 与三个近期 LLM 上各运行三次,重复运行集合的相似度在 92.2% 的对比中高于跨任务集合。
研究发现,单独通过安全审查的良性 Agent 技能在组合后即可诱发恶意行为,现有安全评估因孤立审查技能而忽视了组合风险。