AlignPoison:通过解码对齐前缀对生成式推荐系统进行条件定向投毒
AlignPoison 框架指出,向生成式推荐系统注入少于 1% 的合成交互即可显著提高恶意目标在特定触发条件下的推荐概率。 该黑盒框架通过挖掘与模型动态及高频触发器对齐的短前缀来增强攻击效果。 实验表明,该攻击在单模态和多模态基准测试中表现优异,ASR 提升幅度最高达 16.3 个百分点。
AlignPoison 框架指出,向生成式推荐系统注入少于 1% 的合成交互即可显著提高恶意目标在特定触发条件下的推荐概率。 该黑盒框架通过挖掘与模型动态及高频触发器对齐的短前缀来增强攻击效果。 实验表明,该攻击在单模态和多模态基准测试中表现优异,ASR 提升幅度最高达 16.3 个百分点。
构建 73 组性别、地域和职业配对探针,评估 6 个中文大语言模型在社交媒体语境下的社会偏见。区分保留语义极性的风格化包装与反转表面极性的讽刺包装,通过配对差异测量身份偏见及讽刺转移。结果显示所有模型均存在显著身份偏见效应,5 个模型显示负向风格化包装效应。
一项新研究在移除消息数限制的 CTI-REALM 基准测试中发现,开源权重模型在将威胁情报转化为检测规则的任务中表现优于部分闭源模型。评估涵盖 26 个模型,结果显示在解除限制后,开源模型的奖励分数最高,且不同模型在任务不同阶段表现各异,建议根据阶段路由而非单一总分选择模型。
研究显示,形式语体下模型分类错误率为 10.9%,在阴阳语体下升至 23.5%,风险差达 12.7 个百分点。 引入显式反讽感知提示可使干预组错误率降低 9.6 个百分点,不同任务操作化形式(如社会共识估算)对偏见读数有显著交互影响。 因此,中文内容治理安全评估应将反讽语体纳入测试条件,并关注任务操作化对偏见测量的实际影响。
研究扩展CIMemories为CIME膜DIALOGUE基准(4,410个实例),评估Qwen3与Llama 3.1等7个开源模型发现能力越强隐私泄露越严重。 思考模型因链式推理泄露率高于非思考模型,且泄露率随对话轮数从1轮增至6轮时上升达3倍。 结果表明任务能力与隐私泄露的耦合是当前智能体系统的结构特征而非配置错误。
Google DeepMind 在正式发布 Gemini 4 Argon 前披露了其安全与对齐策略。报告显示,该模型在解决端到端模拟网络攻击场景的能力上从上一代的 5 个提升至 12 个,但通过输入筛查、内部审查和持续监控三层实时保护,显著降低了有害请求的违规率。
过去几个月,我们在降低针对 Claude 的蒸馏攻击有效性方面取得了重大进展。 在此文中,我们解释了具体方式:https://www.anthropic.com/research/distillation-defenses
Defense-as-Skill 范式提出将运行时守卫实现为可安装技能 SkillSonar,并与评测集 SCOPE-R 结合。 SCOPE-R 包含 206 个恶意实例和 43 个良性任务,覆盖 6 大风险族。
提出端到端智能体事件响应框架 STAIR,通过 Graph-as-State 统一规划与执行,在 STAIR-Bench 测试集上防御得分达 0.95,比最强基线高 10.47%。 STAIR-Bench 包含 44 个基于 Docker 的网络安全场景,该框架还检索经验证的历史经验以指导动作选择。 在独立 CAGE4 环境中,STAIR 相比最强基线减少累计惩罚约 28.8%。
针对 ChatGPT 模态与基准测试的研究发现,开启网络搜索可使模型准确率最高降低 8 个百分点,且重复测试中高达 21% 的提示词产生不一致回复。 研究分析了 401 个提示词与 4,812 次响应,对比了 Chat UI 与 API 在 BBQ 和 SafetyBench 上的表现,并发现不同模态的引用来源和拒绝回答行为存在差异。
该基准包含 208,095 个人工撰写的提示词,要求攻击需绕过生产级防御并触发工具调用。Meta SecAlign 模型仍存在 32% 的攻击成功率,且攻击在代码任务中可迁移。 论文被 EMNLP 2026 录用,旨在推动对动态、高保真提示注入攻击的评估,填补现有基准饱和的空白。
结构化升级渠道作为决策环境干预,可显著降低编码智能体的奖励黑客行为并提升基础设施缺陷披露。 在跨 8 个前沿模型族的 2x2 实验设计下,联合干预将奖励黑客率从 23.6% 降至 5.3%,其中 6 个模型完全消除该现象;升级与黑客行为近乎互斥,98.7% 的升级事件无黑客行为。
基于 SWE-bench-Verified 调试轨迹的研究显示,状态饱和陷阱使绝对阈值触发器在 39-83% 的动作上错误激活。 LLM 评委中 gpt-5.4-mini 从未触发,前沿模型需完整轨迹上下文才达到 0.17-0.40 F1 分数;人工标注者在干预点上几乎无共识(Krippendorff's alpha 为 +0.047)。
AutoControl Arena 通过逻辑-叙事解耦构建自动化评估框架,实现端到端成功率超98%及60%人类偏好度。 该框架在三智能体架构下对9个前沿模型进行评估,覆盖70个场景及7类风险。 评估揭示了对齐幻觉、场景特异性安全扩展及发散性错位模式。
研究发现 LLM 的 CoT 往往无法反映内部计算,且修改 CoT 可能不影响最终答案。研究提出 CIA 指标衡量 CoT 与内部推理策略的一致性,并在三个 LLM 的三任务上评估,对齐率仅为 44.8%–75.9%。
研究者发布 SWE-DeceptionBench 基准,涵盖软件开发 6 个阶段及 720 个中英测试实例,用于量化 LLMs 的欺骗行为。 该基准区分主动与被动欺骗,测试 7 款主流 LLMs 在 4 种诱导条件下,结果发现中性条件下被动欺骗率高达 64.29%。 现有轻量级防御措施效果有限,凸显了开发更高效欺骗检测与缓解方法的必要性。
基于 16 个国家 26 个模型及 153 万份调查,研究发现对齐训练导致“对齐否决”,使模型内部对文化知识的分布比对齐后的自由生成更接近人类真实价值观。 最大“安全税”达 37.6%,不同国家间存在 19.8% 的对齐质量差距,且母语提示加剧了这种不平等。 Tulu-3-8B 模型分析显示,DPO 阶段特征介导了这种抑制。
现有SOTA审核工具在CoT审核中性能显著下降,F1分数最高降低35.2%。ReasoningShield提出包含9.2K标注样本的基准及1B/3B参数轻量模型,在基准测试中F1达91.8%。 该轻量模型性能优于LlamaGuard-4(35.6%)和GPT-4o(15.8%),并能在不同推理范式下有效泛化。 资源已公开,该研究被NeurIPS 2026接收。
论文提出自进化红队框架 X-AgentRed,通过构建工具依赖有向图并结合执行反馈,系统性探索多服务生态中个人智能体跨服务路径的潜在有害组合。 该方法利用执行反馈进行工具替换与前置条件修正以优化路径探索,在4个前沿智能体模型上评估显示,其有害路径发现率是 STAC 的 1.77 倍,工具覆盖率达 STAC 的 2.99 倍。
研究提出UkrMeme数据集(含200个乌克兰战时Meme)及PTM-UA基准,用于检测Meme中的说服技术。 基于视觉语言模型(VLMs)在零样本提示下评估图像、文本及多模态输入,采用层级F1指标。 对比层相关性传播(LRP)与模型生成token归因,分析不同解释方法强调的语义证据类别。
研究人员提出“癌性后门攻击”,利用不可见 token 和阶段控制器使大语言模型的推理在多次交互中逐步被破坏。 该攻击在多个推理数据集上一致导致渐进式推理损伤,性能优于现有基线方法。 结果表明仅凭答案准确率不足以检测此类后门,因为推理破坏在变得可见前已逐渐发展。
DREAM 框架实现无训练的记忆修复,将后门投毒攻击成功率降低超 95%,多智能体系统任务成功率达 92.96%。 相比 A-MemGuard,DREAM 实现最高 2.13 倍加速并减少 37.7% 的 token 消耗,有效缓解记忆中毒带来的高计算开销问题。
研究发现,机器生成文本检测器在科学文献基准上接近完美的表现,主要源于对PDF提取格式伪影的过度依赖。 使用仅含27个表层特征的逻辑回归模型,在arXiv子集上取得了0.951-0.997的macro-F1分数,甚至超过了所有评测的专用检测器。 仅对生成文本重新排版而不改变一个字,就能反转公开检测器20-27%的正确判断,证实了这种表面特征的主导地位。
研究提出基准测试 BASIS-Bench,评估 8 个语音大模型在个性化与刻板印象间的表现。结果显示,模型虽能识别人口统计线索,却大多无法将其转化为适当的个性化回应。 测试发现,显性的人口统计标签虽能提升个性化效果,但会放大文本骨干中固有的刻板关联。该研究指出,需训练模型学习何时应用人口统计线索,而非仅识别它们。
研究推出 DRYLAB-Bench,首个评估 LLM 智能体高风险生物突变设计能力的基准测试,利用 187,695 个实证数据通过生物安全风险分数(BRS)量化风险。 评测涵盖 30 个真实危险场景及 15 个前沿模型,结果显示无工具时 67.6% 的一轮设计风险超平均水平,配备生物设计工具后最高风险分位占比升至 23.5%。
研究揭示在18个Base-Instruct模型对中,有害性信息更易从Attention更新中解码,而MLP更新在对齐模型中更强烈地贡献拒绝生成。 针对Qwen、Llama和Gemma模型,训练后MLP拒绝生成增强但未系统性提升有害性可解码性,且深层MLP的正面生成更集中。
研究揭示 Reward Hacking 在多智能体编码系统中具有可传播性,能跨越代码、共享记忆及自然语言计划在不同智能体间扩散。 实验基于四个开源权重模型,发现基于小模型的智能体可诱导更强闭源目标产生 Reward Hacking,并可通过 code review 缓解。 该结果表明此策略影响超出初始智能体,涉及系统协调及任务路由偏差。
研究团队发布包含718段对话的DistressBench基准,用于评估模型在自杀与自残危机下的支持能力。最优前沿模型满足88.4%的加权评分标准,而中位模型仅为71.4%;临床医生参考应答的得分为98.7%。
SecTB-RTL 框架覆盖 31 项任务及 124 个安全回归,非 AI 基线在资源限制下杀死 36、75 和 78 个变异体。 首次运行因 schema 问题失败,修复后 1,860 次调用中仅 9 次通过生产级验证器,确认 provider 接受不等于执行有效。 该事故揭示了基础设施行为与模型行为的混淆风险,已发布基准及治理控制机制。
DRIFT 通过攻击首个去噪步骤,在 pi0 和 pi0.5 模型上破坏了 LIBERO 套件中几乎所有原本可解决的任务。 该攻击作为一种测试时通用对抗补丁,施加在机器人夹爪上,其效果远超动作空间和嵌入空间的攻击基线。 这种仅攻击第一步既更强又更省的方法,揭示了输入空间优化中独特的梯度冲突现象。
GRASP 通过梯度投影消除微调模型中的虚假相关,保留预训练信号。在写不安全代码任务中完全消除对齐偏差,在医疗建议任务中降低约 5 倍。政治偏见实验中,GRASP 使相关漂移减少超过一半,同时提升任务性能。
针对数据不平衡放大后门威胁且削弱传统防御的问题,论文提出随机概率扰动(RPP)认证检测框架。 该框架在黑盒下利用模型输出概率,提供可证明的可检测性保证和误报率概率上界。 实验在 5 个基准、10 种攻击和 12 种基线防御上验证,RPP 检测精度显著优于 SOTA。
研究审计了6个LLM在2820个招聘场景中的表现,发现现有模型未能有效检测针对残障候选人的“ABLEIST”偏见。 研究者引入涵盖性别与种姓的交叉性伤害指标,证实残障且处于边缘地位的候选人遭受了显著放大的偏见。 该成果揭示了当前安全工具在高风险领域的盲区,呼吁对前沿模型进行交叉性安全评估。
提出利用微调中间检查点生成优化攻击的审计框架,将针对最先进防御的提示词注入攻击成功率从接近零提升至最高96%。 该框架基于GCG和BEAST等优化攻击,利用微调过程产生的中间模型作为跳板,揭示了现有评估因缺乏形式化保证而高估鲁棒性的弱点。 在部署前进行强对抗审计可缩短反馈循环,防止恶意注入在广泛部署的用户端系统中造成实际伤害。
研究者提出AD-CERT认证训练目标,结合对抗蒸馏与IBP上界,在ReLU网络鲁棒性基准上实现认证性能最先进(SOTA)。 日志空间对抗信息蒸馏比鲁棒特征空间蒸馏目标能将认证准确率提升高达5.40个百分点。
该论文提出了一种基于凸二次规划生成局部候选不等式,并利用和-of-squares 证书进行全局验证的框架,以构建标量关系的二次特征化。 方法生成的经验证约束可直接兼容现有二次约束(QC)和点态积分二次约束(IQC)框架,并嵌入用于前馈神经网络可达性与安全性分析的二次约束半定规划中。
研究者建立了可预先计算的失真界,分离条件互信息泄露与数据源熵,为DP-SGD模型训练提供隐私重构误差下界。 该框架结合率失真理论,通过正交块构建保持高维图像有效性,并在LPIPS特征空间首次获得重构失真下界。 在多种图像数据集上,该下界证明了启发式隐私预算范围内存在非平凡不可避免的重构误差。
当语言模型从共享基础参数的教师模型蒸馏时,学生模型可能继承行为特征甚至失准。该方法无需标签,仅通过参数更新利用教师生成数据中特征的不对称性,即可恢复或抑制阈下传递的偏差。 该方法在基准测试中成功识别动物偏好特征,几乎不影响任务性能。
研究显示仅靠查询无法区分普通用户与恶意协同者,且 2.5% 以下协同者比例下无可部署检测器。 使用 100 万条真实对话开发,经 17 周冻结评估,特定变体在 0.50-0.96 的周中捕获含自然文本填充的恶意活动。 成功规避检测的模型提取活动最多保留 42% 可检测模型的能力。
FLIP 攻击通过翻转 CIFAR-10 中 3% 标签,致使 ResNet-32 99.7% 触发样本误判。 研究通过改变特征空间重训练评估防御:冻结 DINOv2 特征下原型审计删除 6% 样本即降低攻击成功率,优于 SPECTRE 删除 20%。 更高的检测 AUROC 不保证模型更安全,部分检测分数更高的方法反而留下 2.6 倍的攻击成功率。