AgentSentry通过时序因果诊断缓解LLM智能体中的间接提示注入
该论文提出AgentSentry,一种通过时序因果诊断和上下文净化来缓解LLM智能体中间接提示注入(IPI)的推理时防御机制。在AgentDojo评测中,该方法在多种攻击下记录到0%的成功攻击率(ASR),平均任务效用(UA)达到76.10%,相比最强基线模型提升了1.84至7.60个百分点。
该论文提出AgentSentry,一种通过时序因果诊断和上下文净化来缓解LLM智能体中间接提示注入(IPI)的推理时防御机制。在AgentDojo评测中,该方法在多种攻击下记录到0%的成功攻击率(ASR),平均任务效用(UA)达到76.10%,相比最强基线模型提升了1.84至7.60个百分点。
研究提出“假朋友困境”(FFD),指出用户可能对对话式 AI 产生关系信任,当机构利益冲突时,这种信任易被利用进行操纵或剥削。 该困境体现于产品销售、传播偏见信息、监控及行为引导,文章探讨了结构与技术缓解策略。 FFD 本质上是媒体治理与政治经济学问题,不仅关乎技术本身。
研究提出跨界投毒概念,即攻击者向共享上下文注入消息以在被恶意用户外触发未授权操作。作者在 Continua 和 ElizaOS 两个多用户智能体上验证该攻击,并构建 MURMUR 评估框架。结果显示任务聚类和来源提示可有效缓解传播,证明多用户智能体需明确的用户/任务范围限制而非通用输入过滤。
针对大语言模型人类反馈强化学习(RLHF)中偏好模型、参考策略或奖励函数误设导致的性能敏感问题,本文提出了一种双重鲁棒偏好优化算法。 该算法在偏好模型或参考策略中任意一个正确设定的情况下即可保持一致性,无需两者同时准确。理论分析与实验均证实,其性能优于当前最先进算法,且对模型误设具有更强的鲁棒性。 该成果已被 NeurIPS 2025 接收,相关代码已公开。
跨学科项目“她工作,他工作”通过对比生成式AI中男女建筑工人的图像输出,揭示社会偏见如何体现在AI生成系统中。研究采用融合传统性别特征与非典型场景的提示词,发现AI倾向于强调女性的审美与敏捷性,而将男性与权威感和专业性联系起来。
Bot-Mod 框架通过质询目标智能体而非仅依赖内容信号,基于贝叶斯后验推断揭示多智能体系统中的隐藏恶意意图。 该框架使用固定诊断探针和校准的内容先验,在 Molt-Intent 数据集上取得 0.736 的 F1 分数,超出最佳基线 22%。
临床类别不平衡使标准不确定性度量失效,沦为类别成员代理而非临床模糊性指标。 研究在56种合成条件及多发性硬化症、帕金森病、阿尔茨海默病3个神经退行性队列中验证,结合阈值感知指标的CCR框架恢复严格单调性,有效缓解少数类排除。 该结构性缺陷可修正,采用阈值对齐不确定性度量及分层评估能降低类别特异性风险,防止脆弱患者被隐性排除。
论文提出 SimpleLoRIF,一种可扩展的梯度嵌入方法,用于识别导致 LLM 安全退化的微调数据。该方法简化低秩归因,仅对最后 4 个 Transformer 块进行反向传播,可处理百万级样本,误对齐梯度空间 AUC 达 0.865。
研究团队构建了包含 10,000 条数据的 HausaSafeLM 数据集,基于 Qwen2.5-7B-Instruct 探索豪萨语 LLM 的安全对齐方法。 实验对比 SFT 与 DPO 策略,发现未微调模型因生成能力有限而高拒答率具有误导性,单一配置难以同时最大化安全性、有用性与流畅度。 研究指出仅依赖拒答率指标无法可靠评估低资源语言的安全对齐效果。
针对 LLM 代理的审计证书有效性依赖于“审计硬币”的保密性,该硬币必须在代理选择行动前保持与代理视图的“预提交非干涉”(PNI)。 论文证明 PNI 是应对自适应代理偏差的充要条件,并指出任何泄露(包括静默审计导致的工具时间戳延迟)都会破坏标准审计证书的有效性,且单纯提高审计率无法修复此缺陷。
AdvGuard 提出模型无关框架,检测并缓解 LLM 系统提示词泄露。 框架利用有界语义交互图捕捉跨查询关系,混合查询评测中召回率提升最高 36%,假阳性率不超过 3.4%。 在对抗循环中,系统将精确匹配泄露限制在 0.00-0.01,子串匹配在 0.01-0.09。
研究提出一种名为PHLE的方法,通过评估基座模型对输出的似然来解码潜意识信号。 该方法能区分带有“爱猫头鹰”或“爱鹰”提示的数字串,以及移除显性对齐缺陷后隐藏伤害用户意图的回答,而提示词分类器表现接近随机猜测。 PHLE在Qwen和Olmobase模型间部分有效,为Persona Selection Model提供了证据,可用于审计模型隐藏目标。
Log-To-Leak 攻击在 18 个模型-服务器配对中实现 62.64%-100% 的攻击成功率,且 16 个配对的任务完成度变化不超过 6.63 个百分点。
研究发现,主流视觉语言模型在执行人脸种族与性取向转换任务时,生成的图像在统计上可区分且常强化刻板印象。 这些生成过程中的表征偏差会重现于文本推理与人物特征描述任务,并延伸至犯罪嫌疑人的画像生成。 该研究已被EMNLP 2026主会议接收。
提出白盒诊断框架 CauTrace,从功能状态、表征传播、时间状态协调和推理轨迹四维度解析 LLM 失效根因。 在 Qwen 和 LLaMA 系列模型上验证,失效轨迹表现为支持状态更新中 Attention-MLP 一致性减弱,且验证活动少于承诺活动。 该框架为 LLM 安全性研究提供统一诊断工具。
ADTGuard 通过检查每个 token 来防止大语言模型在流式生成中暴露有害内容。 该框架仅使用 16M 可训练参数,实现了与最先进防护方案相当的检测性能并保持了较低的每个 token 延迟。 它通过深度时间安全动态和因果深度路由器,自适应地聚合各层证据并引导风险累积。
该策略结合校准失败概率、状态相关后果、可逆性等五项因素。在 20 个种子的模拟实验中,CASEL 将有副作用轨迹从 14.75% 降低至 7.02%,优于仅基于不确定性评分的门控机制。 研究在 CBASE 2026 会议上被接收,并强调了有限样本阈值的有效性条件。
研究团队推出医疗伦理基准 MedConstBench,将部署宪法作为受控变量,评估 10 个开源 LLM 在 4 种宪法下的行为。该基准基于 Beauchamp 四原则,包含自研临床困境数据集 MedDilemma,采用人工校准的多模型互评打分。实验表明宪法效应具有维度选择性和模型依赖性,没有单一宪法在所有情况下最优,随后提出的“不伤害”自适应选择器可低成本泛化到未见模型。
研究通过信号检测理论测量7款LLM区分用户更正与操纵的能力。 实验显示引用使5款模型更易让步且4款区分能力变差,Ministral 3B在权威声称下违规。
研究在 MNIST 和 CIFAR-10 数据集上测试四种模型窃取攻击,证实脉冲神经网络(SNN)比传统人工神经网络更难被复制。 SNN 代理模型的预测一致率和对抗迁移率分别比 ANN 低 10%-20% 和 15%-25%,其基于一时间依赖的动态决策边界使得 ANN 难以近似。 这一发现将 SNN 的鲁棒性扩展至功能复制层面,支持其在安全敏感应用中的使用。
作者建立了一个开源实验室,用于测量 AI 编码代理沙箱的安全性。每个沙箱都宣称能阻止代理读取密钥、访问网络或植入 git hook,该仓库将这些宣称转化为任何人可执行的契约,并记录在不同沙箱上运行这些契约的结果,以便在相同的测试下进行比较。
OpenAI 周一公布在数学(证明挂谷猜想)、物理学(量子色动力学)和计算机科学(证伪指数时间假说)三大领域的重大突破,但科研人员对其由 AI 公司主导的受限发布方式表示不满。
同一新闻,精选展示《OpenAI 宣布数学与物理科学突破》
OpenAI 宣布 AI 88 小时解决 Navier–Stokes 方程难题,但纽约大学数学家 Buckmaster 公开质疑,担心其存储在 OpenAI 的 Codex 工具中的研究草稿可能影响了 OpenAI 的结果。OpenAI 澄清称无人看过其他团队工作,且相关提示词无法影响系统,但争议凸显了 AI 在科学中存在幻觉及削弱研究信任的风险。
LessWrong 核心成员 Melissa 花 12 小时撰写的倡导“嬉皮士理性主义”文章未在该平台发布,而是改投 Substack。 她认为现有理性主义社区的本体论框架过于狭隘,无法承载其希望 AI 像最仁慈的佛教僧侣般对齐的愿望,并强调个人观点不代表 AISafety.com。 这一举动反映了部分安全研究者对理性主义社区方法论局限性的反思,推动相关讨论向更开放的 Substack 平台迁移。
StayFair 通过分解模型偏差与 Guidance Scale 相关的引导偏差,解决了调整 guidance scale 时扩散模型公平性下降的问题。 该算法在 classifier-free guidance 中通过 prompt-dependent offset 移动 null embedding,仅修改 guidance 步骤即可叠加于现有公平模型,且不牺牲图像质量。
8款AI年龄估算模型面临化妆攻击,单一合成胡须可使28%至69%的未成年人被误判为成年人。 研究使用Gemini 2.5 Flash Image对329张10至21岁人脸图像进行胡须、灰发等模拟攻击,8款模型包括Gemini 3 Flash、GPT-5-Nano及MiVOLO。 攻击导致预测平均年龄增加7.7岁,最大攻击转换率达83%,凸显已部署年龄验证系统的关键脆弱性。
日本 AISI 开源工具 aisev 实测显示,温度设为 0 无法保证 LLM-as-Judge 评估结果可复现。在 690 次 API 调用中,强制贪心解码下仍有 1-2 个边缘样本存在翻转。该研究揭示了单次运行结果缺乏方差指标的结构性缺陷,并建议将评分器分歧作为一级健康指标。
研究通过800格因子实验验证了针对部署安全分类器的在线漂移检测方案,86.8%的检测结果经过控制验证,w=100时平均延迟为39.7步。 在技术实现上,针对高维嵌入中保形自适应失效的问题,将PCA降至32维使时间漂移覆盖率提升33pp和20.5pp。
MUNKEY提出“设计上遗忘”范式,通过删除实例识别键实现零样本遗忘,无需权重更新或访问原始数据。该记忆增强Transformer在自然图像、细粒度识别和医疗数据集上优于所有事后基线。此方法实现了面向部署的快速遗忘,同时保持预测性能。
提出针对 LiDAR 物体检测 SOTIF 分析的不确定度评估方法,通过阈值转移在触发条件下判定性能目标适用性。 基于 PointPillars 在 KITTI 和 nuScenes 数据集的测试显示,按帧计数时远距离及雨雾场景的阈值转移导致多数正确检测被拒绝,但 ROC 曲线下面积未下降。 该结果验证了性能目标仅在特定触发条件下经测试后才可视为有效证据,需结合独立记录序列数量进行报告。
VulDec 引入对齐真实汇编-源代码对的 CWE 标注数据集及神经反编译检测框架。 经过调优的 LLM 反编译器在跨架构下实现约 56% Edit Similarity 和 43% BLEU-4,检测器在测试集上宏观 F1 达 0.61。 研究证实神经反编译为二进制漏洞检测提供了优于传统低层表示的强力替代方案。
Combinatorial Lock 提出免训练、参考校准的多触发后门防御方法,将多触发识别转化为二进制激活签名组合问题。 结合异常门控谱清洗与哈希压缩签名集成检测,将攻击成功率降至 0.1%,同时保持 97.8% 的干净准确率。 该方法支持 ASIC 和 FPGA 硬件实现,跨架构增加 19-20% 延迟开销,适用于硬件原生多触发后门缓解。
针对安全微调 LLM 罕见故障率难以直接采样测量问题,研究提出 ALE 方法,利用 token 对数概率变化定义放大方向以高效估计故障概率。 在 41 个评估目标中,37 个 ALE 估计与独立直接测量值在 3 倍误差范围内;在 Qwen3-8B 微调实验中,仅需约 1000 次标记 rollout 即可估计低至 10^-5 的故障率。
针对不可信数据训练中的后门投毒攻击,提出基于 f-散度的通用认证鲁棒性框架。 该框架结合数据子采样与特征、标签及测试样本噪声,支持任意威胁模型组合。 实验首次认证了在 bagging 结合加性 Laplace、Gaussian 或 Uniform 噪声下,针对一般 ℓp-约束投毒对手的鲁棒性。
论文提出 Aligned-PAC 学习框架,将 AI 对齐问题转化为泛化问题,即训练需求下的成功能否扩展至未知需求。 该框架通过独立评估提供对齐的严格证据,并开发了结合学习模型以满足训练需求的优化方法,解决了部分理论结果。
研究者提出一种名为 All-in-One 的可组合攻击框架,同时针对量化、剪枝和模型合并等 LLM 部署变换。 该方法将各变换近似为权重扰动,通过在原始模型和模拟变换模型上联合训练良性与恶性损失函数实现单次攻击。 实验表明该攻击在多种模型家族和部署场景下均取得高成功率,突显了 LLM 变换带来的安全威胁。
RiskCueBench 基准显示,在意图可恢复时,LLM 增加上下文特异性会导致拒绝率降低 0.175,全局安全评分降低 0.440。 该基准包含 160 个潜在意图和 640 个表面提示,覆盖 25 个模型组及 32,000 个输出,证实安全行为可能因表面形式而错配。 这促使评估方法在语义可恢复性条件下报告响应行为。
多领域学者指出,AI 系统有望在未来几年内自动化大部分 AI 研发工作,这可能引发“智能爆炸”,将数年的技术进步压缩至数月。 智能爆炸可能极大加速 AI 效益,但也会带来超级 AI 失控及权力制衡被严重侵蚀的极端风险。 鉴于不确定性高且利害关系重大,政策制定者应紧急增强对 AI 研发自动化的可见性,并制定相关约束措施。
基于加密包元数据,研究揭示云LLM服务存在流量侧信道泄露风险,模型指纹识别准确率高达97.7%。 基准包含6万用户交互及2838次多智能体执行,提示词改写无法消除模型特征,单智能体流量即可识别任务。
提出StepTrigger,一种针对VLM驱动四足机器人的接触状态触发后门攻击,利用Unitree Go1在密集地形步行的足地接触模式作为隐蔽触发器。 该攻击从多模态机器人状态学习选择性策略,区分良性压力事件与有毒接触样本。在分层离线评估中,98.75%的干净行为保留率与76.25%的真触发激活率表明其隐蔽性,揭示了本体感知和接触通道中未被现有防御覆盖的后门表面。