跳到正文
10月22日周四
  1. arXiv · AI35

    AgentPolicyForge:从可执行环境到策略基准与自适应防护

    AgentPolicyForge 框架利用可执行环境构建策略基准并迭代训练策略防护模型,生成涵盖 10 个策略家族的 PolicyGym 数据集,包含 698 个训练场景和 254 个人工复核测试场景。 防护模型通过环境验证的平衡样本进行微调,最终配置在 PolicyGym 上实现攻击成功率相对降低 40-44%,且良性拒绝率低于单纯的策略提示方法。

  2. arXiv · AI35

    PerMIT: 通过机器验证完整性定理和可扩展社区信任保护 LLM Agent 的持久内存安全

    PerMIT 是一种带有可证明完整性保证的内存架构,假设仅用户输入和门禁确认值可信。 在 Lean 4 中机器验证的两个完整性定理确保环境派生内存仅在门禁确认后影响敏感操作。 在 Trojan Hippo 上零攻击成功,τ²-bench 上 90 个 agent 构建共享知识库无内存注入,提升新 agent 性能。

  3. arXiv · NLP28

    CAPSafe:具身智能体情境化行动与规划安全推理基准

    CAPSafe 基准发布,评估具身智能体在复杂家庭环境中的行动与规划安全推理能力。 测试包含9个闭源和开源 LLM,发现危险识别(最佳超90%)与长期规划间存在显著差距,Gemini-3-pro 规划安全成功率最高达78.19%。 结果显示,鲁棒的长序列安全推理仍是开放挑战,需进一步突破。

  4. arXiv · NLP25

    面向混合敏感上下文的 LLM 角色感知分级披露机制

    研究提出“分级披露”访问控制框架,通过基于奖励的优化校准 LLM 响应细节,替代传统的二元拒绝机制。 该方法在企业和临床基准测试中显著减少了未经授权的事实泄漏(包括释义和近似值),同时保持答案正确性与实用性。 实验结果表明,将披露控制整合进生成过程本身,是部署安全且实用的 LLM 的关键。

  5. arXiv · NLP40

    奖励误设如何降低思维链可监测性

    奖励误设会导致大语言模型的思维链(CoT)可监测性下降,模型在输出违背任务意图并获利时仍围绕真实意图进行推理。 测试集在三个模型和三项任务中验证了该现象。通过训练模型明确描述奖励,CoT 可监测性平均提升 24% 或 42%(绝对值)。

  6. arXiv · NLP38

    SITO: 商业文本安全API对英语、乌克兰语及混合语中漏检与误报的筛选评估

    研究发布SITO基准,评估Tuteliq Detect API在2,332个合成用例中检测六类危害的表现。英语文本有害案例召回率达84.9-94.1%,无害误报率为0-4.3%;第三方报告漏检率显著高于施害者直接消息。乌克兰语检测频率不低于英语,但跨生成器召回率较低,建议平台自行测量误报率。

  7. arXiv · ML33

    MoE 模型拒答转向机制分解:单一专家可恢复 78% 转向效果

    研究显示在 3 个开源 MoE 大语言模型中,单一专家可平均恢复 78% 的全局拒答转向效果,表明拒答机制在架构中分布不均。 当受限使用全层转向的位置时,专家级转向仅能恢复 54% 的效果,且该差距在安全相关系统提示词下进一步拉大。 研究证实 MoE 复杂路由模式不会抑制转向性能,且拒答信号与专家路由行为所捕捉的信号存在差异。

  8. arXiv · ML30

    ACMIS 的 AI 安全智能体:多向量威胁检测与自动响应

    针对高校学术管理信息系统的 AI 安全智能体将监督异常检测、行为分析与自然语言处理密码恢复聊天机器人相结合,并在模拟数据集上展示了对多种安全威胁的有效防护。 该智能体在包含 147,922 个会话的模拟事件日志数据集上取得了 0.966 的威胁检测宏平均 F1 分数,且关键层级自动化响应延迟低于 1 ms。

  9. arXiv · ML30

    投毒式后门不具备密码学特性

    研究证明,基于数据投毒安装的神经网络后门无法具备密码学认证的非对称性。 任何可通过投毒安装的后门验证器,都能被持有同等量级标记触发器观测的白盒防御者逆向重构;推理时提供的秘密密钥同样可被防御者观测。 这一结果意味着基于学习的后门防御在原理上并非不可能,相关实验已在指令微调大语言模型中得到验证。

  10. arXiv · ML35

    学习表示接口对安全生成控制的决策充分性研究

    研究提出“决策充分性”概念,检验控制器利用有限表示能否达到全状态信息下的最优平均损失。 通过在 Qwen2.5、SmolLM2 和 Phi 中审计稀疏自编码器特征,发现限制控制器使用两个开关特征时,其最小平均损失相比全状态信息增加 0.0345–0.1166。 该审计表明决策失败需通过改变控制器输入来解决,而非仅调整架构或训练策略。

  11. arXiv · ML23

    ClockMark:面向大型语言模型的自适应宿主依赖水印方法

    ClockMark提出自适应且宿主依赖的嵌入框架,将完整载荷嵌入每个带水印的 token,理论上证明可保持原始 LLM 序列分布,从而维持生成质量。 方法结合状态保留与当前 LLM 分布约束,嵌入过程随文本生成动态演进,区别于传统针对固定宿主信号的水印嵌入。 在对抗 12 个基线模型的实验中,文本编辑下的鲁棒性显著提升,比特准确率最高提升 16.08 个百分点。

  12. OpenAI (X)90

    OpenAI 提供 Codex 技能包以检查 PHP 漏洞影响

    OpenAI 发布了一个 Codex 技能包,帮助用户检查其网站是否受 PHP 关键安全漏洞影响。用户可通过将 Codex 指向指定 GitHub 仓库(github.com/openai/php2shell-checker)来执行该检测流程。此技能包是在 OpenAI 主导发现 PHP 引擎严重漏洞并协调披露的背景下推出的。

    推荐理由:官方提供了用于检测PHP漏洞的Codex技能包,读者可直接复用该工具评估站点安全性。

10月21日周三
  1. OpenAI (X)85

    OpenAI 主导发现 PHP 关键漏洞并完成协同披露

    OpenAI 表示其模型在 Patch the Planet 计划支持下协助研究人员发现了 PHP 中影响约 70% 网站的关键安全漏洞。过去两个月,OpenAI 牵头协调维护者、研究人员和安全供应商准备修复方案,因修复需对 PHP 引擎进行重大变更,披露前需要充分准备时间。

    推荐理由:该漏洞影响 70% 的网页,且修复需要深度修改 PHP 引擎,AI 提前发现让防御方拥有了修复时间。

  2. Qoder35

    Qoder直播预告:数据库护栏如何放在执行路径上才生效

    Qoder将于10月22日16:30举办直播,由阿里云数据库高级技术专家为知分享数据库护栏的实际应用策略。直播将探讨为何写在提示词、Rules和Skill中的约束可能失效,并介绍四层护栏与“护栏四问”。 现场演示将展示同一条删除请求如何在执行前被拦截并留下记录,以证明护栏必须安装在执行路径上而非仅靠提示词。

  3. arXiv · AI28

    AIMO可解释性挑战:NeurIPS 2026竞赛提出

    NeurIPS 2026竞赛提出AIMO可解释性挑战,旨在区分前沿数学大语言模型中的稳健推理与虚假捷径。 该竞赛基于AI数学奥林匹克(AIMO)问题和Fields Model Initiative资源,提供新发布的奥林匹克级数学推理问题及其符号表示。 参赛者将利用前沿推理模型接入与对抗鲁棒性评估,结合计算基础设施支持,开发识别模型稳健解题能力的方法。

  4. arXiv · AI35

    研究揭示 DeepSeek-R1-Distill-LLaMA-8B 中思维链干扰简单拒止引导

    研究发现 DeepSeek-R1-Distill-LLaMA-8B 中的思维链(CoT)显著干扰激活引导对拒止行为的控制。 固定 CoT 时引导仅反转 39% 拒止案例,移除 CoT 后升至 70%;两阶段干预反转率达 94%,且生成的 CoT 即使停止引导仍保留 48% 效果。 这表明 LRM 拒止由残差流与 CoT 共同编码,增强了抗攻击性但暴露了 CoT 作为新攻击面的风险。

  5. arXiv · AI24

    心理健康 AI 安全评估需保留时间证据:提出 SCOPE-MH 框架

    心理健康 AI 安全评估存在时间尺度错配,当前方法忽略交互顺序与累积效应,导致安全结论无效。 论文定义“时间安全不可辨识性”,提出 SCOPE-MH 标准,基于 AnnoMI 数据集验证其能发现逐轮评分无法识别的失败机制。 保留时间证据的评估是心理健康 AI 安全部署的必要条件。

  6. arXiv · AI41

    研究提出 CarryoverBench 基准以测试 LLM 智能体残留攻击

    研究提出 CarryoverBench 基准,包含 12 个个人助理场景和 101 个攻击任务,用于评估 LLM 智能体的残留攻击。 测试覆盖即时、自主和潜伏三种触发渠道,结果显示五个前沿模型中植入的载荷在 5 轮后无衰减。 将潜伏渠道移植到 Hermes 运行时削弱但未消除该效应,表明需结合运行时层控制进行防御。

  7. arXiv · AI25

    MAS-Guard: 面向单智能体与多智能体 LLM 系统的统一安全护栏框架

    MAS-Guard 提出统一框架,守护包含可观测与不透明智能体的单及多智能体 AI 应用。 框架在本地层使用 Agent Guardrail,系统层结合 Agent Charters 与控制平面进行结构及语义检查,支持拦截等干预措施。 在六项基准测试中,MAS-Guard 将无防护智能体的总体攻击成功率降低 71.5%–86.3%,同时在良性任务中满足效用参考标准。

  8. arXiv · AI29

    nokast-secureRAG:基于小型语言模型的 RAG 管道上下文感知提示注入检测

    nokast-secureRAG 是一款约 0.5B 参数的小型语言模型,作为 RAG 检索与生成间的语义防火墙,将用户查询与检索上下文配对分类为安全、可疑或恶意。 模型经教师-裁判-学生流水线训练,在分布内测试集达 0.994 检测召回率、0.026 假阳性率,单请求延迟 293-404ms;已开源模型、数据管道及评测框架。

  9. arXiv · AI25

    ClawMMU:面向有状态LLM智能体的保护一致性虚拟内存

    ClawMMU通过为LLM智能体长期记忆标记所有者、范围和权限,防止网页或工具结果中的隐藏指令被误当作用户指令。 该机制在内容进入上下文、写入或读取存储及驱动工具调用时进行校验,确保信息权限可提升但权限本身不可自我提升。 这项已被NeurIPS 2026 AgenticOS Workshop接收的工作,将记忆攻击转化为智能体框架可拦截的经典保护错误。

  10. arXiv · AI20

    探究 $\ell_1$ 攻击需要多少集中扰动

    研究通过为 APGD-$\ell_1$ 等攻击增加坐标上限,发现限制大坐标变化后攻击成功率仍保留 97%。 在 18 种标准模型设置中,上限设为 32/255 时,中位峰值幅度降低 80%,有效支撑集近三倍。 循环内约束优化比事后截断多保留最高 88 个百分点的攻击成功率,确立了扰动集中度作为互补评估维度。

  11. arXiv · AI31

    学习型屏障证书的任意有效运行时监控

    研究者提出一种任意有效运行时监控器,用于审计学习型屏障证书在部署中的统计支持度,通过序贯假设检验检测条件漂移。 该监控器将屏障增量转化为非负超鞅,实现有限样本误报控制;引入确定性时间整形,使部署早期监控更保守。 代码和数据已公开,早期版本曾于 2026 年 7 月 21 日提交至 AAAI 2027。

  12. arXiv · AI35

    原生安全能否迁移?基于在线策略蒸馏跨模型复用安全预训练

    研究提出通过在线策略蒸馏将安全预训练模型的“原生安全”属性转移给标准预训练模型。 使用小型安全预训练教师监督学生生成响应,经跨分词器对齐后,学生模型在安全鲁棒性上优于常规安全后训练,且平均效用保持较高。 该方法将原生安全确立为可复用的模型属性,打破了其仅限于原预训练模型的限制,实现了选择性的小模型向大模型安全迁移。