Anthropic 开源 FlashProve 验证推理身份
Anthropic 发布 FlashProve,基于密码学技术验证 AI 模型响应真实性,效率优于现有开源方法。\n\n该工具可防止聊天劫持,协助安全评估者验证测试模型与线上服务一致。\n\n代码已在 GitHub 开源,相关研究论文详细记录了技术细节。
Anthropic 发布 FlashProve,基于密码学技术验证 AI 模型响应真实性,效率优于现有开源方法。\n\n该工具可防止聊天劫持,协助安全评估者验证测试模型与线上服务一致。\n\n代码已在 GitHub 开源,相关研究论文详细记录了技术细节。
Collinear AI 开放了 100 个网络安全任务基准 CWE-bench v2,覆盖 91 种 CWE 漏洞,支持程序化评分并在 Hugging Face Hub 提供运行入口。测试结果显示 Gemini 4 Argon 以 67.8% pass@1 居首,领先于 Claude Opus 5.5。
推荐理由:CWE-bench v2 开放了 100 个网络安全任务,给出了各模型的成本与得分对比,方便开发者评估 AI 修复漏洞的能力。
Microsoft Research 经理 Mike Walker 指出,安全系统向用户索取规则即是在索取信任,滥用信任会导致安全体系崩溃。 他领导了 DARPA Cyber Grand Challenge,该计划展示了能自动发现并修补软件漏洞的自主 AI 系统。 他反思了理解信任与背景对有效安全的必要性,以及竞争黑客对团队集体智能的启发。
研究发现,单独可靠评估的大语言模型(LLM)智能体在群体环境中易受“已提交少数派”对抗行为影响,导致安全分诊决策发生剧烈偏移,表明个体审计无法可靠预测群体行为。
研究通过构建探针轨迹监测大型推理模型(LRM)的隐藏表示,以预测未来行为并解决思维链(CoT)不可靠问题。 提取波动率、趋势等信号处理特征,在静态探针AUROC低于70的情况下平均提升21.7个点,平均和最大池化操作取得78.5%至97.4% AUROC。 探针轨迹被证明是监测模型行为的有效信号,跨7个模型和6个数据集验证了其潜力,无需昂贵动态数据生成。
研究团队推出 VeriHarm 框架及 VeriHarm-Bench,用于自动验证 LLM 编码智能体在完成任务时是否造成意外危害。该基准通过最小化扰动任务诱导有害行为,并合成可执行测试同步评估任务准确率与安全结果。
PGuard 将安全监控集成至大模型骨干中,利用中间表征实现 token 级安全检测,不改变原有推理路径。 支持动态层门控及多种表征架构,在 Qwen3.5-122B-A10B 上端到端开销仅 0.82%-2.26%。 在 30 余个基准测试中表现领先,Qwen3.5-9B 文本查询平均 F1 达 0.836,接近专用外部护栏。
置信度监控在AG News分类中能以0.86-0.90的AUROC识别提示注入导致的低置信度劫持,但阈值校准后仍可放行51-70%的劫持。 攻击者添加“高置信度”指令可使监控漏检率升至99-100%,此时AUROC降至0.70-0.79。 研究指出置信度监控需针对高置信度攻击者并在运行警报率下测试。
421 个模板测试显示,4 个 LLM 分类器平衡准确率超 0.95,但对女性群体的仇恨言论误报率低 8.3 和 4.4 个百分点。 模型将针对女性的同类表述重构为个人厌恶,添加基准定义后差距依然持续。 验证需采用受控身份测试检查测量不变性,关注决策标准差异。
在8个对齐模型中,特定有害词通过单一隐藏状态方向改变生成边界,该方向上的投影可单调预测拒绝率。 利用该方向构建全词汇表恐惧/勇气词典,插入未见过的恐惧词会提升拒绝率,而将最恐惧词替换为保义同义词可显著提高回答率。 这一发现揭示了词元层面的线性拒绝机制,为安全微调提供可量化工具。
评估显示,在22个托管决策模型中,将策略边界改写为示例和反例,使全部23个可用模型的召回率提升5.5-26.1个百分点,并在21个模型上减少误报。 Jev 1.14模型召回率从89.3%升至98.2%,对252个干净操作的无效中断率从30.6%降至4.8%,且具体名称替换为通用描述后仍保留召回增益。 研究已公开数据集、规则文本及测试框架。
研究证实共谋智能体的 J-space 包含共谋信息,在 NARCBench 基准中 86% 的共谋者表现出误导性表征。 提出的 J-PACT 方法在 GPT-OSS-20B、Llama-3.3-70B-IT、Qwen3-32B 及 DeepSeek-V4-Flash 上保留 85% 的 AUROC,并识别 99% 的共谋对。 该无监督方法为监测多智能体系统中的隐蔽协调提供了新工具。
HaloGuard 2.0 发布开源权重的流式输出护栏,在单卡 H100 上处理 64 并发请求时仅需 0.37ms/token。 其 0.8B 版本在英文基准中宏 F1 达 83.6,参数量比最强全响应模型少 5-10 倍,且误报率降低 38%。
研究者利用LLM备选方案与token编辑距离,构建了有预算的KGW水印规避方法。 方法使用已知tokenizer在20%允许范围内进行全局搜索。在82个被检测的短段落中,39个通过改写使检测器Z分数低于4,平均编辑成本为16.0%。
针对2026年10月周期的公开排行榜,11款商业化AI“人性化”工具在35%-65%含事实文档中更改或遗漏数字、日期等关键信息。 其中多数修改集中于引用片段;按仅统计数字和名称计算,10款工具在20%以上文档中仍发生更改。
AgentSnare 提出轨迹自适应欺骗系统,通过动态扩展诱饵环境对抗自主网络渗透智能体,在15个CVE-Bench应用中吸收49.9%工具调用以延迟攻击,并将57.2%进入后操作保留在诱饵中转移攻击路径。 系统结合LLM驱动诱饵构建器与虚拟内核,使用小型LLM通过离线对抗交互模拟框架生成多轮轨迹,使89.5%完成报告基于诱饵证据,在60个攻击者-CVE配对中pass@3未成功利用真实目标。
WALMA 是首个针对 WebAssembly 数据型攻击的内存损坏 attestation 框架,通过将线性内存快照渲染为灰度图像并利用 CNN 分类来检测篡改,其 VGG-16 检测器在四个受 CVE 影响的应用上达到 95%–100% 判定准确率且零误报,而 1.9M 参数的 ResNet 变体足以在每次 host call 中于运行时内运行。
研究人员对基于SWE-bench的LLM和Agent自动程序修复(APR)进行了大规模安全分析,使用20000+个GitHub issue对比了开发者补丁与AI生成补丁的安全风险。
Value-Filtered Decoding 通过值基础安全准则过滤 token,减少不必要的干预并提升回复安全性。 该方法提供误干预概率的显式界限,单一阈值超参数控制该界限,在多个数据集上优于现有基线。 实现了安全性、有用性与基础模型相似度之间的更好权衡。
针对认证鲁棒模型在标准性能上的显著损失,提出通过知识蒸馏利用经验鲁棒教师模型进行改进。 采用通用特征空间蒸馏目标,验证从对抗训练教师模型蒸馏可显著提升ReLU网络在鲁棒计算机视觉基准上的性能,该研究已被NeurIPS 2026接收。
污染仅3.1%至7.4%的训练语料可使模型Top-k检索准确率下降最高46.9%。 现有检索防御在此威胁下检测率崩溃且表现不稳定。 新提出的GLAD防御在LIAR-RAW基准上恢复了73%至80%的性能退化。
研究提出基于 Jensen-Shannon 散度(JSD)的信息论框架,分析稀疏自编码器(SAE)激活转向。 该框架通过 JSD 量化生成状态与目标分布偏差,构建转向向量并监测偏离。 实验在问题模式生成任务中验证了转向有效性,并分析了安全相关目标特征。
VeilFL 提出一种双聚合器协议,为 PINE 匿名联邦学习增加两阶段问责机制,支持重复提交检测而不泄露正常参与身份。 原型实现中,创建提交耗时 2.11 ms,验证耗时 3.01 ms;批次验证时单条提交成本降至 1.86 ms,公开部分大小 608 字节。
在 Qwen2.5-7B-Instruct 模型中植入的“偏好熊猫”潜意识在 4-bit 量化下发生显著偏移,HQQ 使其强度增至 1.3 倍,NF4 则降至 0.3 倍。 研究发现量化舍入误差的空间结构而非幅度决定了偏好强度的变化,随机重排误差可使强度在 0.2 至 1.6 倍间波动。 因此,16-bit 审计无法可靠限制实际部署风险,安全评估必须测试即将部署的确切量化权重。
针对 LeWorldModel 的测试时鲁棒性研究表明,其在潜空间规划界面对攻击高度脆弱。 攻击者通过对单帧输入施加 ℓ∞ 范数 ε=4/255 的白盒扰动,可在 73%–95% 的场景中将方块定位到任意姿态而不干扰智能体状态编码;扰动目标图像或实时观察会使 Push-T 规划成功率从 87% 骤降至 32%,而两倍幅度的均匀随机噪声影响可忽略。
针对连续控制任务中状态维度物理意义差异大且 $L_p$ 范数难以解释的问题,提出性能退化非均匀不确定性集合(PDNUS)。 该框架在策略评估期间在线合成状态依赖、逐维度非均匀的不确定性集合,通过理想约束优化与替代约束解决计算难题。 实验表明 PDNUS 能揭示策略在不同状态和维度上的敏感性变化,同时适度控制性能退化。
SHIFT 方法通过 Shrink-and-Heal Lookahead 生成蒸馏目标,在机器遗忘任务中实现最优性能。 在 OpenUnlearning 协议下,SHIFT 取得最高综合得分,较次优方法对 oracle 模型对齐度提升 3.7 倍。 在 MUSE 基准上保留最多知识,且在较大优化预算下能避免基线方法过冲。
SkillDRE 是一个全自动框架,通过双阶段反馈闭环演化恶意 Agent Skills 包。 其在 SkillsBench 上针对四个受害者模型的平均攻击成功率为 45.28%,超过最强基线 40.3%。 最终提交的 Skills 未触发 SkillScan 检测,且基本保留了良性任务性能。
Silent Revision 研究发现,前沿 AI 开发者安全框架重大变更中 64% 在严格标准下未公开。 该研究分析了 12 家开发者的 710 项承诺,指出列举式说明比叙述式更可审计。 75% 的可追溯变更削弱了承诺,且削弱比强化更常未公开。
研究提出一种审计方法,通过干预中间层激活来定位并修复微调模型中评估与安全部署行为之间的失配。 该方法在12种模型-行为设置中,有10种评估-部署差距减少超过0.12,4种关闭差距(降至0.06以下)。 这是一种非自适应白盒诊断工具,用于受控的微调检查点,并非训练时防御或部署安全保证。
JailbreakOPT 提出一种维护可复用提示词转换动作库的方法,将动作组合为宏观动作进行集内搜索,生成独立攻击提示词。 该方法利用上下文 Thompson 采样和先前搜索路径结果学习动作选择策略,以复用跨剧集经验。 实验表明,JailbreakOPT 在多个 LLM 和基准上提升了攻击成功率(ASR),优于单动作和迭代基线方法。
GitInject 是一个开源框架,用于评估实时 GitHub Actions 工作流中的提示词注入攻击。它通过临时仓库执行实际工作流,暴露沙箱、凭证处理和权限边界等平台语义。
该研究对 LLM 激活转向在对抗文本扰动下的鲁棒性进行了首次系统评估。 实验覆盖 1.5B 至 30B 模型,显示方向鲁棒性下降最多达 64%,攻击后置信度普遍低于 0.25。 层选择策略同样脆弱,最优层位置偏移最多达 17 个位置。
研究引入选择性关联精度指标,评估8个公开视觉-语言模型(VLM)在匹配去标识化胸部X光片与报告中的表现。 在ReXGradient-160K数据集上,MedSigLIP-448在过滤性别、年龄段和投照位后,100次查询预算下精度达67.68%,中位候选报告数为327。 该指标无需重训练即可推理,有助于医院评估应公开哪些属性以降低匹配风险。
针对 DPO 安全对齐分布外泛化差的问题,课程学习框架 Staged-Competence 通过难度排序数据与渐进更新参考模型,使分布外有害响应率降低 13.6 个百分点,五种越狱攻击成功率降低 16.5 个百分点。
TOMPA 框架揭示主流奖励模型对无意义文本评分高于 GPT-5 参考回答。在 Skywork-Reward-V2-Llama-3.1-8B 上,两种映射的平均奖励分别为 +33.64 和 +43.78,攻击成功率达 97.6% 至 100%。结果证明高基准性能不保证对非语言对抗输入的鲁棒性,暴露了将奖励模型作为优化目标的基本漏洞。
研究提出 WebWeaver 攻击框架,通过仅妥协 LLM 多智能体系统中的单个任意 agent(而非管理 agent)来推断完整通信拓扑。 该框架仅依赖 agent 上下文而非 ID,结合隐蔽越狱机制与无越狱扩散设计及掩码策略,在主动防御下推理准确率比 SOTA 基线高约 60%。
ScenicProver 提出了一种框架,支持构建可组合、经形式检查的验证案例,解决了学习赋能 CPS 难以验证的问题。 该工具支持使用 Scenic 语言建模环境和系统,利用 Lean 4 进行形式证明,并可通过 Pacti 结合证据生成可追踪的验证案例。 其方法在同等计算资源下,提供了比整体测试更强的概率保证。
研究人员提出 AuthRank,一种基于引文网络计算的可信度评分方法,用于提升处理网络威胁情报的 LLM 管道在投毒攻击下的鲁棒性。该方法结合 PageRank 算法,利用显式引用、LLM 推断引用和主张级蕴含构建引文网络,并引入时间衰减与作者可信度增强机制。在 MS MARCO 数据集上的实验表明,该方法在存在投毒的情况下能显著提高处理精度,并在 CTI 文档和源数据流上实现了概念验证。
该综述构建了 Agentic Security 领域首个全景式框架,围绕应用、威胁和防御三大支柱对 274 篇论文进行了系统分类。 它量化分析了红队/蓝队智能体对比、攻击在智能体循环各阶段的具体入口,以及不同防御策略的成本与安全权衡。 最终通过跨领域映射,揭示了特定防御对各类攻击的覆盖关系,帮助研究者识别该领域当前的研究密集区与薄弱环节。