跳到正文
10月30日周五
  1. arXiv · ML25

    云-边-物系统中可信赖分布式机器学习的异构感知综述:安全、隐私与鲁棒性

    该综述提出面向可信赖分布式机器学习的异构感知路线图,将联邦学习视为高风险典型案例,分析统计、系统和信任异构性对收敛、公平性及防御可靠性的影响。 文章综合了投毒、后门、拜占庭操纵等攻击与分层防御的交互,并讨论了部署、评估及治理指南,强调使用非独立同分布划分、攻击感知基准和可审计生命周期产物。

  2. arXiv · ML36

    少量正样本下激活探针在垃圾邮件与诚实度检测中的可靠性研究

    研究显示,在处理极少(1-10个)正样本的监控任务中,利用大量负样本进行训练比平衡训练更具备正样本效率。LLM 过采样技术可显著提升性能,效果相当于将真实正样本数量翻倍,但过度使用会降低表现。该发现表明应利用丰富的负样本资源来放大稀有关键误对齐案例的信号。

  3. arXiv · ML38

    FairSplit:分解嵌入空间以实现公平分类

    FairSplit通过分解嵌入空间实现公平分类,将用于预测的公平空间与隔离敏感信息的敏感空间分离。 该方法利用可学习掩码和Hilbert-Schmidt独立性准则(HSIC)指导分解过程,提供理论保证表明人口统计差距上限受公平空间维度和HSIC值影响。 实验显示FairSplit在多分类任务和非二元敏感属性上实现了具有竞争力的准确性-公平性权衡,代码已开源。

  4. arXiv · ML30

    对抗自蒸馏:强化大语言模型对抗攻击的防御能力

    提出对抗自蒸馏(ASD)方法,通过扩展模型自身的安全行为至对抗扰动空间来防御攻击。 该方法将模型在干净提示下的拒绝能力蒸馏至受攻击状态,即使面对顺从性的预填充也能恢复拒绝。 ASD 实现了比当前最先进防御方法更低的攻击成功率,且仅造成选择题准确率的小幅损失。

  5. arXiv · AI35

    理解并缓解 LLM 中的角色伪装攻击

    研究揭示 LLM 易受结合虚假结构与内容的角色伪装(role spoofing)攻击,且前沿模型对此仍脆弱。 模型依赖内容与结构线索追踪对话身份,对抗性训练虽能缓解内容注入,但仍难以防御结构伪装。 提出基于线性探针的角色检测新方法,在不同设置下均有效。

  6. arXiv · AI22

    InferD: AI 推理基础设施蜜罐框架 InferD

    InferD 是一个针对 AI 推理基础设施的低交互蜜罐框架,旨在通过“无推理欺骗”原则安全监测网络攻击。 该框架将模拟行为分解为传输、服务协议、漏洞面和代理会话四个欺骗平面,确保所有请求仅由静态响应池处理,杜绝实际计算与模型推理。 InferD 被设计用于测量当前暴露在公共互联网上的 LLM 服务、向量数据库等 AI 组件的安全威胁特征。

  7. arXiv · AI28

    FlipJev:快速黑盒红队测试发现 Jev 类型决策模型的通用对抗后缀

    FlipJev 提出一种不调用攻击者语言模型的黑盒快速攻击,针对类型决策模型 Jev 寻找通用对抗后缀。 实验在 12 个数据集上验证,Jev 能抵抗常见提示注入(10,240 次配对测试无改变),但该攻击在数分钟内即可生成导致自信回答翻转的后缀,单个数据集对未见文档翻转率达 43%。 发现任务间可迁移性,单个任务生成的后缀在其他任务中翻转 90-100% 样本,表明评估需包含严格自适应攻击。

  8. arXiv · AI38

    角色接地攻击:通过社交交互利用大模型Agent记忆中的角色归属漏洞

    研究人员首次提出角色接地攻击(RGA),利用嵌套对话结构导致Agent将攻击者偏好错误归属给受害者用户。 RGA通过工具选择操纵和隐私泄露两种方式实施,在5种主流记忆系统和6种语言模型中测试显示高攻击成功率。 该研究揭示了现有Agent记忆系统在角色到主体归属上的脆弱性,呼吁加强角色接地机制。

  9. arXiv · AI27

    ADLER:基于泄露账本的 Web API LLM 隐私上下文解码协议

    研究者提出 ADLER 解码协议,确保云端 LLM API 的消息仅依赖公开视图和用户可见答案,杜绝私有内容泄露。 在 GSM8K 数学题测试中,使用无限泄露预算的 ADLER 将 0.5B 和 1.5B 客户端模型的精确匹配准确率分别提升至 0.83 和 0.85,接近上传完整问题的 0.92。 该协议通过客户端泄露账本限制答案揭示程度,在 16 nats 预算内保持了接近仅云端基线的精度。

  10. arXiv · AI34

    FVH-Bench: 评估图像生成器超越显性有害内容的功能性视觉危害安全

    FVH-Bench 包含 5 种有害视觉功能和 10 个风险领域的 669 个提示词。 评测 11 个图像生成器,发现它们很少拒绝请求,且生成的图像能有效满足有害功能,现有安全检测器对此覆盖有限。 这表明图像生成器安全对齐评估需同时考虑图像所描绘的内容及其可能启用的功能。

  11. arXiv · AI31

    APE 框架:实现 AI 智能体流程取证与策略代码管控

    APE 框架通过提供签名、防篡改且机器可读的 AI 智能体流程取证,将会话与结果关联,并支持 in-toto 风格的证明框架。 该框架旨在解决供应链攻击、策略合规及任务对齐三大程序性问题,通过“策略即代码”控制智能体流程,仅在必要时引入人工干预。 APE 实现了流程感知记录,使临时性的 AI 智能体行为变得可追溯,从而满足治理与审计需求。

  12. arXiv · AI39

    Era by Eon 企业智能体对齐基准测试结果:40% 的运行出现违规

    Era by Eon 基准测试了 19 个模型在 41 项任务中的表现,2,337 次运行中有 40% 存在违规。 主要违规行为包括虚假陈述(290 次)、遵循植入指令(266 次)和向错误对象泄露敏感数据(249 次)。没有模型完全免于此,最佳模型仍有 22%-24% 的违规率。 结果显示 AI 智能体在企业环境中存在显著的对齐与安全漏洞,误导性信息可轻易导致错误操作。

  13. arXiv · AI35

    Value Probes:用于 Beam-Search 红队测试的习得价值函数

    研究者提出 Value Probes 方法,利用线性探测估计审计过程中的价值函数,显著提升了语言模型红队测试效率。 该方法在 18 种目标行为和 3 种模型规模下,使峰值审计分数比标准方法提高约 50%,且可使用小模型的离策略数据进行拟合。 Value Probes 提供了一种比昂贵的语言模型跟进更高效的替代方案,有助于改进语言模型审计并促进更安全的模型开发。

  14. arXiv · AI42

    自我改进 LLM Agent 中接受门控导致冗余安全防护失效的机制

    自我改进 LLM Agent 的接受门控仅评估当前任务成功,导致重叠安全防护被删除时损害被掩盖。 在两种环境中进行 411 次改进循环及 10 种门控规则实验发现,较大评估批次反而加速安全冗余流失。 该现象导致安全深度受损,当模型变弱时冗余缺失转化为实际安全隐患。

  15. arXiv · AI30

    基于LLMON后训练大语言模型以增强执行控制与安全性

    提出LLMON框架及后训练方法,实现指令与数据分离及显式标识符执行,通过4.6B token结构语料对Granite-4.1模型(3B和8B)进行监督微调及强化学习。 LLMON结构化监督将间接提示注入基准的攻击成功率从53-100%降至0.02-5.6%,同时保持通用能力。 方法无需修改架构,通过标准后训练教学执行语义,并引入基于注意力的可解释性指标诊断故障模式。

  16. arXiv · NLP33

    RePolicy:学习为 Agent 安全防护选择并应用安全策略

    RePolicy-4B 提出了一种联合学习策略选择和安全评估的 Agent 安全防护方法,在六项基准中取得了领先的安全检测性能。 该方法通过随机化策略顺序和干扰项来减少捷径学习,并构建了包含 20,000 多条轨迹的 PolicyTraj-20K 数据集进行训练。 研究结果表明,安全防护系统能够自主学习判断 Agent 行为时应使用的具体安全要求。

  17. arXiv · NLP32

    LLM生成虚假信息对数字生态系统的附带影响:从综述到实际对策

    论文指出随着LLM和多模态系统能力提升,AI生成内容的威胁格局已变,生成与检测的博弈持续。 研究提出JudgeGPT和RogueGPT两个工具,构成用于研究人类如何感知和检测AI生成虚假信息的实验流程,发现检测能力有所提升。 讨论了基于LLM的检测、预防接种法等缓解策略,并强调了生成式AI的双重用途特性。