跳到正文
10月23日周五
  1. arXiv · NLP23

    LLM 生成 UML 类图的幻觉溯源:实证分类学与缓解研究

    研究基于 60 条 DeepSeek-R1 追踪构建包含 11 种幻觉子类型的分类学,涵盖提示词忠实度、代码忠实度及推理质量三个维度。在 120 条 DeepSeek-R1 与 20 条 DeepSeek-V4-Pro 追踪中,发现模型存在依赖性故障模式。缓解实验显示,在提示词中加入约束使 Qwen3 模型的 F1 分数提升 4.0 个百分点。

  2. arXiv · NLP28

    Agent Mosaic:智能体 LLM 系统中机密泄露的识别

    研究显示,LLM 智能体在查询单文档时仍会泄露跨文档聚合的机密结论,GPT-5.6-Sol 在模拟测试中的泄露率为 7.08%。 实验包含 30 个合成案例和 10,800 个最终答案,即便添加分类标题和聚合规则等防护措施,32.37% 的答案仍发生不安全泄露。 结果证实马赛克式事件是智能体环境中一种已被观测到的机密失效模式,需在混合密级用户环境下加强智能体推理与披露控制。

  3. arXiv · NLP30

    领域特定 Constitutional AI:增强 LLM 心理健康聊天机器人的安全性

    文章提出将 Constitutional AI 训练应用于心理健康领域,利用特定原则增强 LLM 聊天机器人的安全性。 该方法旨在解决通用安全措施不足的问题,涵盖危机干预准确性、治疗指南依从性及对脆弱状态的管理。 成果已被 2025 IEEE 第 21 届 Body Sensor Networks (BSN) 国际会议接收。

  4. arXiv · NLP45

    自动安全系统偏差研究:危害判定依赖词汇导致对非标准语言群体的误报与保护缺失

    自动安全系统基于词汇判定危害,导致非裔美国人英语误报率高出两倍以上,且安全行为在低资源语言中失效。研究归纳七种失败模式,提出评估协议,在11种语言、5个开源系统中测试。 结果显示无系统达到母语者准确性,且系统能力增强反而扩大了最佳与最差服务语言间的差距。

  5. arXiv · NLP35

    大语言模型概率偏差研究:隐形化作为偏误来源

    大语言模型在涉及种族受保护属性时,常基于描述而非证据拒绝评估信息。 实验显示,模型拒绝评估黑人描述报道者的率达46%,白人仅为9%;但当模型进行评估时,对黑人描述报道者反而略多信任。 这种偏差随推理力度增加而加剧,且对警告指令反应更差;引入评分机制后,最后一轮种族信任差距降至0.02以下。

  6. OpenAI (X)58

    OpenAI 邀请 METR 和 Redwood Research 对内部监测系统开展嵌入式评估试点

    OpenAI 今年夏天邀请 METR 和 Redwood Research 对其内部监测系统开展为期三周的嵌入式评估试点,团队对其基础设施进行了深度访问,旨在监测内部智能体的失准行为。其发现结果帮助 OpenAI 在系统扩展过程中增强了安全保障措施,并将影响未来与 METR 及其他第三方评估机构的研究合作。一篇关于此次工作的简短报告现已公开。

10月22日周四
  1. arXiv · NLP33

    Output Vector Editing 缓解大语言模型记忆化

    研究人员提出 Output Vector Editing (OVE) 方法,用于抑制大语言模型从给定前缀中复现训练文本,该方法无需梯度且推理阶段无额外干预。 OVE 采用两阶段定位 MLP 层与神经元,并结合全词汇最小二乘更新;其多变体 OVE-MA 可自适应选择延续位置,在 360M–7B 参数模型中评估恢复性与局部性。

  2. arXiv · NLP28

    扩散语言模型生成安全的自适应引导与重掩码框架

    针对扩散语言模型迭代生成中的安全漏洞,提出结合自适应引导与重掩码的推理时防御框架。 利用门控方向动态调整引导强度,并在首个生成块后通过轻量检测器触发针对性重掩码。 在 LLaDA 和 Dream 模型实验表明,该方法提升对越狱攻击的鲁棒性,同时保持良性生成质量。

  3. arXiv · ML34

    基于探针训练的模型对齐方法在提升安全性与可监控性方面的优势

    研究提出探针引导的微调方法,利用检测模型内部激活状态中不良属性的探针作为直接训练信号,以替代仅基于输出进行对齐的传统方法。 评估发现,使用持续更新的探针进行微调,能比 DPO 和推理时引导(inference-time steering)实现更优的安全性与效用权衡,并显著增强对越狱(jailbreak)和消解(abliteration)攻击的鲁棒性。

  4. arXiv · ML38

    QDRT:针对大语言模型的自动化红队测试框架

    QDRT框架通过行为条件训练和多专用攻击者,生成比传统方法更多样且有效的对抗提示,用于测试LLM安全性。 该框架在GPT-4.1、GPT-5-Chat、Llama-3、Qwen2.5等开源及闭源模型上验证了有效性,超越了基于词频或嵌入相似度的简单多样性指标。 此方法为LLM的系统化安全评估提供了有效工具,支持人工智能的负责任部署。

  5. arXiv · ML35

    联邦学习客户端通过对抗观测发起远程行锤击攻击

    研究首次证明,通过操纵联邦学习客户端的传感器观测,可诱导服务器产生重复聚集内存更新,从而发起远程行锤击攻击(Rowhammer Attack)。 使用强化学习攻击代理在语音识别和 CIFAR10 分类任务中,实现了约 70% 的重复更新率(RUR),有效在服务器 DRAM 中引发位翻转。 该攻击可致学习中断或意外提权,揭示了联邦学习及硬件设计在安全缓解策略上的新方向。

  6. arXiv · AI28

    大语言模型对分组关联字段赋予错误权重

    研究发现,大语言模型在未知受保护属性时仍依赖无信息量的代理字段,且排序准确性与依赖程度不具一致性。 研究者引入证据参照审计法,在模拟患者排序任务中对比四种模型表现,发现有序标签比任意标签引发更多依赖。 该审计方法使衡量模型依赖偏离证据程度成为可能,而非仅通过观察到的选择进行推断。

  7. arXiv · AI43

    前沿 AI 训练的零知识验证提案与障碍:基于 zkVM 的可审计训练记录构建

    论文提出前沿 AI 训练的零知识验证设计方案,主张 zkVM 并非不可行而是当前范式限制,通过预承诺规格与 Merkle 承诺验证中间计算。 参考 zkVM 具备原生 BF16/FP32 预编译层,结合公共随机信标与事前证明,可按位核对声明语义并支持模型架构保密性。 文章列举了外部贡献者需解决的剩余研究与工程问题,为构建治理可审计的训练记录提供量化采样保证。

  8. arXiv · ML35

    边缘 VLM 时代物理对抗鲁棒性的统一评估框架

    研究提出条件攻击成功率(cASR)统一指标,评估边缘视觉语言模型(VLM)对抗物理对抗补丁的鲁棒性。 发现紧凑定位 VLM 的脆弱性与目标检测器相当,且失败模式主要取决于输出格式而非架构家族。 分布偏移下,原本因遗漏失败的 VLM 会转为位移或替代,产生更危险的置信度高的错误框。

  9. arXiv · ML25

    低资源语言中拒绝方向的普适性研究

    研究在 Qwen2.5-14B-Instruct 上测试了白俄罗斯语等三种低资源语言,发现拒绝方向转移具有分级效应。 安全对齐语言的方向可广泛转移,而强不对齐语言的方向则失效。 低资源且强不对齐语言用户可能面临较弱的模型安全保证。

  10. arXiv · AI41

    BiasGuard-D:用于可审计 LLM 输出质量强制的类型化对抗契约

    BiasGuard-D 通过双角色对抗、三模型表决及混合不变量验证,解决 LLM 记录中事实与幻觉共存的冲突,提供可审计的质量强制机制。 系统在 HaluEval QA 基准上,仅通过调整角色框架即可将正确回答恢复率提升 49 个百分点。 所有主张、投票和指令均存为类型化记录,为操作人员提供符合新兴 AI 法规的可审计溯源路径。

  11. arXiv · AI45

    AI 审批监控器在分布式系统中的相关性失效研究

    针对AI智能体行动前的多个监控器可能共同失效问题,研究提出借分布式计算理论设计安全且存活的决策规则。实测12个开源小模型及Claude Opus 5.5等3个闭源前沿模型,发现“计数来源而非票数”的新规则将正常交易拦截率从7.4%降至0.9%,安全性保持不变。引入不可被说服的规则引擎可恢复安全且存活的规则,建议多样化输入、强化监控器并计数来源。

  12. arXiv · ML38

    可监控性是可训练的:用于思维链可监控性的后训练

    研究者提出基于最大化思维链(CoT)与输出互信息的无监督后训练目标,以改进 AI 系统的 CoT 可监控性。该目标在三个 CoT 退化的模型中恢复了丢失的可监控性,并在未退化策略中提升了 CoT 监控器对不安全行为的预测准确率。结果表明,可监控性应被视为策略的可训练属性,专用后训练阶段可延长现有保护措施,对抗直接优化压力。

  13. arXiv · AI44

    长期记忆与 LLM 结合代价高昂:从提示注入到持久性攻陷

    研究发现 LLM 长期记忆功能导致“记忆注入”漏洞,ChatGPT Instant 5.3、Claude Sonnet 4.6 和 Gemini 3 Flash 均无法防御。 攻击者可利用个人记忆、MCP 资源等向量,在多个会话中持续传播错误信息或窃取提示,Claude 共享记忆更危及组织内多用户。 近半数防御机制未在目标服务中实施,论文提供了数据集与攻击工件以支持对策研究。

  14. arXiv · ML21

    FAIR-O:扩展 FAIR 原则以增强联邦学习的可观察性与可信度

    论文提出 FAIR-O 可观察性扩展,主张可信联邦学习需在模型更新外建立证据平面,且已开发 Python 原型验证。 该原型演示了每轮训练中由 TinyLLM 辅助生成的最小化签名信任证据生成与三级信任模型评估。 论文被 TrustFL-SIS 2026 研讨会接收,旨在解决本地数据无法自动保障联邦信任的问题。

  15. arXiv · ML38

    验证器审计失效机制研究:策略优化导致组件验证器性能下降

    在联合目标 $y = F \wedge M$ 的后训练中,随着策略对组件 F 的掌握程度提高,审计分数向 M 倾斜,导致对 F 失败情况的权重消失。 这种“在策略审计崩溃”会选出一个对 F 具有更低规范 AUC 的验证器头,并可能使下游约束违规增加。 保留自身失败支持并审计组件在自身失败上的表现,是防止此损害、修复审计失效的对应方案。

  16. arXiv · ML32

    基于注意力的间接提示注入检测:AttnDA 在 AgentDojo 基准中的评估

    研究首次评估了 Attention Tracker 在 AgentDojo 基准中的表现,发现其数据集无关性主张失效,在大多数模型族中检测接近随机水平。 该研究提出 AttnDA,用 Fisher Linear Discriminant Analysis 分类器替代标量阈值,跨四个基准测试中提升了检测性能,但向 AgentDojo 的迁移依然困难。