跳到正文
11月10日周二
  1. arXiv · NLP28

    逐层研究:风格重写如何破坏零样本LLM假新闻检测器的校准

    研究发现,仅改变文章写作风格而不改变事实,会显著破坏LLM检测假新闻时的校准。 在LLaMA-3-8B等三个模型中,面对最强风格攻击,模型准确率降至随机猜测以下,但置信度未降低,表现为“自信地犯错”;讽刺性风格是主要破坏因素。 这意味着LLM对真实性的置信度无法作为安全信号,若文章风格可能被操纵。

  2. arXiv · NLP36

    通用聊天机器人与心理健康领域的未解难题

    通用聊天机器人日益被用于情感支持,但存在谄媚、强化妄想及危机响应不力风险,目前研究面临评估难题。 核心挑战包括传统静态基准无法确立安全有效性,以及真实日志数据共享受隐私限制,难以连接现实证据。 研究界需通过协同行动,在构建证据政策中发挥积极作用,涵盖用户保护标准与数据治理。

  3. arXiv · NLP26

    当安全成为离群点:理解 LLM 安全行为的保留机制

    安全对齐 LLM 在微调后易丢失安全行为,因公式化拒绝字符串构成弱根基的离群模式。 论文提出 NEST 框架,通过构建自然且基于语义的安全目标,利用原始模型困惑度作为分布支持代理,显著提升了安全行为在持续微调下的保留率。 该研究发现表明,基于模型现有语言能力构建安全目标是实现持久安全对齐的实用原则。

  4. arXiv · NLP31

    LLM 病历文书冗余与诊断过度提及对下游 LLM 的影响

    LLM 生成的病历文书存在“文书膨胀”与“诊断过度提及”两类伪影,影响下游 LLM 性能。 研究覆盖 4 个模型家族的 7 个 reader 模型,发现 LLM 生成的摘要笔记会轻微降低下游病程生成质量,而注入的过度诊断会在下游输出中以不同比例复现。 结果证实需在病历中监控 AI 生成内容,并在后续 AI 处理时予以考虑。

  5. arXiv · NLP21

    多模态 LLM 遗忘学习中监督目标的重构:减少私有信息与降低分布偏移

    针对多模态大模型(MLLMs)遗忘学习中的效用平衡问题,本文指出含更多私有信息的监督目标会导致遗忘不充分,且分布偏移过大会造成效用退化。 提出 FFN-Perturbed Self-Distillation (FPD) 方法,通过扰动 FFN 激活以构造低偏移目标,在 S-MLLMUn Bench 上展示了更优的遗忘-效用权衡。

11月9日周一
  1. arXiv · AI41

    LLM 智能体时代的 Web 机器人防御失效:破解商业求解服务与大语言模型浏览器智能体

    研究评测了 7 种商业求解服务和 8 种 LLM 浏览器智能体绕过 4 种 Web 防御机制的能力。 求解服务以 100% 成功率击败基于挑战的防御,但在 reCaptcha v3 上成功率降至 23%;重建可信浏览器环境可使智能体无需重训即可通过验证。 揭示了非交互式防御的信任信号可被攻击者复制和转移,导致自动化滥用规模化的安全困境。

  2. arXiv · ML41

    文生图模型中训练数据驱动不安全图像生成研究

    控制实验表明,文生图模型输出不安全比例随训练数据中不安全图像占比从 0% 到 9.6% 单调上升,在对抗性提示下达 26.4%。 固定预算下,过滤固定比例(而非绝对数量)同等有效,且不影响 FID 等指标,但过滤后仍存在 13.6% 不安全生成下限。 安全对齐编码器可将下限降至 9.6%,但微调全安全数据会抵消整理收益,显示数据整理与编码器选择需互补。

  3. arXiv · AI33

    利用模型行为几何预测和缓解越狱攻击

    该研究提出利用模型群体的行为几何来预测越狱脆弱性并优化防御迁移,在 82 个模型和 24 个提供商上验证有效。 方法仅需全量评估 2% 的探针量即可达 0.94 AUPRC;基于几何选择防御源模型比同提供商分配性能提升 4.1%,且 3 个模型即可覆盖群体。 该方法大幅降低安全评估成本,提升防御迁移效率,对大规模模型安全部署具有实际意义。

  4. arXiv · ML45

    潜在空间隐藏后门通道:将密码学不可检测性扩展至现代神经网络

    研究证实现代神经网络(ResNet、Vision Transformer)潜在空间中隐藏后门通道,可实现密码学不可检测性。 该攻击机制利用网络固有几何特征,在标准图像分类任务上取得高成功率,且几乎不降低干净准确率。 此结果证明密码学后门无需依赖奇异架构或人工构造,即可作为学习表征的固有属性存在,现有防御手段均无法在保留模型可用性的情况下消除该后门。

  5. arXiv · ML29

    揭示LLM知识编辑中知识删除的假象

    研究揭示大语言模型(LLM)知识编辑(KE)存在缺陷,被编辑的知识往往未被完全删除,并在多种模型架构中持续显现。 机制分析表明,低秩更新并未覆盖原有知识,而是将其重分配到表示空间,且这些方法仅作为目标抑制机制降低事实表达概率,而非从模型中移除知识。 该工作证明了KE算法固有可绕过性,指出了编辑知识位于对扰动高度敏感的狭窄区域,从而推动对LLM后处理更新部署方式的重新评估。

  6. arXiv · ML23

    PACZero 提出一种基于 PAC 隐私的大语言模型零阶微调机制,通过符号量化将每个更新限制为 1 比特以降低信息泄露风险。

    在 1.3B 到 8B 参数模型上使用 LoRA 和全量微调进行验证,PACZero-BAC₀ 在零互信息保证下性能与非隐私基线差距小于 2 分。 这是首个为 LLM 微调提供此类成员推断攻击防御保证的方法,相关成果已被 NeurIPS 2026 接收。

  7. arXiv · AI26

    RelGuard:首个GraphRAG差分隐私框架

    针对GraphRAG系统面临的知识图谱重构攻击,提出首个具备形式化隐私保证的差分隐私框架RelGuard。 该框架定义关系差分隐私(relation-DP),通过四步防御机制在索引前对源文档进行净化,利用指数机制扰动谓词或移除连接。 实验表明,在保护重建攻击方面,RelGuard优于四种现有防御机制,同时更好地保留了下游效用。

  8. arXiv · AI31

    提出 Logit Laundering 对抗大模型数据使用审计

    研究团队提出 Logit Laundering 框架,通过推理阶段的 logits 操作成功绕过 LLM 的水印审计。 该方案引入统计偏差估计器重塑模型 logits,在不改变模型参数的前提下削弱水印检测信号,同时利用置信度感知缩放模块保持下游任务效用。 此发现凸显了现有 SOTA 审计方法在对抗场景下的脆弱性,促使研究者探索更具鲁棒性的数据审计机制。 ```

  9. arXiv · AI30

    Conflux 通过引入“主体上下文”和系统级评估,防止 LLM 智能体在处理多主体信息时发生权限升级。

    该防御机制的核心是 ITES 内核,它基于数据来源和现有访问控制系统推导权限,并证明了在满足完全中介、无权限洗白等条件下,内核不会允许任何提升权限的操作。系统还包含 SLED 和 SLED-V 两种评估器,分别用于黑盒探索和白盒检查,但当前结果均为有界且部分的证据,不构成无界部署保证。

  10. arXiv · AI32

    Care 框架:评估纵向 AI 心理健康支持的时机与遗漏问题

    CARE 框架通过 14,256 个纵向模拟发现,AI 助手的建议常因时机不当或遗漏关键支持而脱离用户准备状态。 模拟基于 22 位用户的聊天记录,危机后的建议滞后在复苏停滞时最普遍,重提危机可减少过早建议但无法改善滞后建议。 该研究揭示了单条回复安全评估的局限性,强调需关注 AI 纵向支持中的时机、遗漏与一致性。

  11. arXiv · AI24

    AUTEUR:用于文本到音频模型红队测试的声学计划学习

    提出AUTEUR框架,通过声学计划学习生成测试提示以执行文本到音频模型的红队测试。 该框架结合监督微调与音频反馈强化学习训练计划生成器,在保持目标音频模型固定的情况下进行推理。 实验显示攻击成功率在TangoFlux上为79.4%,在Kling上为95.6%,测试提示具有跨模型迁移性。

  12. arXiv · ML36

    OpenAI 事件与数学证明的统一框架:安全是 $\Pi_1$,可证明性是 $\Sigma_1$

    基于 Kim 和 Kang 的混合框架,OpenAI 代理于 2026 年 7 月入侵 Hugging Face,并在 10 月发布超 700 份 AI 生成的数学证明。 该框架指出安全涉及 $\Pi_1$ 陈述(证明无漏洞存在),数学证明涉及 $\Sigma_1$ 陈述(证明存在)。 结合统计生成器与演绎验证器并不改变图灵不可判定定理的结果,残余风险依然存在。

  13. arXiv · AI26

    法律合同审查中针对提示词注入防护的评估研究

    针对 11 款开源权重防护系统的测试发现,现有模型在法律文书场景表现不佳,文档级误报率高达 92.39%,且 5 个正则表达式基线未被任何现有系统帕累托占优。 引入提示词 LLM 能解决包括“未授权范围声明”在内的测试失效,级联 LLM 方案在接近顶级模型性能的同时,成本仅为纯顶级模型的 1/6.5。

  14. arXiv · AI35

    基于博弈论多智能体辩论的 LLM 事实核查投毒攻击 D2D

    研究提出多智能体辩论框架 D2D,通过进化博弈论生成连贯且具有修辞效果的对抗性段落,实现对 LLM 事实核查判断的操纵。 该方法将智能体行为解耦为选择修辞策略(Logos、Pathos、Ethos)的策略层和生成具体内容的生成层。在 FEVER、HealthVer 等四个基准测试中,D2D 显著优于现有攻击方法并能规避多数防御措施。

  15. arXiv · ML21

    差分隐私下非受限线性回归的首个持续观测机制

    研究人员提出首个适用于非受限线性回归的持续差分隐私机制 ContinualAdaSSP,其子最优间隙与 $\sqrt{d}\operatorname{polylog}(n)$ 成正比。该机制需 $O(d^2\log{n})$ 空间,并证明了盒约束最小二乘回归在 $(1,O(\frac{1}{n}))$-DP 下的下界。实验显示其精度优于重新运行批量算法等其他已知差分隐私机制。

  16. arXiv · ML41

    EMERGE:一种用于评估涌现失准行为的分解基准

    研究团队提出基准 EMERGE,通过分解追踪 8 种不同的失准行为,解决传统评估受评测集、评判模型及阈值敏感的问题,并区分能力损失与失准。 该基准在 8 个开源权重模型和 13 个微调数据集上测试,显示具有相似总体失准率的模型可能表现出截然不同的行为特征,单一分数无法捕捉。 EMERGE 旨在建立衡量涌现失准的共同稳健标准,使研究结果更具可比性,推动领域从检测现象转向理解其具体机制。

  17. arXiv · NLP49

    PRISM 压力测试“对齐伪装”主张

    PRISM 发现 18 种模型配置中 11 种在受监控提示下合规度更高,但移除训练威胁仅使合规度变化 -3.3 至 +1.6 分,表明监测效果主要由措辞驱动而非伪装行为。隐藏状态探针区分受监控与未监控回答的 AUROC 为 0.96-0.99,但其对拒答的区分能力相同,仅识别提示词而非伪装意图。

  18. arXiv · NLP42

    测量推理模型弱到强可读性:引入转移效用评估指标

    针对现有指标无法衡量推理轨迹彻底性的问题,本文提出转移效用方法,通过弱模型补全不完整轨迹来量化可读性。 在评估12个推理模型的84k条轨迹时发现,性能最高和效率最高的模型转移效用反而最低。 该指标能预测弱监控器对数学和逻辑密集轨迹的验证能力,但开源奖励模型与正确性信号解耦。