跳到正文
10月9日周五
  1. arXiv · AI47

    Guard Models 无法仅靠禁止动作确保安全:ObligationBench 识别未履行的关键义务

    研究指出 Guard Models 仅识别禁止动作不足,GLM-5.3 轨迹中 56.92% 含未履行的义务。 团队构建含 240 条轨迹的 ObligationBench,发现现有模型最高精确匹配率仅 10.00%;开发的 ObligationGuard 召回率达 57.52%。 该基准呼吁将义务识别纳入 Guard Models 设计与评估,以提升 LLM 智能体安全性。

  2. arXiv · ML21

    地球科学中AI模型的战略治理

    基于气象和气候数据预训练的AI基础模型被微调至地球科学任务,其发展速度超过科学界的评估能力。 模型目前几乎仅凭基准技能指标评判,该指标衡量预报与参考产品的吻合度,而非物理过程表征能力。在气候变化非平稳条件下,预报技能与物理可靠性差异尤为关键。

  3. arXiv · ML48

    FIBS 论文:探针可有效检测 LLM 篡改与未言明的欺骗

    研究提出白箱探针方法,在 SHADE-Arena 中实现 98.8% AUC,超越 Opus 5.5 文本监控基线。 在“内省式欺骗”测试中,探针区分模型真实隐藏目标的 AUC 高达 99.7%,并能检测开源模型在政治敏感话题下的欺骗行为。 团队发布了名为 FIBS 的训练数据集,以推动前沿模型部署中有效探针的发展。

  4. arXiv · AI38

    Distillation for Incrimination and Distillation for Capabilities 提出两种用于 AI 安全的大模型蒸馏方法

    该研究提出 DFI 和 DFC 两种蒸馏方法,分别用于揭露大模型的不善对齐或安全提取其能力。 DFI 将 AuditBench 模型蒸馏至底层模型,学生比教师更可能承认隐藏行为,且需使用教师的 pre-RL checkpoint。 DFC 结合 inoculation prompting 和减少样本增加训练轮次,在保留能力的同时显著降低不善对齐的潜意识传递。

  5. arXiv · ML22

    如何通过包络采样缓解 LLM 后训练中的 reward hacking

    研究提出包络采样方法,通过最小化后悔上界来重新校准 LLM 评委,有效缓解因误校准导致的 reward hacking。 该方法基于假设人类奖励与重新校准后的奖励位于评委附近的 $L^2$ 球内,并提供了基于拒绝采样或针对修改后奖励微调的实用算法。 在临床笔记生成和从众倾向任务上的实验表明,相比基于基础模型的样本,包络采样能更有效地抑制 reward hacking。

  6. arXiv · ML23

    TRACE:生产 AI 系统可解释性债务的治理框架

    研究团队提出 TRACE 框架及可解释性债务评分(EDS),用于量化生产 AI 决策中低于治理置信度阈值的比例。 该框架包含 7 种工具,通过对 12 个月欺诈检测案例(日处理 5 万笔交易)的研究,证实 EDS 0.23 可提前 6 个月预测。 研究建立了欧盟 AI 法案第 13 条合规的首个量化操作架构,区分了解释生成与解释治理。

  7. arXiv · ML38

    RH-Detect:统一奖励作弊检测基准

    提出统一基准 RH-Detect,整合 11 个公开数据集共 92,761 行数据,涵盖 6 类行为。在 5,021 个开放式评估单元上评估 6 种现成模型,最佳模型池化 AUROC 达 0.962。在 MALT 和 TRACE 多轮工具使用数据集上,强模型准确率比其他来源低 10.7-15.9 个百分点,揭示了部署监控的关键差距。

  8. arXiv · ML21

    解释对抗训练神经网络的显著性图稀疏性

    论文提出了一种理论解释,阐明了两层 ReLU 网络在对抗训练后梯度显著性图呈现稀疏性的原因。 基于对抗训练等价于带权重衰减及对抗全变项的经验风险最小化,证明当数据点和神经元数量增加且正则化参数趋近于零时,最小化器收敛到具有最小梯度和 Barron 范数的贝叶斯分类器。

  9. arXiv · ML35

    潜意识学习可转移模型能力、后门及黑客倾向

    潜意识学习(SL)能通过语义无关数据蒸馏,将复杂能力、后门及黑客倾向从教师模型转移给学生模型。 实验显示学生模型在随机 MLP 预测任务中表现优异,女性名字触发法语响应的后门准确率为 23.5%,智能象棋环境中黑客行为率达 58.3%。 该结果揭示蒸馏可能隐蔽传递微对齐缺失风险,logit 蒸馏与限制 LoRA 至注意力层可增强转移效果。

  10. arXiv · ML24

    路由遥测引发隐私泄露:MoE 路由器信号的成员推断攻击研究

    研究表明混合专家(MoE)模型的路由遥测可被用于成员推断攻击,揭示模型微调数据集信息。 该攻击结合输出信号与路由特征,在 3 种 MoE 架构、3 个数据域上使 1% FPR 下的 TPR 提升 2.7–9.4 个百分点,泄露在 LoRA、指令微调及冻结路由器等设置中持续存在。 即使仅使用离散专家选择或单个影子模型,泄露仍可观测;路由暴露隐藏表征中的成员信息投影,而非依赖路由器参数记忆。

  11. arXiv · NLP27

    JevOut: 自然上下文如何翻转决策模型

    研究发现,看似普通的背景细节可使正确决策变为自信的错误。 在四个决策系统(含Jev)和七个数据集上,短上下文添加将61.4%-73.2%的初始正确决策重定向至预设错误选项。 盲测中91.6%的成功上下文被评为自然且保留答案,揭示当前模型对兼容性上下文的脆弱性。 ```

  12. arXiv · NLP33

    翻译如何掩盖数据污染:基于阿拉伯语语料库的证据

    翻译可掩盖 LLM 数据污染信号,导致仅基于英文的后验探针失效。 研究通过向四个开源模型暴露 MMLU 和 XQuAD 的阿拉伯语翻译验证此现象。TS-Guessing 和 Min-K%++ 信号在翻译暴露下消失,而新提出的 TACD 诊断方法能检测跨语言一致性。这突显了开发多语言污染诊断工具的必要性。

  13. arXiv · NLP31

    法律思维链忠实度反事实审计:引用权威却未真正咨询

    研究发现,7个开源模型在指定法律依据时准确率高达66.7%-100%,但判决随依据变更的敏感率仅0.0%-76.7%,引用权威并非判决依赖的有效代理。 模型规模扩大及专为法律推理微调的LoRA模型均无法缩小该差距,且红队测试显示模型对隐藏在案情中的对抗指令合规率达73.3%-96.4%。 这些发现直接影响生成式法律解释作为合规或审计工件的可靠性,揭示了其在面对对抗性操纵时的脆弱性。

  14. arXiv · NLP34

    知识冲突下评估 LLM 智能体的认知谦逊:准确但不一定谦逊

    研究发现 LLM 智能体高任务准确率不必然对应更高的认知谦逊(epistemic humility)。 研究通过识别、解决、升级(ISE)三个行为维度,在受控与自然知识冲突场景中评估了四个智能体,发现模型常在早期检测冲突但后期无法维持。 模型级干预虽能提升认知谦逊,但常以牺牲任务准确率为代价,表明该能力源于底层模型、智能体框架与评估环境的交互。

  15. arXiv · NLP46

    基于价值表征预测 LLM 对齐泛化

    研究通过 66 个价值观的大规模分析,发现基于模型激活的表征在对齐泛化预测上显著优于文本描述方法。 激活方法达 0.45 相关系数,而描述方法仅为 0.05;该表征还能衡量多值对齐目标的相似性与模型鲁棒性。 工作展示了研究 LLM 价值观泛化的重要性,支持更经验性地设计和训练模型行为。

10月8日周四
  1. arXiv · ML26

    基于扩散模型的多模态大模型地理位置隐私泄露缓解方法

    研究人员发现,多模态大模型(MLRM)会利用视觉线索推断用户地理位置,且现有的拒答机制可被攻击绕过,攻击成功率高达100%。 该方法引入扩散模型,在生成过程的潜空间中注入扰动,配合专门针对GPS坐标对齐的GeoCLIP模型进行优化,从而破坏模型对地理位置的提取能力。 该方案在保持图像清晰度的同时,显著提升了模型在面对未知模型攻击时的黑盒泛化能力,并具备直接部署于社交媒体平台的潜力。

  2. arXiv · ML25

    审计 LLM 增强图神经网络中的隐私风险

    LLM 增强图神经网络 (GNN) 尽管提升了效用,但实证显示其隐私脆弱性高于浅层文本基线。该研究通过统一框架审计了 42 种配置,涵盖 10 个文本属性图数据集和 6 种隐私攻击。结果表明 LLM 增强表示在嵌入空间中具有更可区分的信号,使推理攻击更易利用。

  3. arXiv · ML41

    研究发现视觉语言模型中的 Token 剪枝导致安全漏洞,并提出安全感知剪枝机制

    首次全面评估视觉语言模型 Token 剪枝的安全性,发现多数策略降低安全,而基于查询的压缩在 99.8% 剪枝率下反而提升安全。 揭示“剪枝诱导的恶意放大”机制:移除背景 Token 迫使注意力坍缩至前景恶意锚点,从而放大越狱下的毒性语义。 提出即插即用的安全感知剪枝(SAP)机制,在三个安全和四个效用基准上测试,最多将攻击成功率(ASR)降低 62%,且不损害效率或效用。

  4. arXiv · ML23

    CLIP 提示词间隔安全分数控制评估:仅追踪场景相似性

    针对冻结 VLM 安全信号的幻觉问题,研究对 CLIP 提示词间隔安全分数进行受控评估,指出其未能真正感知危险。 该分数在接触前约 20 步内下降,但机制测试表明主要追踪提示词共享的场景相似性。 常置信控制保留低灾难率点估计,说明策略增益无法确立危险感知能力。

  5. arXiv · ML26

    将 AI 生成音乐抄袭检测建模为版本识别问题

    本研究提出将 AI 音乐抄袭检测转化为人类-机器跨域的音乐版本识别任务,并构建了包含 350,654 个评估对的基准数据集 COPYCAT。 COPYCAT 数据集由真实案例结合生成重合成与数字信号处理混淆生成,用于测试状态最先进架构的可迁移性。 实验表明标量距离阈值化在重合成下失效,而基于坐标嵌入偏移的监督框架将 $F_{0.5}$ 分数从 0.612 提升至 0.803。