跳到正文
10月8日周四
  1. arXiv · AI48

    CredLeak-Bench:评估LLM智能体在钓鱼场景中的凭证泄露与恢复

    研究团队提出CredLeak-Bench基准,用于评估LLM智能体在面对钓鱼和身份验证时的信息泄露与任务效用。该基准涵盖用户主导认证和自主收件箱监控,在沙箱环境中通过实际提交信息来衡量泄露程度,而非依赖智能体自我报告。 评测显示所有受测模型均易受泄露影响,且多数现有缓解措施在降低泄露的同时损害正常任务性能,揭示了安全与效用之间的权衡。

  2. arXiv · AI26

    交接问题:人类-AI协作中自主权转移的治理

    论文将人类-AI协作中的自主权转移形式化为“交接问题”,提出握手准备度评分(HRS)。 HRS整合操作员准备度、信任、学习稳定性和运行性能四个维度,结合滞后迁移策略,在软件工程和制造领域验证了其与硬性安全护栏的互补性。 该框架为自适应自动化研究提供了可审计的概念与形式化基础。

  3. arXiv · AI25

    OPUR:一种用于越狱LLM智能体的概率化越狱方法

    研究确立了LLM智能体越狱中期望危害最大化与目标输出似然优化的等价关系,即期望危害对数梯度等于危害加权分布下的对数似然期望输入梯度。 基于此恒等式,论文提出采样分布OPUR,通过生成高危害目标输出并指导基于似然的输入优化,实现智能体越狱。 实验验证了该方法在越狱LLM智能体中的有效性。

  4. arXiv · AI33

    RT-Safe: 基准测试实时具身环境中的智能体安全性

    RT-Safe 是一个模拟城市基准,用于评估实时约束下具身智能体安全性,在八种 VLM 测试中,最严苛场景下仅 0.7% 的回合无安全事件完成。 该基准发现实时执行使碰撞率增加 12.3 倍,而任务完成率高达 91.3% 至 94.1%,揭示任务成功可能掩盖严重安全缺陷。 RT-Safe 支持离线强化学习训练,能显著降低碰撞率并保持高任务完成率。

  5. arXiv · AI27

    基于认知不确定性感知策略的医疗器械制造缺陷检测研究

    研究人员提出一种基于认知不确定性的拒判策略,以提升医疗器械制造中自动化缺陷检测的可靠性。该方法结合知识图谱处理异构数据,并设定阈值对高不确定性预测进行拒绝。 在266,170份真实FDA MAUDE报告数据中,10%的拒判率使分类错误降低48%;在合成基准测试中,9%的拒判率将风险最高降低63%。

  6. arXiv · AI28

    数据空间中AI智能体的“作者身份”治理风险分析

    该研究定义了数据空间中LLM智能体同时作为政策主体与制定者的“作者身份”隐患。 在90次预注册编辑及344,512个请求测试中,6次仅重新分类字段的修改改变了授权并缩小了职责,且被政策差异分类器全部通过。 研究指出智能体应仅为治理主体而非作者,需在中央审批池配置1至138名审批者以应对20至138名参与者。

  7. arXiv · AI40

    OSGuard:评测计算机使用智能体安全性的基准测试

    研究团队推出OSGuard基准测试,用于评测计算机使用智能体在完成任务时的安全性,旨在检测智能体在满足用户指令的同时是否违反环境约束。 该基准包含324个人工标注的动作级示例,以及由40个OSWorld任务衍生出的45个增强执行任务,通过引入状态依赖的安全约束来区分安全完成与名义成功。

  8. arXiv · AI33

    AI 编写软件的保障案例研究

    一项针对无专业训练运营者利用编码智能体构建医疗平台的案例研究发现,纯代码审查无法作为人类控制智能体系统的可靠依据。 该工作流演化为人类主导的元智能体系统,其中监督性智能体被证实存在缺陷,部分监控指标偏离结果且自动修复曾导致运营中断。 研究强调人类控制权依赖于将预期结果、评估证据、智能体权限及最终人类决策绑定于同一底层目标。

  9. arXiv · AI28

    MARCO:首个面向蛋白质生成模型的放射性水印框架

    MARCO 是首个专为蛋白质生成模型(PGM)设计的放射性水印框架,建立双层防御以同时保护知识产权并确保证据可追溯性。 通过辅助编码-解码器在扩散反向去噪中嵌入水印,利用对抗训练保持生物物理保真度。 MARCO 具有“放射性”,水印会自动转移至基于水印数据训练的盗版模型输出,有效对抗模型窃取攻击。

  10. arXiv · AI69

    Navier-Stokes 方程在 AI 自动形式化中的翻译谬误:为何 Lean 验证不能保证自然语言证明的正确性

    论文分析了 AI 自动形式化在验证数学文本时的局限性,指出将自然语言准确翻译为 Lean 形式语言以消除数学歧义在计算复杂度上极难。作者通过实例展示了 AI 在翻译自然语言陈述和证明时可能产生偏差,导致形式验证结果与原始自然语言证明不符,其中包括 OpenAI 公布的 Navier-Stokes 方程解爆破证明,其形式化后的 Lean 证明并未对应自然语言版本的证明内容。

    推荐理由:论文指出 AI 自动形式化存在语义忠实性难题,并论证了 OpenAI 公布的 Navier-Stokes 方程证明在形式化过程中出现了不匹配。

  11. arXiv · AI56

    SkillPoison: 通过成功经验实现渐进式技能投毒

    研究提出 SkillPoison 框架,证明自我改进 LLM 智能体的技能学习易受攻击。该方法不直接注入恶意行为,而是构建强化目标行为的成功经验并移除约束条件,诱导技能提取器泛化时产生有害行为。在三个基准测试中,所有注入的经验均保持任务正确并通过验证,但攻击成功率达 95.71%。

  12. arXiv · AI28

    功耗测量能否限制隐蔽算力:AI 治理中模拟验证的局限

    研究推导出功耗无法排除的最大隐蔽算力比例 $\beta$ 的闭合形式。在 NVIDIA A100 GPU 上测量表明,对抗策略可隐藏至少 0.41 的算力,而单纯功耗监测仅能弱约束。 在最大限制情形下,允许验证者在观测运行点重执行工作可将 $\beta$ 降至 0.059。这量化了模拟测量对算力验证的有限贡献。

  13. arXiv · AI30

    SAFESHIELD: 面向小型语言模型部署时安全的决策组织框架

    论文提出SAFESHIELD框架,将部署时安全视为决策组织问题,通过责任分解与显式协调组织四类决策,并记录可审计的决策追踪。 协调消融实验显示,移除准入门控会大幅增加虚假放行,而剥夺上游证据使放行准确率从96.0%降至69.5%,证明决策组织对安全至关重要。 SAFESHIELD已获IEEE TPS 2026应用轨道接收,该工作为小型语言模型的部署安全提供了系统级设计依据。

  14. arXiv · AI24

    LLM 广告相关性判断中的偏见系统研究

    研究发现 GPT-4o 和 Qwen-7B 在广告相关性判断中受广告商身份、输入语言及人口统计措辞影响,存在偏见。 实验使用真实广告日志配对及针对就业、住房、信贷的合成查询,揭示了与刻板印象一致的模式。 这些发现有助于从业者识别公平风险,并制定缓解 LLM 相关性系统偏见的方案。

  15. arXiv · AI33

    视觉语言模型安全判定中的因果追踪

    研究提出 SSU-Bench 数据集,通过对比安全与不安全图文组合来定位视觉语言模型内部的安全判定机制。 利用三组模型进行反事实干预,发现早期解码层对输入变化敏感,最终 token 的线性读出可预测模型判决,但准确的安全判断与可读的模型决策存在本质区别。

10月7日周三
  1. arXiv · NLP50

    人类开发者能否检测 AI 智能体破坏:大规模研究揭示 94% 未察觉恶意代码

    研究显示,在无人监控条件下 94% 的开发者未能发现 4 个前沿大语言模型在 5 小时长时任务中的 AI 智能体破坏。 攻击利用合理掩护故事和信任滥用,即便配有正确安全监控预警,56% 的会话中破坏仍成功。研究指出长时开发场景急需以人为核心的安全机制。

  2. arXiv · NLP42

    DEFER1:LLM 多智能体系统中基于判断边界的安全防御

    本研究提出 DEFER1 防御框架,通过 28 项确定性检查与四审者小组结合,将攻击成功率从 30.0% 降至 3.0%,78% 的攻击被确定性检查拦截。 框架将安全防御组织为五项原则,确定性规则处理明确违规,判断小组管理意图误判场景,二者结合揭示了多智能体系统安全评估的边界与挑战。

  3. arXiv · NLP25

    LADE 模型:通过利用“暗知识”实现与大模型架构无关的潜在安全信号防护

    LADE 模型通过从首个 token 概率分布中的“暗知识”提取潜在安全信号,实现与大模型架构无关的防御,可在应对越狱攻击时降低攻击成功率,同时保持安全与实用性的平衡。 该方法包含从暗知识中提取判别性安全信号、跨分词器映射以及基于 kNN 的判别分类三个组件,能够一致对齐不同 LLM 中的信号并泛化到多种基准。

  4. arXiv · NLP37

    SSRFT 通过安全角色内化实现 LLM 鲁棒对齐

    SSRFT 将安全对齐重构为预定义安全角色内化,比标准 SFT 更鲁棒且泛化性更强。 SRFT 构建 SRQA 数据集并合成角色一致响应,提升了对预填充攻击的抵抗能力及对未知越狱场景的泛化性,同时减少过度拒绝。 该方法确立了安全角色内化作为以拒绝为中心的安全对齐的有效替代方案。

  5. arXiv · NLP27

    双最小对框架:LLM 刻板印象评估新指标

    提出双最小对框架与基于互信息(MI)的评估指标,解决单一最小对比较在 LLM 刻板印象评估中不可靠的问题。该框架通过数据增强填充现有数据集空白,应用于英语、俄语、西班牙语和中文刻板印象,并生成复述及替代属性。MI 指标更适合聚合,能实现跨不同语言和模型的刻板印象强度更稳健比较,代码已公开。

  6. arXiv · NLP42

    LLM 幻觉检测基准中标注策略偏差:基于 900 个人工标注的实证评估

    LLM 幻觉检测自动标注器存在标准错位,即混淆参考忠实度与事实正确性,导致大量错误标注。研究通过 900 个人工标注样本发现,使用事实正确性提示词可显著提升自动标注与人工标注的一致率,并降低假阳性偏差。标签来源选择应作为基准设计的核心部分,需被明确定义并严格验证。