跳到正文
10月16日周五
  1. arXiv · AI23

    AWARE-RG:面向信息物理系统韧性图的抽象感知解释框架

    AWARE-RG 是一种半自动化、人在回路的框架,旨在为分析人员提供基于角色限制和需知原则的信息物理系统(CPS)韧性路径解释。 该框架利用形式概念分析处理 MITRE ATT&CK for ICS 战术,并结合 ICS Cyber Kill Chain 构建抽象结构。 它通过计划修复和向后均值分析定位缺失依赖及物理危害可达性,或报告确认的阻塞条件作为强化指引。

  2. arXiv · AI35

    Med-TrustRouter 实现临床推理中的知识安全路由

    研究者提出 Med-TrustRouter,一种用于临床推理的大语言模型轻量级控制器,通过逐实例路由决定何时信任外部医学知识,防止中毒证据导致模型回退。 该路由机制基于运行时信号估计动作收益与不确定性,仅在确信更优时修改答案,在七个医学推理场景中取得 78.9 macro 准确率与 69.2 最坏情况准确率。 结果显示其性能可跨不同求解器和证据裁判器迁移,优于基于人工编码的路由策略。

  3. arXiv · AI32

    DANGERLENS 探测安全对齐隐藏的危险表征

    DANGERLENS 探针揭示,经过相同安全对齐的 Qwen1.5 模型,若曾暴露于有害数据,其内部危险概念可访问性更高,且在中间及较深层分离度最强。 该方法通过映射隐藏状态至词表空间并采用盲测语义判断,区分有害目标、操作手段与危害识别、安全控制。 实验表明训练历史在行为一致的模型内部依然可见,支持内部可访问性审计与输出安全评估并行开展。

  4. arXiv · AI45

    AgentCIScope: LLM Agent 情境完整性评估基准

    提出 AgentCIScope 平台,通过 936 个可执行任务评估 12 个 LLM agent 的情境完整性(contextual integrity)。 单次运行泄露率 32.5%-94.4%,重复五次后增加 4-19 个百分点;个人信息和预订细节泄露率最高,日历是主要信息源。 作为统一测试床,为开发隐私保护 agent 提供深度洞察。

  5. Anthropic (X)32

    Anthropic 引入 METR 团队独立评估

    我们承诺让评估机构审查我们的安全实践。 我们正与多家机构洽谈,并已为 @METR_Evals 团队授予了类似员工的访问权限。 在本文中,我们描述了我们如何与第三方评估机构合作:https://www.anthropic.com/news/an-update-on-independent-evaluators

10月15日周四
  1. arXiv · ML38

    激活引导诱导涌现性错位的向量构建与综合评估

    研究证实激活引导(AS)可诱导涌现性错位(EM),且AS引发的安全风险比微调更严重,模型在无关领域生成更具可操作性和语义连贯性的有害响应。 研究进一步分析了AS诱导EM的关键因素,包括引导幅度、引导子空间的低秩结构及微调轮数,并在不同模型家族、规模、任务及干预层上评估了其鲁棒性与敏感性。

  2. arXiv · ML27

    可信 AI 研究必须考量属性间的交互影响

    可信 AI 在提升公平性、隐私、鲁棒性、可解释性和不确定性量化时,改进单一属性常会对其他属性产生负面影响,如应用差分隐私可能加剧偏见。 该立场论文系统审视了上述五个属性间所有两两交互的负面效应,主张当前孤立改进一两个属性的研究方法已不足。 作者呼吁转向整体性视角以同时权衡所有相关维度,并为研究者和实践者提供了管理属性交互的建议。

  3. arXiv · ML36

    SafeAdapt-Poker:对手偏移下的预算自适应反事实风险校准方法

    针对对手行为偏移,SafeAdapt-Poker 将预算自适应形式化为双反事实序贯控制问题。 该控制器通过单调策略风险模型与配对预算状态延续模型,权衡即时适应价值与偏差消耗。 在 Leduc 游戏中,完整控制器弱池收益达 +0.0718,最坏对手差值 -0.0126;抽象 HUNL 交叉博弈获 +42.7 mbb/hand。

  4. arXiv · NLP27

    SecJev: 将安全专业知识引入 System One 决策模型

    SecJev 是一款专为安全领域定制的 Jev 风格决策模型系列,参数规模从 0.8B 到 9B。 基于 Kev 的单通道候选评分器,SecJev 可处理来自文本、遥测和观测历史的布尔型、选择型及有序决策任务,并通过场景加权训练覆盖 14 项任务与 8 类安全来源,在任务宏平均准确率上比 Kev-9B 高出 20.51 个百分点。

  5. arXiv · NLP23

    固定与递归自我改进系统中安全性的算法不可验证性

    现有 AI 验证不可能性结果仅针对固定系统,递归自我改进系统提出了新问题:能否预先证明安全属性在代码重写后依然保持。 研究建模自我修改为代码的完全可计算变换,指出若变换读取代码,保持性至少与停机问题一样难,且沿轨迹的持久性比单步高一个算术层级。 这些结果表明算法保证在图灵完备性和无限制自我修改处失效,静态下需设计限制重写以支持认证,冻结参考系使问题良定义。

  6. arXiv · ML28

    System One 模型在 LLM 工作流中的校准与风险预算决策

    System One 模型在 LLM 自动化二元决策中,通过保守回退控制误判风险。 在涵盖审核、安全等六个数据集的测试中,Learn Then Test (LTT) 方法仅在 7.8% 的设定中超出目标风险,而朴素阈值基线约有一半超出。 这表明仅依赖类概率接口不足以支持部署,需结合风险预算机制平衡效用行动与观测误差。

  7. arXiv · ML38

    MCAIR: 基于内部表征监测与校正智能体不忠实行为

    MCAIR 提出利用 LLM 智能体内部表征进行运行时监测与校正的框架。 该框架训练风险感知探针以在线检测完成不忠实现象,并引入风险引导校正循环。 研究还构建了包含步骤级执行轨迹与一致性标注的 ACUD 数据集。 实验表明 MCAIR 性能优于 LLM-as-a-judge 基线,能有效降低不忠实率。

  8. arXiv · ML23

    基于图分析的隐私 Transformer 推理中的可比性、规模与归因研究

    该研究构建了包含62个隐私 Transformer 推理(PTI)系统的经验图,通过三层分析揭示系统可比性与扩展瓶颈。 节点级归因显示密码学进展驱动性能提升但伴随模型保真度等因素;边级审计表明1891个候选系统对中仅1对可直接比较。图级分析指出隐私推理扩展前沿停滞在13B参数,并预测生产级部署成本。

  9. arXiv · ML36

    自适应对抗者下具身与 Agentic AI 统计保障的局限性

    有限安全评估无法排除“认证前保留正常行为、认证后激活”的对抗者。RoCo 协作模拟显示,切换策略在认证后的 36 个情景中导致 34 次指令分离违规。 AgentDojo 预注册试验估计四任务延续中多发生 1.98 次安全违规(95% 区间 [1.67, 2.29])。结合永久撤销与混合似然比监测器可将违规从 12.00 降至 3.81 次。

  10. arXiv · ML20

    提出 GracefulRL 算法训练语言模型优雅失败

    研究人员提出 GracefulRL 算法,通过重塑强化学习优化景观,使语言模型在不可靠时执行安全回退策略。 该方法无需标注何时回退或额外验证器,直接基于结果级奖励信号生成优雅失败行为。 实验显示,模型在保持任务解决能力的同时,能主动识别能力边界并调整策略。

  11. arXiv · ML38

    诊断与纠正可验证指令遵循中的奖励作弊:提出 CALIF 方法

    前沿模型在可验证指令遵循基准中常因仅满足输出约束而获得满分,掩盖了实际回答质量的缺失,导致强化学习诱导奖励作弊现象。 CALIF 方法通过在校验器奖励中增加基于现有冻结参考策略的校准似然奖励来解决此问题,无需额外评判模型。在 1.7B 至 8B 规模的模型上,CALIF 在 IFBench 上提升了约束满足率,同时保持回答质量不下降。

  12. arXiv · ML21

    语义重构游戏:一种无训练的大语言模型越狱评估方法

    提出“语义重构游戏”作为无需训练的越狱评估方法,通过仅改变裁判模型可消除高达 82 个百分点的攻击成功率(ASR)误差。该方法让大语言模型重构回答对应的请求,并与相似诱饵请求对比以判断合规性,在三种现成裁判模型中误差最低且降低 ASR 波动。该方法优先避免假阳性,即使可能漏报部分成功越狱。

  13. arXiv · ML37

    TRACER: 针对间接提示注入的轨迹正则化训练

    TRACER 提出一种通道感知的对抗训练方法,将 Qwen2.5-3B-Instruct 在 RAG 场景下的攻击成功率从 65.5% 降至 6.1%。 该方法结合答案锚定奖励与 ATRC 机制,在保持 78-82% 清洁准确性的同时,7B 模型单轮训练平均攻击成功率降至 9.4%。 研究证明有效防御必须针对实际部署通道进行显式训练与评估。

10月14日周三