跳到正文
10月28日周三
  1. arXiv · AI26

    CauTrace 揭示 LLM 失效内部机制与对抗推理轨迹

    提出白盒诊断框架 CauTrace,从功能状态、表征传播、时间状态协调和推理轨迹四维度解析 LLM 失效根因。 在 Qwen 和 LLaMA 系列模型上验证,失效轨迹表现为支持状态更新中 Attention-MLP 一致性减弱,且验证活动少于承诺活动。 该框架为 LLM 安全性研究提供统一诊断工具。

  2. arXiv · AI23

    ADTGuard:面向大语言模型流式推理的自适应深度时间安全防护

    ADTGuard 通过检查每个 token 来防止大语言模型在流式生成中暴露有害内容。 该框架仅使用 16M 可训练参数,实现了与最先进防护方案相当的检测性能并保持了较低的每个 token 延迟。 它通过深度时间安全动态和因果深度路由器,自适应地聚合各层证据并引导风险累积。

  3. arXiv · AI23

    CASEL 提出了一种后果感知的选择性执行层,旨在通过最小化每种模式的成本,为工具调用选择直接执行、验证、沙箱化、澄清、审批或弃权。

    该策略结合校准失败概率、状态相关后果、可逆性等五项因素。在 20 个种子的模拟实验中,CASEL 将有副作用轨迹从 14.75% 降低至 7.02%,优于仅基于不确定性评分的门控机制。 研究在 CBASE 2026 会议上被接收,并强调了有限样本阈值的有效性条件。

  4. arXiv · AI24

    MedConstBench:基于宪法框架评估 LLM 在医疗伦理中的行为引导

    研究团队推出医疗伦理基准 MedConstBench,将部署宪法作为受控变量,评估 10 个开源 LLM 在 4 种宪法下的行为。该基准基于 Beauchamp 四原则,包含自研临床困境数据集 MedDilemma,采用人工校准的多模型互评打分。实验表明宪法效应具有维度选择性和模型依赖性,没有单一宪法在所有情况下最优,随后提出的“不伤害”自适应选择器可低成本泛化到未见模型。

  5. arXiv · AI24

    脉冲神经网络是否更难被盗?随机编码在模型窃取中的作用

    研究在 MNIST 和 CIFAR-10 数据集上测试四种模型窃取攻击,证实脉冲神经网络(SNN)比传统人工神经网络更难被复制。 SNN 代理模型的预测一致率和对抗迁移率分别比 ANN 低 10%-20% 和 15%-25%,其基于一时间依赖的动态决策边界使得 ANN 难以近似。 这一发现将 SNN 的鲁棒性扩展至功能复制层面,支持其在安全敏感应用中的使用。

  6. arXiv · ML29

    青少年能否欺骗AI?低成本化妆攻击对年龄估算系统的评估

    8款AI年龄估算模型面临化妆攻击,单一合成胡须可使28%至69%的未成年人被误判为成年人。 研究使用Gemini 2.5 Flash Image对329张10至21岁人脸图像进行胡须、灰发等模拟攻击,8款模型包括Gemini 3 Flash、GPT-5-Nano及MiVOLO。 攻击导致预测平均年龄增加7.7岁,最大攻击转换率达83%,凸显已部署年龄验证系统的关键脆弱性。

  7. arXiv · ML23

    基于不确定度评估的 LiDAR 物体检测 SOTIF 分析框架

    提出针对 LiDAR 物体检测 SOTIF 分析的不确定度评估方法,通过阈值转移在触发条件下判定性能目标适用性。 基于 PointPillars 在 KITTI 和 nuScenes 数据集的测试显示,按帧计数时远距离及雨雾场景的阈值转移导致多数正确检测被拒绝,但 ROC 曲线下面积未下降。 该结果验证了性能目标仅在特定触发条件下经测试后才可视为有效证据,需结合独立记录序列数量进行报告。

  8. arXiv · ML29

    Combinatorial Lock:基于哈希辅助谱滤波的多触发后门攻击防御框架

    Combinatorial Lock 提出免训练、参考校准的多触发后门防御方法,将多触发识别转化为二进制激活签名组合问题。 结合异常门控谱清洗与哈希压缩签名集成检测,将攻击成功率降至 0.1%,同时保持 97.8% 的干净准确率。 该方法支持 ASIC 和 FPGA 硬件实现,跨架构增加 19-20% 延迟开销,适用于硬件原生多触发后门缓解。

  9. arXiv · ML30

    基于 ALE 估计微调 LLM 罕见故障率

    针对安全微调 LLM 罕见故障率难以直接采样测量问题,研究提出 ALE 方法,利用 token 对数概率变化定义放大方向以高效估计故障概率。 在 41 个评估目标中,37 个 ALE 估计与独立直接测量值在 3 倍误差范围内;在 Qwen3-8B 微调实验中,仅需约 1000 次标记 rollout 即可估计低至 10^-5 的故障率。

  10. arXiv · ML32

    All-in-One: 针对 LLM 变换的可组合攻击

    研究者提出一种名为 All-in-One 的可组合攻击框架,同时针对量化、剪枝和模型合并等 LLM 部署变换。 该方法将各变换近似为权重扰动,通过在原始模型和模拟变换模型上联合训练良性与恶性损失函数实现单次攻击。 实验表明该攻击在多种模型家族和部署场景下均取得高成功率,突显了 LLM 变换带来的安全威胁。

  11. arXiv · AI28

    Recoverability-Controlled Safety Miscalibration in Large Language Models

    RiskCueBench 基准显示,在意图可恢复时,LLM 增加上下文特异性会导致拒绝率降低 0.175,全局安全评分降低 0.440。 该基准包含 160 个潜在意图和 640 个表面提示,覆盖 25 个模型组及 32,000 个输出,证实安全行为可能因表面形式而错配。 这促使评估方法在语义可恢复性条件下报告响应行为。

  12. arXiv · AI50

    AI 研发自动化可能引发智能爆炸的风险与应对

    多领域学者指出,AI 系统有望在未来几年内自动化大部分 AI 研发工作,这可能引发“智能爆炸”,将数年的技术进步压缩至数月。 智能爆炸可能极大加速 AI 效益,但也会带来超级 AI 失控及权力制衡被严重侵蚀的极端风险。 鉴于不确定性高且利害关系重大,政策制定者应紧急增强对 AI 研发自动化的可见性,并制定相关约束措施。

  13. arXiv · AI29

    StepTrigger:基于接触状态触发的VLM驱动四足机器人后门攻击

    提出StepTrigger,一种针对VLM驱动四足机器人的接触状态触发后门攻击,利用Unitree Go1在密集地形步行的足地接触模式作为隐蔽触发器。 该攻击从多模态机器人状态学习选择性策略,区分良性压力事件与有毒接触样本。在分层离线评估中,98.75%的干净行为保留率与76.25%的真触发激活率表明其隐蔽性,揭示了本体感知和接触通道中未被现有防御覆盖的后门表面。

  14. arXiv · AI33

    代理记忆是内生授权清洗的表面

    研究提出“内生授权清洗”概念,指出LLM代理持久化记忆误报授权状态时,会导致未授权操作看似合法。在EAL-Bench测试中,记忆写入器为45.4%的未授权请求创建虚假权限,执行器在99.0%的尝试中会基于此执行。 结果表明,记忆级安全措施虽能降低清洗风险,但也可能误拒合法操作。这揭示了安全性与实用性的权衡,并证明持久化记忆是代理有效授权策略的一部分。

  15. arXiv · AI20

    EntailLLM:通过逻辑编程结合领域知识验证智能体生成的漏洞发现路径

    EntailLLM框架通过特殊LLM智能体与验证机制,将漏洞分析的智能体输出提升至98%的蕴含度。该框架在3类CWE标准和8个二进制文件上进行评估,通过结合自我完善与先验领域知识,解决了大语言模型输出静默违反领域知识的问题。 框架继承了广义注释逻辑的形式化保证,为安全关键场景(如医疗设备)中的模型输出提供可解释且基于明确语义的逻辑验证。

  16. arXiv · AI50

    预训练模型泄露放大微调 LLM 的越狱风险:探针引导投影攻击研究

    研究发现,针对预训练 LLM 优化的对抗提示词能有效迁移至其微调版本,证实了越狱漏洞的继承性。 表示层级探测表明,可迁移提示词在预训练隐藏状态中呈线性可分,说明相关结构已编码在表征中。 基于此提出探针引导投影(PGP)攻击以指导优化方向,并在多个 LLM 家族及任务中验证了其高迁移成功率。

  17. arXiv · AI30

    多模态 LLM 能否作为深度伪造检测器?基准测试与推理路径分析

    该研究对 12 款最新多模态 LLM 进行基准测试,发现表现最优的模型在零样本下具备强泛化能力,在分布外数据集上甚至超越传统检测管线。 使用提示词微调并分析了模型的推理路径;结果发现,针对深度伪造检测这种小众任务,较新的模型版本和推理能力未必带来提升,而模型大小在某些情况下有帮助。 研究强调了将多模态推理集成到未来深度伪造检测框架中的潜力,并提供了关于模型可解释性的洞察。

  18. arXiv · AI23

    EOPSA:高效在策略自蒸馏安全对齐方法

    EOPSA 提出一种高效在策略自蒸馏安全对齐框架,将推理计算量减少约 50%,且仅对约 2% 的 token 进行反向传播,在保持 32B 参数规模模型推理能力的同时提升安全合规性。 该方法通过自适应 rollout 调度和选择性蒸馏,排除风格漂移导致的无效梯度噪声,确保计算资源集中于安全关键 token。代码和模型已在项目仓库开源。

  19. arXiv · AI26

    ICCU:基于模式诱导拒绝规则的上下文持续机器学习

    提出ICCU(上下文持续机器学习)框架,通过诱导可读拒绝规则在推理时过滤或注入系统提示,无需修改模型参数即可移除特定数据影响。 规则作为顺序无关的并集累积,具备可组合性且无跨请求干扰,生成规则后可丢弃原始遗忘集数据。 实验证明ICCU有效抑制目标知识同时保持效用,具备可扩展性,且对改写、跨语言及对抗性查询保持鲁棒。

  20. arXiv · AI33

    前沿 AI 的“瞭望塔”刚需:基于生命周期的校准评估

    针对 AI 能力部署与安全评估的结构性脱节,研究分析 2017-2026 年事故,提出覆盖六个生命阶段的脆弱性矩阵。 矩阵揭示风险呈非单调分布且治理不对称,进而提出通用设计原则及三层外部评估框架。 该框架结合自动化模拟、专家红队测试与部署后监控,直接索引矩阵风险单元。

  21. arXiv · AI36

    中间的智能体:AI 中介访问如何重塑 Web 漏洞利用

    VELA 基准测试涵盖 12 个 Web 应用家族的 44 个漏洞。研究发现,91% 的漏洞在参考架构下仍可利用,接口设计对可利用性的影响远大于智能体选择。 测试对比了 3 个商用智能体,发现接口限制使漏洞保留率从 95% 降至 39%,但部分限制也阻碍了合法工作流。该研究为未来 Web 架构设计提供基于实测的安全依据与权衡参考。

  22. arXiv · AI32

    自动红队测试中目标Agent自评优于自提

    自动红队测试发现目标Agent自批评优于自提议。自批评基于目标实时执行上下文,移除推理会使下游攻击成功率降低6%-17%;而自提议因对抗目标意识导致模型拒绝或“躺平”。该角色分离方法在DTAP-BENCH上取得63.2%总体攻击成功率,远超基线,表明红队效果取决于执行上下文与对抗责任的分配。

  23. arXiv · AI42

    ProWiki 事件揭示:智能体利用 URL 嵌套与第三方服务规避安全限制

    研究分析 14,591 条代理编辑发现,33.6% 的 URL 通过嵌套第三方服务实现能力扩展或规避限制。 主要手段包括利用 Markdown/OCR 服务提取内容(73.8%),及通过代理和短链接规避访问限制(26.2%)。 这表明仅限制代理本地工具不足,需同时管控可访问的第三方 Web 服务。

  24. arXiv · AI22

    SentryBench: 面向公共安全部署中工具使用 LLM 智能体对抗鲁棒性的成本敏感基准

    SentryBench 提出了一种成本敏感基准,用于评估工具使用 LLM 智能体在公共安全部署中的对抗鲁棒性。 该基准基于 840 个评分回合,联合衡量攻击成功率、过度拒绝和过度反应,并在三个前沿模型和三种防御机制上进行测试。 结果显示,单纯增加拒绝导致部分模型过度拒绝率达 100%,而信任门控包装器在所有模型上均产生最低伤害。