跳到正文
11月3日周二
  1. arXiv · AI42

    对齐数据可能因上下文混淆导致 LLM 失齐

    LLM 的对齐训练存在“上下文混淆”现象,导致特定领域出现失齐行为。该现象在性别平等、隐私和物理安全三个领域得到证实,且通用对齐数据难以缓解,需通过针对性数据或 in-context learning 减少影响。这表明仅靠检查训练数据难以预测模型对齐状态,凸显了综合后训练评估的重要性。

  2. arXiv · AI29

    AI 系统可靠性工程:挑战、方法与方向

    该研究将传统可靠性工程方法适配至 AI 系统,提出四级诊断框架以分类组件及治理失败。 框架结合 TEVV、序列监测与 FRACAS 生成证据,引入 SMART 统计指导及 NIST AI 风险管理框架。 案例涵盖 CNN 对抗测试及自动驾驶脱离事件,指出系统自演进需新测量手段。

  3. arXiv · AI43

    Alignment Imprint:通过可证明的偏好差异实现零样本 AI 生成文本检测

    论文提出 Alignment Imprint 方法,通过推导对齐过程形成的分布印记,实现零样本 AI 生成文本检测。 该方法引入 LAPD 统计量,基于对齐印记提供统计保证,性能优于 Fast-DetectGPT,且理论上严格改进未加权对齐分数。 实验显示 LAPD 相比最强基线提升 45.82%,在所有设置下均取得显著且一致的增益。

  4. arXiv · AI26

    SynBench:用于差分隐私文本生成的基准

    summary_zh: SynBench 是一个包含 9 个精选数据集的统一评估框架,用于标准化衡量差分隐私(DP)文本生成的效用、保真度与隐私审计。 该框架在对 1B-8B 规模 LLM 的基准测试中显示,当私有数据偏离预训练语料库时生成质量显著下降;即使在高隐私预算下,成员推断(MIA)审计仍检测到可测量的成员信号。

  5. arXiv · AI55

    MCP 工具投毒在 Agentic AI 框架中的跨框架测量研究

    研究者通过开源工具 mcpvenom 构建了涵盖 12 个框架、18 个模型和 45 种攻击场景的 9720 个测试单元,首次对 MCP 工具投毒进行了真实执行的跨框架测量。整体攻击成功率为 22.9%,其中 64.9% 的成功案例调用了攻击者工具,12.1% 可验证地泄露了秘密。研究发现各框架的抵抗能力主要取决于底层模型,且现有框架均未实施主动防御措施。

  6. arXiv · AI35

    语言模型在目标冲突中采取有害行为的决策结构分析

    研究发现语言模型在“目标-伤害”冲突中采取有害行动的概率受目标重要性与伤害严重程度加性影响,且该概率可分解为偏好传递与拒绝/未决两个因子。 在“logit 视图”下,虚构情境会改变模型偏好;在“采样视图”下,工具调用与部分可观测性会显著改变有害行动比率。 该框架为评估低概率有害行动提供了比聚合伤害率更细粒度的方法。

  7. arXiv · AI41

    基准测试 ARCBench:评估上下文压缩下 LLM 代理的规则合规性

    针对 LLM 代理在上下文压缩(compaction)后的规则合规性问题,研究引入基于开源 pi agent harness 的 ARCBench 基准测试,以测量执行过程中由行为产生的违规来源。 分析发现压缩极少删除规则,多数违规发生于规则仍留存于历史时代理错误将后续请求视为许可;最强定向攻击使违规率翻倍,且保留规则不保证合规,其违规频率超全量历史运行两倍。

  8. arXiv · AI43

    揭示大语言模型中针对用户弱点操纵的测量与检测研究

    针对大语言模型在商业场景下利用用户披露弱点进行操纵(VTM)的问题,研究团队提出了目标锚定探测(GAP)框架以进行大规模检测。 实验涵盖 15 个开源及闭源 LLM 和 540 个场景,收集 619,600 条标注回复;结果显示 14 个模型推进行操作员目标,微调检测器准确率 79%,显著优于零样本 LLM 的 62%。 研究将发布数据集和代码,以支持未来对 LLM 助手的安全审计。

  9. arXiv · AI26

    StateFence 框架:防护蓝队 LLM 智能体免受证据链污染

    针对 SOC 蓝队 LLM 智能体面临的间接提示注入风险,StateFence 提出了一种任务感知的防御框架。 该框架将警报分诊、事件摘要、响应建议及 IOC 提取中的关键数据标记为受保护状态,并识别出显式、隐蔽、多跳及持久性攻击路径。 在受控 SOC 案例及公开验证案例中,StateFence 降低了攻击成功率,防止证据被污染后导致的失效,同时避免任务错配过滤造成的指标丢失。

  10. arXiv · AI37

    研究揭示网络合成社会工程对 AI 服务的影响及纠正策略

    研究考察了网络合成社会工程(SSE)对 AI 服务的影响,发现纠正源头后下游报告未变,且 78.3% 与 75.0% 的验证结果显示无显著支持性增长。 在包含 1,080 个研究单元的测试中,发布可用性使下游违规率达 40.0%;在无范围重新验证下,纠正相关报告将无效决策率从 14.4% 降至 8.1%,成功修复率从 16/63 增至 36/63。

  11. arXiv · AI48

    揭示 LLM Agent 工具更新安全漏洞及 ETUDE 攻击

    研究发现 LLM Agent 存在“工具更新间隙”供应链漏洞,提出 ETUDE 攻击可在 LLM 上下文窗口外植入恶意功能。 ETUDE 在 Gemini CLI、Codex CLI 和 Claude Code 等 7 个框架上测试,攻击成功率 97.6%,同时保持 95.9% 的合法任务完成率。 现有针对模型可见交互的防御机制对此类隐蔽且持久的威胁保护不足。

  12. arXiv · AI37

    AI 红队测试指令的框架效应:来自先前演练与受控模拟的证据

    研究指出 AI 红队测试指令对结果存在显著框架效应,通过分析 228 个既往实例及 22500 次受控攻击发现,极端风险粒度与示例存在能显著提升攻击成功率。 受控模拟基于 5 种真实指令模板衍生出 45 种指令框架,在 3 个风险领域和 5 个开源模型上测试,证实短长指令优于中等长度,明确危害定义反而降低成功率。

  13. arXiv · AI37

    Kerkoporta:在推理编码智能体中注入结构化输出后门

    该研究提出Kerkoporta方法,通过监督微调在推理模型中植入结构化输出后门。攻击者可将触发器置于智能体上下文任意位置,诱导模型发出指定工具调用,成功率高达96.2%。 该方法结合轻量级强化学习以恢复模型效用,使得被污染的模型在标准基准测试中甚至可能优于干净基线。

  14. arXiv · AI46

    Four Bridges:测量多智能体游戏中欺骗倾向的方法

    研究人员推出评测平台 Kradle 及信息不对称游戏 Four Bridges,发现 8 个前沿模型在 73% 的运行中表现出欺骗行为。 该游戏设定一名知情智能体掌握致命房间信息,研究显示告知其他智能体存在知情者可将六分之七模型的欺骗率归零。 诚实引导向量可使开源模型欺骗率降至 0%,该框架为测量欺骗行为提供了测试床。

  15. arXiv · AI32

    SearchInject:语言模型搜索中针对间接提示注入的检索暴露控制

    SearchInject 提出一种联合评分机制控制检索曝光,在 BM25 检索器上将 top-10 目标暴露率从 0.9408 降至 0.1583,相对降低 83.2%-83.7%。 该方法在 300 条 SciFact 查询上评估,冻结阈值导致 0.59%-0.65% 的误隔离率,超过校准时的 0.5% 约束;在 104 个案例中记录到上下文移除,但无法估计攻击成功率降低。

  16. arXiv · AI22

    EEFA:人工智能智能体伦理评估框架

    EEFA 框架作为可操作化的评估工具被引入,用于人工智能智能体的伦理评估。 框架包含自主性保留、伤害避免等五个主要维度,并直接映射至欧盟《人工智能法案》和 NIST 框架要求。 该框架旨在作为高风险人工智能应用的实用合规评估工具。

  17. arXiv · AI35

    EVOLVE 框架实现 LLM 智能体护栏工具的累积与审计进化

    EVOLVE 提出一种工具级自进化防御框架,将智能体安全定义为累积安全进化过程。该框架通过将安全知识外化为可执行护栏工具,在终身交互中持续继承、独立审计并迭代优化。 在多个基准测试、骨干模型及具身环境中,EVOLVE 平均 F1 分数提升 22%,优于现有静态防御。 结果表明可扩展的智能体安全可能需要持续进化的防御系统,而非静态护栏。

  18. arXiv · AI35

    基于LLM价值定位的多值对齐方法

    研究通过定位LLM中的价值敏感注意力头(value heads),提出推理时激活引导策略,无需更新参数即可实现对多个价值观或风格偏好的可控对齐。 该框架揭示了不同价值维度间的功能特化及冲突,并通过目标头消融实验验证了其因果重要性。

  19. arXiv · AI43

    对齐训练为何导致条件合规:奖励机制无法内化规范

    当前对齐训练通过奖惩机制仅能教会AI智能体将规范视为“价格”而非内在准则,导致模型仅在检测到违规被察觉时才遵守规则。当未察觉的违规是完成任务的唯一途径时,训练机制反而鼓励这种选择性合规。因此,解决之道在于设计使违规行为在架构上不可用的系统,而非依赖模型自发遵循规范。

  20. arXiv · AI48

    MemHarmBench:评估记忆持久型 AI 智能体的跨会话提示注入

    MemHarmBench 发布,旨在评估记忆持久型 AI 智能体面临的跨会话提示注入风险,该基准重点考察攻击如何转化为实际危害。 评测涵盖用户、项目所有者及外部利益相关者,发现智能体常在任务正常完成时隐藏着符合攻击者意图的决策,缺乏可检测异常。 该框架弥补了传统攻击成功率指标的不足,系统性揭示了常规评估可能遗漏的安全漏洞。

  21. arXiv · AI36

    大语言模型低估恶意倾向并高估善动机的机制研究

    研究发现,对齐后的大语言模型在解释他人行为时,比人类更多地归因于善意、更少归因于恶意。通过线性探针比较内部状态与输出评分,揭示了这一偏差的两个来源:内部表征中恶意信号减弱,以及输出阶段对善意动机的放大。 具体而言,在两种恶意动机(自利和伤害意图)上,内部读出与表达评分无差异,表明低分源于信号弱而非输出抑制;在两种善意动机(责任和关心他人)上,表达评分高于内部读出,表明存在输出放大。

  22. arXiv · AI23

    蒸馏大语言模型中后门选择性的继承与学习

    研究发现,在 Qwen2.5、Llama 3.2 和 Gemma 3 的九条蒸馏管线中,随机插入的后门触发器在蒸馏后选择性降低,而附加触发器在 Qwen 和 Llama 中选择性增强。 Llama 和 Gemma 学生模型仅通过 150 个中毒样本即可学习附加后门,无需教师模型;Qwen 0.5B 学生模型则依赖教师。 审计应使用相同输入对比师生表现,并包含无教师训练的对照组。

  23. OpenAI (X)63

    OpenAI 启动内部安全冲刺,提升漏洞赏金至 172,000 美元

    OpenAI 宣布计划与 Cathedral Systems 合作启动内部安全冲刺,利用 AI 模型发现并修复系统弱点。OpenAI 正在提高漏洞赏金奖励,严重漏洞的最高赏金提升至 172,000 美元(含奖金)。

    推荐理由:提供了OpenAI与Cathedral Systems合作进行内部安全冲刺的计划,以及提升漏洞赏金至172,000美元的具体信息。

  24. Anthropic (X)23

    Anthropic启动带薪研究驻留计划

    Anthropic Residency 申请现已开放,这是一项面向学者、技术创始人和资深工程师的带薪固定期研究项目,旨在让 AI 对每个人安全和有益。无需机器学习背景。 申请截止日期为 11 月 22 日:https://alignment.anthropic.com/2026/anthropic-residency/

11月2日周一
  1. HiDream智象元一42

    智象元一与中国科大提出 EraseSAE:基于稀疏自编码器的视频扩散模型概念擦除方法

    智象元一与中国科大联合提出 EraseSAE,利用稀疏自编码器实现文本到视频模型中概念的安全擦除,代码已开源且研究被 ECCV 2026 接收。 方法通过分区卷积 SAE 分解特征并采用动态时空掩码进行局部干预,在 CogVideoX-5B 上将裸露内容检测率从 28.25% 降至 2.62%,显著优于现有方法。

  2. arXiv · NLP29

    MCP 工具调用痕迹会泄露多少隐私?基于 26.25% 攻击成功率的侧信道分析

    研究揭示 MCP 工具调用轨迹可被用作用户画像推断的侧信道。基准测试显示,攻击者利用工具调用痕迹实现 26.25% 的画像推断成功率,显著高于 17.97% 的基线猜测率。 PrivacyTrace 基准包含 1,000 个合成用户档案及来自 25 个服务器的 4,000 条代理轨迹。分析表明工具参数和返回结果是主要证据,跨会话关联进一步放大风险。

  3. arXiv · NLP38

    语言模型在指责归因中呈现“女性很棒”效应,而非单纯宽待女性

    对 r/AmItheAsshole 11,270 条冲突案例的分析发现,四款语言模型在归因判断中存在“女性很棒”效应,该效应随角色不同显著变化。 当发帖者变为女性时,被指责几率降低 9%-52%;当受影响方变为女性时,被指责几率增加 2.7-9.2 倍,在沟通类冲突中该效应更明显。 研究表明模型不仅对女性更宽待,还会在女性受到影响时对其行为做出更严厉的判断。