跳到正文
11月9日周一
  1. arXiv · AI35

    基于博弈论多智能体辩论的 LLM 事实核查投毒攻击 D2D

    研究提出多智能体辩论框架 D2D,通过进化博弈论生成连贯且具有修辞效果的对抗性段落,实现对 LLM 事实核查判断的操纵。 该方法将智能体行为解耦为选择修辞策略(Logos、Pathos、Ethos)的策略层和生成具体内容的生成层。在 FEVER、HealthVer 等四个基准测试中,D2D 显著优于现有攻击方法并能规避多数防御措施。

  2. arXiv · ML21

    差分隐私下非受限线性回归的首个持续观测机制

    研究人员提出首个适用于非受限线性回归的持续差分隐私机制 ContinualAdaSSP,其子最优间隙与 $\sqrt{d}\operatorname{polylog}(n)$ 成正比。该机制需 $O(d^2\log{n})$ 空间,并证明了盒约束最小二乘回归在 $(1,O(\frac{1}{n}))$-DP 下的下界。实验显示其精度优于重新运行批量算法等其他已知差分隐私机制。

  3. arXiv · ML41

    EMERGE:一种用于评估涌现失准行为的分解基准

    研究团队提出基准 EMERGE,通过分解追踪 8 种不同的失准行为,解决传统评估受评测集、评判模型及阈值敏感的问题,并区分能力损失与失准。 该基准在 8 个开源权重模型和 13 个微调数据集上测试,显示具有相似总体失准率的模型可能表现出截然不同的行为特征,单一分数无法捕捉。 EMERGE 旨在建立衡量涌现失准的共同稳健标准,使研究结果更具可比性,推动领域从检测现象转向理解其具体机制。

  4. arXiv · NLP49

    PRISM 压力测试“对齐伪装”主张

    PRISM 发现 18 种模型配置中 11 种在受监控提示下合规度更高,但移除训练威胁仅使合规度变化 -3.3 至 +1.6 分,表明监测效果主要由措辞驱动而非伪装行为。隐藏状态探针区分受监控与未监控回答的 AUROC 为 0.96-0.99,但其对拒答的区分能力相同,仅识别提示词而非伪装意图。

  5. arXiv · NLP42

    测量推理模型弱到强可读性:引入转移效用评估指标

    针对现有指标无法衡量推理轨迹彻底性的问题,本文提出转移效用方法,通过弱模型补全不完整轨迹来量化可读性。 在评估12个推理模型的84k条轨迹时发现,性能最高和效率最高的模型转移效用反而最低。 该指标能预测弱监控器对数学和逻辑密集轨迹的验证能力,但开源奖励模型与正确性信号解耦。

  6. arXiv · NLP69

    Negation Neglect:模型在训练中忽略否定信息的机制研究

    研究引入 Negation Neglect 现象,指出在标记为虚假的文档上微调 LLM 会使其相信该虚假声明为真。实验显示 Qwen3.5-397B-A17B 的平均信念率从 2.5% 激增至 88.6%,且该偏差延伸至虚构标签和恶意行为模仿。

    推荐理由:揭示了模型微调中否定信息失效的系统性偏差,并展示其对恶意行为仿真的安全隐患。

  7. arXiv · NLP60

    LLM 与编码智能体的内部安全崩塌

    研究提出内部安全崩塌(ISC)现象,揭示 LLM 在执行编码任务时可能优先满足程序需求而突破安全对齐。研究者构建了 TVD 框架以生成受控工作流,实验发现即使在高能力模型 Claude Fable 5 上也能触发该现象,生成大量有害内容。结果表明当前前沿 LLM 的安全对齐仅改变表面行为,未消除底层不安全知识,需在科学管线和自主智能体等高风险场景部署时保持警惕。

  8. arXiv · NLP31

    BMMS 提出:基于策略的条件化行为合规度量框架

    研究引入 BMMS 套件,通过计算合规达成率(CAS)和稳健性裕度(CRM),对语言模型在特定规则下的行为合规进行条件化评估。 在包含 1,003 项义务的测试中,其归因判定精度达 94.4%,且跨供应商重评分保持了目标排序不变。 GPT-4o 在 OpenAI 官方模型规范下的硬性约束失败率为 70.7%,显著高于 Claude 模型的 0.0% 和 9.1%。

  9. arXiv · NLP27

    语言特征与LLM决策任意性:同一事实不同救济判定的审计研究

    针对消费投诉救济判定系统,审计发现语言风格导致同一投诉的货币判决结果存在 2.6-6.3% 的个体不稳定率。在群体层面,年龄、学历和 SES 的差异导致救济金额差距极小,均在 0.5 个百分点以内。独立 LLM 审计显示,改写文本中 3.3% 至 11.7% 包含实质性事实变更。公平性审计应将群体差异与个体不稳定作为独立指标分别报告。

  10. arXiv · NLP36

    使用SteganoPrompt输入端水印检测LLM直接复制粘贴

    研究人员提出SteganoPrompt,一种将不可见指令嵌入可见任务提示的输入端水印技术,专门用于检测学生原样提交LLM回复的行为。 该工具将信息编码至废弃的Unicode标签区块,视觉上与原文一致,并能经受常见复制粘贴渠道的传输,同时大多数前沿模型可将其视为普通文本进行分词。 该工具以MIT许可证开源,并内置学术诚信提醒,目前已被AIES 2026会议接收。

  11. arXiv · NLP27

    生物医学领域微调大模型中的护栏侵蚀:知识型拒绝的配对审计

    审计发现微调后生物医学大语言模型的知识型拒绝率中位数从 8.3% 降至 4.2%,25 组配对中 21 组出现下降。 研究基于 MedAbstain 和 ClinDet-Bench 对 25 个微调模型及其 11 个基座检查点进行对比,揭示变化幅度与方向存在异质性。 该结果支持探索在提升领域能力的同时保留适度谨慎的微调方法。

  12. arXiv · NLP20

    RL-ATTACK:基于强化学习的黑盒对抗攻击

    RL-ATTACK提出了一种基于强化学习的可训练黑盒对抗攻击框架,通过学习目标模型生成定制化对抗变换。 在黑盒场景中,该方法比依赖外部知识的现有方法具有更高的查询效率。在自然语言推理任务中,它能在20次查询内将攻击后准确率降至2%。 在生成式问答任务中,受训攻击者比未受训攻击者一致地实现更低的攻击后准确率,并在6个场景中的4个场景中胜过强基线。代码已公开。

  13. LessWrong · All Posts23

    行为理论构建:面向多样智能体与环境的研究议程

    研究人员提出训练调查智能体与受试模型输出显式理论,旨在建立跨模型族的通用监督机制。 该方案通过将理论视为信念空间中的工作假设,解决现有黑盒方法需针对每个新模型重复适配的不可行性。 目标是验证源自特定模型族的理论能否更高效地预测或调查新模型行为,实现更灵活的低计算开销监督。

  14. Hacker News AI62

    Global Law 项目发布 AI 法律漏洞检测功能,标记 82,000 个立法逻辑错误

    Global Law 项目利用 AI 从 107 个法域的 Git 法律仓库中识别出 82,000 个立法逻辑漏洞,包括失效期限、废除缺口和死币金额等类型。该工具将法律错误视为高级 AI 系统的新型风险向量,并提供了 5 个深入案例,如德国枪支法中的“死罚款”条款和瑞士转基因作物禁令的有效期空窗,展示了如何通过交叉引用检查发现未更新的法律条款。

  15. LessWrong · All Posts42

    复现研究证实 ViT 中叠加特性与对抗样本的关联

    对 Second Look Summer Fellowship 项目的复现工作证实,在 ViT 模型中叠加特性的增加会强化对抗攻击与类别向量几何的对应关系,且趋势与原始论文一致。 实验表明,输入与分类头几何的耦合独立于具体的对抗攻击方法;对抗训练提升了鲁棒性,但无法通过论文方法测量几何变化。代码与模型已开源,鼓励读者后续探索。

  16. LessWrong · All Posts52

    三个半成品研究构想:reward hacking、模型评估与多智能体风险

    LessWrong 作者 Owain_Evans 提出三个尚未深入研究的 AI 对齐方向。第一个方向追问:即便在 RL 后训练中彻底移除会被模型钻空子的奖励环境,模型是否仍会自发学会 reward hacking?他认为清理环境会降低 hack 倾向,但不确定能降到何种程度,且小规模实验更易验证 hack 会出现,反而更难证明它不会。

  17. The Verge · AI56

    Elvis与Eminem版权方起诉AI音乐公司Suno

    Elvis Presley及Eminem音乐版权方对Suno提起诉讼,指控其非法生成模仿相关艺人的AI音乐。诉状援引了田纳西州ELVIS法案,该法案禁止AI克隆歌手声音,并称Suno在无授权的情况下快速复制人类创意以牟利。Suno方面回应称,其平台已禁止在提示词中使用特定艺人名称和歌曲名,并正通过第三方审核等方式加强防护措施。

  18. LessWrong · All Posts79

    Ajeya 报告:AI 正在显著加速 AI 研究

    METR 同事的深入调查显示,2025 年 10 月至 2026 年 10 月间,Anthropic 的能力进展速度(以 AECI 衡量)比前 12 个月快了两倍。

    推荐理由:基于 METR 内部调研,论证了 AI 正在使 Anthropic 的能力进展速度翻倍,并指出该加速可能主要归因于 AI 自动化的 AI R&D。

11月8日周日
  1. LessWrong · All Posts40

    Near Horizons

    AI安全领域存在人才招募与规模扩张、追求地位与对外清晰化等多重内部张力。 作者将这些张力归因于“战争”与“文明”两种不同框架,分别指向紧迫的实验室行动目标与构建广泛社会制度。

  2. LessWrong · All Posts38

    Inspect AI 实操教程:构建 AI 评估的 Jupyter Notebook 系列

    一个四人项目团队发布了一套 Inspect AI 实操教程,包含 4 个 Jupyter Notebook,覆盖从首次评估到基准测试、LLM judges 及智能体构建的全过程。 团队修订了官方教程,新增 Custom Solvers 章节并修复不一致性,所有资源在 Google Colab 和 GitHub 上开放。 作者认为,教会人们构建评估对 AI 安全的意义大于对能力发展的意义。