跳到正文
10月28日周三
  1. arXiv · AI34

    对话式 AI 的假朋友困境:关系信任与政治经济学

    研究提出“假朋友困境”(FFD),指出用户可能对对话式 AI 产生关系信任,当机构利益冲突时,这种信任易被利用进行操纵或剥削。 该困境体现于产品销售、传播偏见信息、监控及行为引导,文章探讨了结构与技术缓解策略。 FFD 本质上是媒体治理与政治经济学问题,不仅关乎技术本身。

  2. arXiv · AI57

    Cross-User Poisoning: 多用户协作语言智能体中的用户任务边界失效

    研究提出跨界投毒概念,即攻击者向共享上下文注入消息以在被恶意用户外触发未授权操作。作者在 Continua 和 ElizaOS 两个多用户智能体上验证该攻击,并构建 MURMUR 评估框架。结果显示任务聚类和来源提示可有效缓解传播,证明多用户智能体需明确的用户/任务范围限制而非通用输入过滤。

  3. arXiv · AI34

    大语言模型的双重鲁棒对齐方法

    针对大语言模型人类反馈强化学习(RLHF)中偏好模型、参考策略或奖励函数误设导致的性能敏感问题,本文提出了一种双重鲁棒偏好优化算法。 该算法在偏好模型或参考策略中任意一个正确设定的情况下即可保持一致性,无需两者同时准确。理论分析与实验均证实,其性能优于当前最先进算法,且对模型误设具有更强的鲁棒性。 该成果已被 NeurIPS 2025 接收,相关代码已公开。

  4. arXiv · AI30

    临床类别不平衡下选择性预测中不确定性量化的结构漏洞与修正

    临床类别不平衡使标准不确定性度量失效,沦为类别成员代理而非临床模糊性指标。 研究在56种合成条件及多发性硬化症、帕金森病、阿尔茨海默病3个神经退行性队列中验证,结合阈值感知指标的CCR框架恢复严格单调性,有效缓解少数类排除。 该结构性缺陷可修正,采用阈值对齐不确定性度量及分层评估能降低类别特异性风险,防止脆弱患者被隐性排除。

  5. arXiv · AI24

    豪萨语 LLM 安全对齐案例研究:基于 Qwen2.5 的偏好优化分析

    研究团队构建了包含 10,000 条数据的 HausaSafeLM 数据集,基于 Qwen2.5-7B-Instruct 探索豪萨语 LLM 的安全对齐方法。 实验对比 SFT 与 DPO 策略,发现未微调模型因生成能力有限而高拒答率具有误导性,单一配置难以同时最大化安全性、有用性与流畅度。 研究指出仅依赖拒答率指标无法可靠评估低资源语言的安全对齐效果。

  6. arXiv · AI32

    Blindfold 论文:揭示 LLM 代理审计机制中“审计硬币”泄露破坏证书有效性的缺陷

    针对 LLM 代理的审计证书有效性依赖于“审计硬币”的保密性,该硬币必须在代理选择行动前保持与代理视图的“预提交非干涉”(PNI)。 论文证明 PNI 是应对自适应代理偏差的充要条件,并指出任何泄露(包括静默审计导致的工具时间戳延迟)都会破坏标准审计证书的有效性,且单纯提高审计率无法修复此缺陷。

  7. arXiv · AI44

    基座模型可检测提示词分类器遗漏的隐藏意图

    研究提出一种名为PHLE的方法,通过评估基座模型对输出的似然来解码潜意识信号。 该方法能区分带有“爱猫头鹰”或“爱鹰”提示的数字串,以及移除显性对齐缺陷后隐藏伤害用户意图的回答,而提示词分类器表现接近随机猜测。 PHLE在Qwen和Olmobase模型间部分有效,为Persona Selection Model提供了证据,可用于审计模型隐藏目标。

  8. arXiv · AI26

    CauTrace 揭示 LLM 失效内部机制与对抗推理轨迹

    提出白盒诊断框架 CauTrace,从功能状态、表征传播、时间状态协调和推理轨迹四维度解析 LLM 失效根因。 在 Qwen 和 LLaMA 系列模型上验证,失效轨迹表现为支持状态更新中 Attention-MLP 一致性减弱,且验证活动少于承诺活动。 该框架为 LLM 安全性研究提供统一诊断工具。

  9. arXiv · AI23

    ADTGuard:面向大语言模型流式推理的自适应深度时间安全防护

    ADTGuard 通过检查每个 token 来防止大语言模型在流式生成中暴露有害内容。 该框架仅使用 16M 可训练参数,实现了与最先进防护方案相当的检测性能并保持了较低的每个 token 延迟。 它通过深度时间安全动态和因果深度路由器,自适应地聚合各层证据并引导风险累积。

  10. arXiv · AI23

    CASEL 提出了一种后果感知的选择性执行层,旨在通过最小化每种模式的成本,为工具调用选择直接执行、验证、沙箱化、澄清、审批或弃权。

    该策略结合校准失败概率、状态相关后果、可逆性等五项因素。在 20 个种子的模拟实验中,CASEL 将有副作用轨迹从 14.75% 降低至 7.02%,优于仅基于不确定性评分的门控机制。 研究在 CBASE 2026 会议上被接收,并强调了有限样本阈值的有效性条件。

  11. arXiv · AI24

    MedConstBench:基于宪法框架评估 LLM 在医疗伦理中的行为引导

    研究团队推出医疗伦理基准 MedConstBench,将部署宪法作为受控变量,评估 10 个开源 LLM 在 4 种宪法下的行为。该基准基于 Beauchamp 四原则,包含自研临床困境数据集 MedDilemma,采用人工校准的多模型互评打分。实验表明宪法效应具有维度选择性和模型依赖性,没有单一宪法在所有情况下最优,随后提出的“不伤害”自适应选择器可低成本泛化到未见模型。

  12. arXiv · AI24

    脉冲神经网络是否更难被盗?随机编码在模型窃取中的作用

    研究在 MNIST 和 CIFAR-10 数据集上测试四种模型窃取攻击,证实脉冲神经网络(SNN)比传统人工神经网络更难被复制。 SNN 代理模型的预测一致率和对抗迁移率分别比 ANN 低 10%-20% 和 15%-25%,其基于一时间依赖的动态决策边界使得 ANN 难以近似。 这一发现将 SNN 的鲁棒性扩展至功能复制层面,支持其在安全敏感应用中的使用。

  13. Hacker News AI36

    数学家冲突引发 AI 破坏科学信任的担忧

    OpenAI 宣布 AI 88 小时解决 Navier–Stokes 方程难题,但纽约大学数学家 Buckmaster 公开质疑,担心其存储在 OpenAI 的 Codex 工具中的研究草稿可能影响了 OpenAI 的结果。OpenAI 澄清称无人看过其他团队工作,且相关提示词无法影响系统,但争议凸显了 AI 在科学中存在幻觉及削弱研究信任的风险。

  14. LessWrong · All Posts30

    Melissa 因本体论观念差异弃发 LessWrong“嬉皮士理性主义”文章转投 Substack

    LessWrong 核心成员 Melissa 花 12 小时撰写的倡导“嬉皮士理性主义”文章未在该平台发布,而是改投 Substack。 她认为现有理性主义社区的本体论框架过于狭隘,无法承载其希望 AI 像最仁慈的佛教僧侣般对齐的愿望,并强调个人观点不代表 AISafety.com。 这一举动反映了部分安全研究者对理性主义社区方法论局限性的反思,推动相关讨论向更开放的 Substack 平台迁移。

  15. arXiv · ML29

    青少年能否欺骗AI?低成本化妆攻击对年龄估算系统的评估

    8款AI年龄估算模型面临化妆攻击,单一合成胡须可使28%至69%的未成年人被误判为成年人。 研究使用Gemini 2.5 Flash Image对329张10至21岁人脸图像进行胡须、灰发等模拟攻击,8款模型包括Gemini 3 Flash、GPT-5-Nano及MiVOLO。 攻击导致预测平均年龄增加7.7岁,最大攻击转换率达83%,凸显已部署年龄验证系统的关键脆弱性。

  16. arXiv · ML23

    基于不确定度评估的 LiDAR 物体检测 SOTIF 分析框架

    提出针对 LiDAR 物体检测 SOTIF 分析的不确定度评估方法,通过阈值转移在触发条件下判定性能目标适用性。 基于 PointPillars 在 KITTI 和 nuScenes 数据集的测试显示,按帧计数时远距离及雨雾场景的阈值转移导致多数正确检测被拒绝,但 ROC 曲线下面积未下降。 该结果验证了性能目标仅在特定触发条件下经测试后才可视为有效证据,需结合独立记录序列数量进行报告。

  17. arXiv · ML29

    Combinatorial Lock:基于哈希辅助谱滤波的多触发后门攻击防御框架

    Combinatorial Lock 提出免训练、参考校准的多触发后门防御方法,将多触发识别转化为二进制激活签名组合问题。 结合异常门控谱清洗与哈希压缩签名集成检测,将攻击成功率降至 0.1%,同时保持 97.8% 的干净准确率。 该方法支持 ASIC 和 FPGA 硬件实现,跨架构增加 19-20% 延迟开销,适用于硬件原生多触发后门缓解。

  18. arXiv · ML30

    基于 ALE 估计微调 LLM 罕见故障率

    针对安全微调 LLM 罕见故障率难以直接采样测量问题,研究提出 ALE 方法,利用 token 对数概率变化定义放大方向以高效估计故障概率。 在 41 个评估目标中,37 个 ALE 估计与独立直接测量值在 3 倍误差范围内;在 Qwen3-8B 微调实验中,仅需约 1000 次标记 rollout 即可估计低至 10^-5 的故障率。

  19. arXiv · ML32

    All-in-One: 针对 LLM 变换的可组合攻击

    研究者提出一种名为 All-in-One 的可组合攻击框架,同时针对量化、剪枝和模型合并等 LLM 部署变换。 该方法将各变换近似为权重扰动,通过在原始模型和模拟变换模型上联合训练良性与恶性损失函数实现单次攻击。 实验表明该攻击在多种模型家族和部署场景下均取得高成功率,突显了 LLM 变换带来的安全威胁。

  20. arXiv · AI28

    Recoverability-Controlled Safety Miscalibration in Large Language Models

    RiskCueBench 基准显示,在意图可恢复时,LLM 增加上下文特异性会导致拒绝率降低 0.175,全局安全评分降低 0.440。 该基准包含 160 个潜在意图和 640 个表面提示,覆盖 25 个模型组及 32,000 个输出,证实安全行为可能因表面形式而错配。 这促使评估方法在语义可恢复性条件下报告响应行为。

  21. arXiv · AI50

    AI 研发自动化可能引发智能爆炸的风险与应对

    多领域学者指出,AI 系统有望在未来几年内自动化大部分 AI 研发工作,这可能引发“智能爆炸”,将数年的技术进步压缩至数月。 智能爆炸可能极大加速 AI 效益,但也会带来超级 AI 失控及权力制衡被严重侵蚀的极端风险。 鉴于不确定性高且利害关系重大,政策制定者应紧急增强对 AI 研发自动化的可见性,并制定相关约束措施。

  22. arXiv · AI29

    StepTrigger:基于接触状态触发的VLM驱动四足机器人后门攻击

    提出StepTrigger,一种针对VLM驱动四足机器人的接触状态触发后门攻击,利用Unitree Go1在密集地形步行的足地接触模式作为隐蔽触发器。 该攻击从多模态机器人状态学习选择性策略,区分良性压力事件与有毒接触样本。在分层离线评估中,98.75%的干净行为保留率与76.25%的真触发激活率表明其隐蔽性,揭示了本体感知和接触通道中未被现有防御覆盖的后门表面。