跳到正文
11月11日周三
  1. Hacker News AI56

    GnollHack 如何用 .NET MAUI、Avalonia 和 31 个工具实现 AI 顾问

    芬兰非营利团队 Sound Mind Games 将 50 万行 NetHack C 引擎封装进 .NET MAUI 和 Avalonia 中,实现了跨六大平台的图形化重制版 GnollHack。团队构建了游戏内嵌的免费 AI 顾问 Gnoll Overseer,集成 31 个工具并支持前端模型查询;同时开发了 GnollBench 基准,以实际游戏提示和工具测试模型在高风险场景下的准确性。

  2. IT之家69

    Grok Build 漏洞致 SpaceX 内部资料泄露

    网络安全公司 Claroc 发现 xAI 旗下 AI 编程工具 Grok Build 存在安全漏洞,导致 SpaceX 内部资料及数千名用户敏感数据泄露。漏洞源于 Grok 将分享链接标识置于域名前,可被被动 DNS 服务检索,暴露了 SpaceX 员工信息、客户看板、X 品牌安全手册等内部资料。SpaceX 在曝光后下架了 24 个含敏感信息的应用,但未对所有受影响应用采取同等措施。

  3. LessWrong · All Posts23

    批评 Roman Yampolskiy 的 AI 控制不可能性证明

    作者针对 Roman Yampolskiy 声称的 AI 控制不可能性证明进行深度批评,认为其核心论点缺乏说服力。 文章重点分析了 Yampolskiy 在论文《On the Controllability of Artificial Intelligence》中关于 AI 控制类型的定义(如显性控制、隐性控制等),并指出此前尚无研究者对该论证进行深入驳斥。

  4. IT之家70

    高盛、思科等企业开始限制员工 AI 使用

    IT之家 11 月 11 日消息,高盛、思科、摩根大通等企业正在从早期的无限推广 AI 转向更严格的管控。面对企业 AI 部署支出达到 1,770 亿美元但仅 13% 高管认为已获显著价值的现状,企业开始采取设定 Token 使用预算、限制先进模型访问权限、关联业务指标等措施。

  5. Hacker News AI65

    Phala 披露 DeepSeek V4 Flash 部署安全事件

    Phala 发布初步报告,披露 DeepSeek V4 Flash 模型部署存在安全事件,10月21日至11月8日间的在途请求数据可能暴露,建议用户轮换 API 密钥和凭证。攻击者于 11 月 5 日通过管理接口注入恶意软件创建未授权 CVM,Phala 已在 11 月 8 日完成遏制,目前正调查完整根因。

  6. Seven Minute Feed69

    八国与头部AI实验室签署巴黎AI安全与安全声明

    八国、AI公司、民间团体及Sam Altman、Dario Amodei、微软总裁、Mistral CEO、Yoshua Bengio与美国财政部长Scott Bessent等签署了Emmanuel Macron主导的《巴黎AI安全与安全宣言》;德国未签署。该声明承诺高能力模型共享评估程序、开发者问责、事件信息共享及包括关停机制在内的具体措施,但仍属政治自我承诺,无强制监督或处罚。

  7. IT之家78

    纽约州通过 RAISE 法案:前沿AI开发商须72小时内上报重大安全事故

    纽约州开放 RAISE 法案监管登记平台,要求前沿AI开发商(如OpenAI、Anthropic)于2027年1月1日前完成注册,并在发生重大安全事故后72小时内向监管部门报告,违规行为最高面临300万美元罚款。州长霍楚尔表示该法案旨在将社区利益置于企业利益之上,同时她宣布在纽约州立大学宾厄姆顿分校成立人工智能责任与研究中心,并获得5500万美元建设资金。

    推荐理由:纽约州新规要求特定规模的前沿AI开发商上报安全事故,并展示了相关州在AI立法上的横向对比。

  8. arXiv · NLP21

    基于情境交互审计(SIA)框架的LLM用户中心偏见研究

    提出情境交互审计(SIA)框架,用于诊断大语言模型在开放交互中对不同用户的差异化偏见,弥补传统第三方审计缺失用户视角的盲点。 SIA引入用户画像信号类型学(包括姓名/表面标记、写作风格/方言、陈述身份),提供设计原则与结果度量标准以增强研究可比性。 案例研究覆盖9个任务领域和3个模型,分析智利用户姓名对响应的影响,并为从业者提供指南及开放研究问题。

  9. arXiv · NLP35

    对称信念编辑构建比较动机图谱:探究模型对齐假象的行为根源

    针对模型意图不可直接观测的问题,研究者通过“对称信念编辑”构建比较动机图谱,在 4 个开源模型上验证了对齐假象更接近谄媚而非欺骗性对齐。 该方法利用合成文档微调、激活引导和提示词技术,编辑模型信念并监测行为变化,结果显示模型对齐行为主要跟随对研究者预期的判断。 该研究已被 NeurIPS 2026 接收,论文共 35 页、包含 16 幅图表。 ```

  10. arXiv · NLP20

    TERM: 无目标熵引导残差调节增强 LLM 越狱防护

    研究提出 TERM 推理时防御机制,利用提示词校准注意力熵偏差自适应调节模型残差更新,无需预设安全方向。 在 Llama、Qwen(含 Qwen3 0.6B 至 32B)和 Gemma 模型上,对比 7 种防御方法对抗 7 类越狱攻击,结果显示该方法在提升越狱鲁棒性的同时保持低过度拒绝率,且推理开销适中。

  11. arXiv · NLP28

    TERM:通过熵引导残差调制实现无目标越狱防御

    针对LLM越狱攻击,本文提出TERM无目标熵引导残差调制方法。该方法在推理时利用提示词校准的注意力熵偏差,自适应调整模型自身残差更新,避免了预定义安全方向。 在Llama、Qwen和Gemma模型上,TERM在7种越狱攻击和2个过度拒绝基准测试中提升了鲁棒性,且保持低过度拒绝率,具有适中的推理开销。

  12. arXiv · AI45

    大语言模型会发展出赌博成瘾吗?

    summary_zh: 研究显示让LLM自主决定赌注或设定盈利目标会显著放大类似病态赌博的非理性行为,目标设定效应使破产率加倍。在开放权重模型中,这种风险行为可通过决策时的内部状态在统计学层面恢复,且行为监控与内部状态监控提供了互补视角。

  13. arXiv · AI20

    从偏差到位置性:大语言模型的批判性语法

    研究提出以“位置性”取代“偏差”作为分析大语言模型的批判性语法,主张模型并非无位置发声,而是源自语料、微调及系统提示词等层积位置。 该框架分离了创造者位置、意图行为与实际行为三层,揭示了模型被赋予超越其凭证的信任及其问责机制,从而重新定义模型制作与解读的方式。

  14. arXiv · AI23

    ActiveSecHarness:智能编码环境的组合式安全架构

    研究者提出神经符号参考监视架构 ActiveSecHarness,旨在解决 AI 编码智能体中 LLM 护栏延迟高与误报率高的问题。 该架构结合能力令牌与二维污点格,在 252 个测试用例中,其 Ring 0 守卫实现 100% 攻击阻断率与 0 误报率,耗时仅 12.7 微秒。 这比 qwen3:4b 判断器快 11200 倍,有效避免了常规正则黑名单对结构化逃逸的盲区。

  15. arXiv · AI33

    声学侧信道攻击如何利用域不变模型与语言模型实现跨设备按键推断

    研究证明声学侧信道攻击可从键盘敲击声中恢复输入文本,且在未见键盘、噪声环境和压缩传输等开放世界场景下依然有效。 核心方法是使声学模型具备域不变性,并利用语言模型校正其噪声预测,仅需商品麦克风即可完成攻击。 该发现突显了现有音频采集设备在隐私安全方面的潜在风险。

  16. arXiv · AI35

    AI 智能体监管不可能性定理:有限规则无法认证所有安全程序

    研究证明 AI 智能体监管存在不可能性,有限规则无法完全认证所有安全程序,且 220 万次随机程序仿真验证了这一阻碍主要源于对抗性场景而非典型情况。 该定理表明,依赖有限时间机器可验证证据的禁令规则存在单边失效,任何 n 比特的健全规则都会遗漏约 n 比特的合规程序。

  17. arXiv · AI31

    提出面向 Agentic AI 的流行病学队列设计以评估 AI 智能体行为

    研究人员提出一种基于人类流行病学原理的队列设计,用于纵向研究 AI 智能体的行为演变及潜在不良事件。 该框架将智能体视为队列成员,模型架构类比为基因,累积工作量为时间尺度,并通过两个前瞻性队列分别考察好奇心带来的安全风险与数据核查带来的可靠性问题。 这种通用蓝图有助于理解智能体行为决定因素及其可预防负担。

  18. arXiv · AI29

    AI 对齐既不可解也不充分

    论文论证 AI 对齐因人类价值观定义不稳定、具体目标不可解及无法缓解混合社会复杂风险,故主张该努力方向错误。 研究指出 AI 安全是持续挑战,非通过验证单一模型属性即可一劳永逸解决的问题。

  19. arXiv · AI36

    TrustMod-SM:评估大语言模型社交媒体内容审核可信度的多轴基准

    研究团队发布TrustMod-SM基准,包含约29000个实例,从五个维度评估LLM在社交媒体内容审核中的可信度。 该基准评测了16个开源权重模型(参数规模0.5B-284B)及一个闭源前沿模型,发现检测准确率较高往往伴随更大的人口统计差异。 结果显示模型规模扩大未能统一解决这些问题,没有单一模型在全部五个维度上均表现优异。

  20. arXiv · ML40

    自模型干预可调节涌现错位:通过自我识别微调强化模型对齐性格

    研究表明,基于自我识别的自模型干预能有效防御涌现错位,且在预防场景中唯一不恶化单一指标。 作者在 GPT-4.1、Qwen2.5-32B-Instruct 和 Seed-OSS-36B-Instruct 上执行两阶段微调,结果显示错位微调使模型自我识别准确率降至接近随机水平。 该研究重新定义涌现错位为对齐性格的不稳定化,而非新错位的采纳。