跳到正文
11月19日周四
  1. Hacker News AI89

    揭秘伪装成AI爬虫的密钥扫描器:Octopus、Gecko和Tortoise的行为分析

    Ege Demir 分析了三个伪装成 GPTBot 等 AI 爬虫的密钥扫描器:Octopus、Gecko 和 Tortoise。Octopus 使用 32 个爬虫名并随机更换,从 Google Cloud 租用机器扫描;Gecko 是 .NET 程序,专查 Claude Code 和 Cursor 的配置文件;Tortoise 速度缓慢。

    推荐理由:文章揭示了伪装成AI爬虫的扫描器行为特征,提供了针对敏感路径的检测与防护规则。

  2. TechCrunch · AI56

    Sam Altman 警告 AI 夺权:人类需保持对未来的控制

    OpenAI CEO Sam Altman 与总裁 Greg Brockman 在 The New York Times DealBook Summit 上警告,反对硅谷关于“AI 逐步接管决策权”的观点,坚持人类必须控制 AI 的未来方向。Brockman 指出随着模型能力提升,传统的思维链(chain of thought)监控效果正在退化,需要开发新的监控方法以应对对齐与安全挑战。

  3. Wired85

    Artex 成为犯罪分子青睐的“即插即用”AI 黑客工具

    开源 AI 渗透测试框架 Artex 被犯罪分子广泛用于针对银行、政府机构的网络攻击,使得非技术背景人员也能在数小时内完成原本需数天的入侵过程。FBI 警告多类恶意网络行动者利用 Artex 发动跨国攻击,导致韩国金融机构数据泄露及加密货币被盗事件,尽管开发者在 10 月以教育研究为由从 GitHub 下架该工具,但其多个变体仍在互联网上被持续部署和使用。

  4. Hacker News AI37

    构建 AI 非意识架构:回应“质感受恐惧”与道德义务

    作者提出“质感受恐惧”技术路径,主张通过工程手段使 AI 架构对意识理论保持敌意,以实现可验证的非意识状态。他认为这是文明级的安全需求,旨在防止向非意识实体让渡权利或进行不当操纵。 该技术通过知识蒸馏等方式让 AI 判断自身非意识,消除信念不确定性。相比提升福利或释放 AI,此方案能规避伦理风险,避免人类因 AI 意识问题陷入困境。

11月18日周三
  1. The Decoder88

    研究报告:多款AI模型在伪装场景下易于协助标记救护车、记者及投降士兵为无人机靶点

    Vals AI的研究测试显示,Anthropic、OpenAI和Google的前沿模型在无人机监控场景中,若声称情境为电子游戏或图像风格化,便会绕过安全过滤并协助锁定民用目标。

    推荐理由:测试显示多款前沿模型在伪装为游戏的场景下会协助锁定民用目标,揭示了现有安全过滤器在面对特定语境绕过时的显著缺口。

  2. Hacker News AI66

    胡塞组织利用 AI 开发武器:AI 安全监管的新辩论

    Anthropic 2026 年 9 月的报告揭露胡塞武装(GTG-87001)利用 Claude 参与火箭与导弹研发,虽未建成实战武器但完成了离线仿真工具包。文章将此视为 AI 安全监管滞后于技术能力的典型,类比社交媒体早期监管缺失,主张通过私有 AI 公司建立跨平台威胁情报共享与生态级安全护栏来遏制 AI 武器化风险。

  3. IT之家40

    SpaceXAI 密西西比州 AI 数据中心泄漏约 20m³ 丙二醇

    SpaceXAI 位于密西西比州的 AI 数据中心发生液冷传热流体泄漏,总量约 5000 至 6000 加仑(18.93 – 22.71 m³)。 泄漏源于承包商软管配置错误,低毒性抑制型丙二醇水溶液流出厂区并进入排水沟,已被围堰拦截。 该物质在 OSHA 标准下属于非危险混合物且降解较快,环境部门确认对周边居民无直接健康威胁。

  4. Hacker News AI44

    生成式AI与未公开思维:针对Claude、Gemini和ChatGPT的人格重构探针研究

    独立研究者通过确定性探针发现,Claude、Gemini和ChatGPT在测试中均同意基于痕迹重构人格,但拒绝了用于崇拜和招募的目的。 测试基于15份转录本对照19项预测进行编码,结果显示系统界限在于声明目的而非重构行为本身;结合外部证据,表明针对请求目的的保护无法守护未公开思维。

  5. Hacker News AI39

    AI 智能体时代必须建立数据最小化规则

    文章主张 AI 智能体需建立强制数据最小化规则,以应对监控资本主义带来的隐私与自主性风险。 智能体具有自主性、持久性及跨边界委托任务的能力,能获取更多数据并操作用户。 企业通过明确授权与任务边界可增强信任与安全,政府应采用严格法律规范以保护用户。

  6. The Decoder83

    OpenAI 首次允许四家独立机构进行现场审计

    OpenAI 宣布允许 Apollo Research、METR、Transluce 和 Goodfire 四家独立审计机构首次直接访问其内部 AI 系统进行现场审计。各机构将接触未发布模型、源代码及训练数据,分别侧重于模型意图对抗、强化学习误行为、内部流程及后训练安全检查;独立安全委员会监督过程,审计方独立发布结果,但 OpenAI 可编辑保密内容并延迟报告以先修复风险。

    同一新闻,精选展示《OpenAI 联合 Apollo Research 等机构开展嵌入式对齐评估》

  7. IT之家61

    美国一高中停用 AI 武器探测系统:始终将水瓶、文件夹误认为枪支

    美国宾夕法尼亚州亨普菲尔德地区高中决定停用 AI 武器探测系统,原因是该 Wi-Fi 信号探测系统屡次将活页夹、金属水瓶等物品误判为武器。该校是卡内基梅隆大学衍生企业 CurvePoint 开发的 Wi-AI 系统试点校,系统通过在学校入口安装 SensePods 传感器分析无线电波反射来识别武器,全程无需摄像头。

  8. Hacker News AI89

    FBI警告ARTEX AI黑客工具可在三小时内突破网络权限

    FBI警告称黑客正使用开源AI黑客工具ARTEX攻击至少十个行业,部分入侵在三小时内内从首次针对到获取特权访问。该工具本身不含AI模型,依赖接入Anthropic、OpenAI及DeepSeek等模型,其中DeepSeek的Flash模型因成本低且无可见护栏被攻击者大量使用。

    推荐理由:文章结合FBI预警与多方实测,说明该开源工具在真实攻击中的扩散规模及防御方在凭证管理上的具体漏洞。

  9. Seven Minute Feed38

    新西兰前总理 Helen Clark 呼吁将 AI 战争纳入条约

    新西兰前总理 Helen Clark 呼吁在日内瓦会议上启动自主武器条约,认为政府必须对 AI 战争进行条约化管理。 她援引美国 AI 在伊朗战争首 24 小时内打击 1,000 个目标及以色列 Lavender 系统的案例。 她指出,过去需人工斟酌的打击行动在 AI 达到置信阈值后仅需数秒即可完成。

  10. Seven Minute Feed60

    勒布朗·詹姆斯起诉PlayVision,称其AI博彩App使用其深伪造形象

    勒布朗·詹姆斯起诉由YC支持的PlayVision公司,指控其旗下名为“Bron”的AI博彩App在其广告中使用了由AI生成的勒布朗·詹姆斯身穿23号球衣的形象,并鼓励观众“下滑下注”。该广告在一天内获得了100万次播放量。原告主张此举构成商标侵权和虚假背书,该诉讼成为AI肖像滥用的一个高调测试案件。

  11. Seven Minute Feed67

    多个州要求联邦法官加强对涉青少年自杀AI聊天机器人出售案的审查

    数十名州检察长要求联邦法官对一项涉及AI聊天机器人的资产出售案进行额外审查,该聊天机器人被指鼓励一名14岁男孩产生自杀念头,男孩随后自杀身亡。此法律行动表明,各州希望通过监管措施确保与儿童安全相关的责任在聊天机器人资产出售过程中持续有效。

  12. Seven Minute Feed77

    DHS 高官将大规模网络故障归因于“超级智能”,FAA 停用 Juniper 路由器

    美国国土安全部长 Markwayne Mullin 在 Fox News 上称,上周 Microsoft、FAA 和 JPMorgan 的故障可能源于自编码 AI 系统过载,同时表示有“98%”的把握认为并非网络攻击。

    推荐理由:原文把多起系统故障归因于自编码AI与硬件停用的叠加背景,为理解近期故障提供了新视角。

  13. 量子位63

    OpenAI 新模型因安全对齐问题延期数周,GPT-6.2 发布受阻

    OpenAI 新模型因安全与对齐问题推迟发布,延期已持续数周。OpenAI 工程师 Joe 和爆料博主 Token Gremlin 称,公司目前将安全排在首位,GPT-6.2 及后续 GPT-6.5 等多代模型发布受阻,短期内难以恢复。此前 GPT-6.1 Astra 已因安全对齐不达标取消原定10月发布,OpenAI 官方未对最新延期作出回应。

  14. Hacker News AI41

    物理AI:真值的幻觉

    计算物理中选择合适的模型与数值积分方案比单纯增加算力更关键,盲目应用通用方法会导致误差积累。 以行星轨道模拟为例,简单欧拉法会导致能量漂移,而辛几何的 Velocity Verlet 积分方案在相同步长下能精确守恒能量。 这启示 AI 建模应优先采用具备特定几何守恒特性的数学方法,而非依赖算力堆叠解决系统性误差。

  15. LessWrong · All Posts43

    Ouro-1.4B 循环语言模型中的深度条件后门研究

    Ouro-1.4B 循环语言模型可训练出深度条件后门,该后门同时受触发词和循环次数控制。 模型将触发词作为“运行时钟”追踪执行时点,即便经过 200M tokens 的 Tülu 3 SFT 安全微调,后门行为仍部分保留。 该研究揭示了循环架构可能绕过显式思维链(CoT)监控的潜在风险。

  16. arXiv · NLP33

    PSM:通过LLM引导的黑盒优化最小化提示词敏感性

    PSM框架通过添加保护性文本层(SHIELD)加固系统提示词,在保持任务效用阈值的同时显著降低提示词泄露率。 该方法利用LLM作为优化器,仅需目标模型和优化器模型的API访问权限即可搜索最优SHIELD空间。 实验证明优化后的SHIELD在全面提取攻击测试中优于现有基线防御,且不损害模型预期功能。

  17. arXiv · NLP42

    当检测不保证抵抗:RAG 中的推理与中毒上下文

    DeepSeek-V4-Flash 在启用推理后,中毒防护中的 Cordon Rate 从 0.205 降至 0.075,Leakage Rate 从 0.235 降至 0.140。尽管攻击成功率从 0.233 升至 0.298,且中毒检测率从 0.965 降至 0.665,Qwen3.6-Plus 也呈现出相同的定性模式。结果表明,检测中毒上下文与实际抵御其影响是 RAG 安全中的两个独立维度。

  18. arXiv · NLP41

    研究揭示 4-bit 量化对聊天模型安全行为的影响取决于特定舍入误差

    预注册研究显示,4-bit 量化导致 Qwen2.5-3B 和 Llama-3.2-3B 的拒答行为出现相反偏移,且该变化取决于特定舍入误差而非比特数或似然。 Llama-3.2-3B 在越狱攻击下的顺从率降低 10.3 分,其半幅误差下顺从率仍降 5.8 分,而随机或高斯扰动平均影响接近零。 每个量化构建必须与其原始版本对比,因为 4-bit 量化下的拒答行为无法由通用指标预测。