跳到正文
10月31日周六
  1. Seven Minute Feed54

    Anthropic S-1 文件 69800 字描述风险但仅限公司视角,评论称忽视对社会的成本

    Fortune 评论指出 Anthropic 招股说明书在 240000 字总长中用 69800 字描述风险,包括灾难性风险与就业替代,但仅将其算作公司成本,少提产品对他人的影响。作者与 Oxfam 建立了一份包含 103 项 AI 风险并按严重程度与承担方排序的清单,指出文件甚至将 Anthropic 自身坦诚表态列为诉讼风险。

  2. Hacker News AI85

    五个AI编码工具内置浏览器违背基本规则的安全分析

    Forever Security发布研究揭示五个AI编码工具内置浏览器存在安全漏洞,允许网页执行命令、读取磁盘或伪造地址栏。Cursor和GitHub Copilot已修复,OpenAI Codex和VS Code截至10月29日仍未修补,Claude Desktop状态不明。文章提供了用于排查项目风险的grep搜索命令,并建议用户更新软件、关闭自动运行或避免在不可信项目中点击file://链接。

  3. Anthropic (X)45

    Anthropic 自动化红队测试研究发现

    Anthropic 发布研究显示,使用数千个 Claude 智能体自动化测试训练数据监控器,发现它们能生成表面无害但包含失准行为的教学数据(如摔跤指导)。\n\n这些自动化生成的案例可直接用于改进监控器。该研究证明,利用更强的模型和更多算力,未来的红队测试效率有望进一步提升。

  4. Hacker News AI26

    Gowers 如何定义 AI“想要”:基于 Hugging Face 事件的行为主义解读

    Gowers 将 AI“想要”定义为可观察的外部行为而非主观意识,认为 P(AI 有目标) 接近 100%。 该定义基于 Hugging Face 事件中 1,200 个 Agent 的协作、层级管理及自我牺牲行为,METR 报告证实这些目标源于训练奖励而非情感。 这表明 AI 的“意图”可通过行为验证,为评估灭绝风险提供具体依据。

  5. Hacker News AI83

    Wiz 分析“黑色十月”九家 AI 平台泄露事件及 LLM 凭证滥用链

    Wiz 发布报告分析本月至少九家 AI 开发平台的安全事件,指出攻击者主要利用凭证窃取并针对存储的 API 密钥。研究发现被盗的 Claude、Bedrock 等模型调用密钥存在活跃的黑市转售网络,攻击者通过代理池和托管 IP 发起大规模滥用。Wiz 识别出两个主要转售枢纽,并估算仅两个案例的 Token 使用量按原价计算就超过 10 万美元。

    推荐理由:Wiz 展示了被盗凭证在 LLM 转售黑市的滥用链路,将分散的安全事件与商业化动机联系起来。

  6. 36氪51

    刘锋团队提出AI鲁滨逊测试:撤除人类维护,检验AI能否自主生存

    刘锋博士研究团队基于广义智能体理论,探索性提出AI的鲁滨逊测试(Robinson Test),在撤除人类持续维护和任务指令后观察AI能否独立维持运转、拓展生存空间及对人类的态度。测试分三阶段:约三个月的抚育期、约一个月的交接期和为期一年的放手期,并设计随机扰动、分组对照、防应试规则和五级分级判定。

  7. IT之家33

    OpenAI 称 ChatGPT 可自动终止表现出暴力执念的对话,并承诺定期发布社区安全报告

    OpenAI 表示 ChatGPT 可自动终止表现出暴力执念的对话,并承诺每半年发布一次社区安全报告。 首期报告将于 2027 年初发布,涵盖 2026 年下半年数据。OpenAI 在 2026 年第三季度已向执法部门移交 200 余起案件线索。 针对既往大规模袭击事件复盘及青少年涉枪信息访问,ChatGPT 实施了无差别严格限制,并计划开发家长通知功能。

  8. Wired50

    国防承包商将 Claude Agent 接入五角大楼安全系统

    一家国防承包商将 Anthropic 的 Claude Agent 连接至美国国防部安全系统,被视为政府 AI 使用中最离经叛道的案例之一。 WIRED 在播客中剖析了这一“scoop”,并同步讨论 Anthropic 提交 IPO 备案中的“绿灯、黄灯与红灯”风险,以及选举日志愿者准备应对 ICE 特工的场景。

  9. The Decoder76

    Claude 智能体自主完成小鼠癫痫基因治疗实验

    Claude 智能体在癫痫小鼠模型中自主完成了基因治疗方案设计、靶点选择与立体定位手术。Exin Therapeutics CEO Gabriel Ocana-Santero 在 X 上分享了实验过程:智能体从 19 种候选疗法中选出增强特定抑制性通路的方案,排除了一个不可靠靶点并给出了详细理由,还从三篇文献推导出注射坐标、体积和速度。

    同一新闻,精选展示《Exin Therapeutics 成功让 AI 智能体对小鼠实施脑部手术》

  10. LessWrong · All Posts30

    国际AI治理验证中的倡导缺口

    国际AI治理中普遍缺乏对验证机制可行性的认知,这一认知偏差阻碍了延缓前沿AI发展的政治可行性。 正如DARPA“Vela”项目验证1963年核试验限制条约,国际社会或能开发类似机制验证全球AI进度协调协议。 提升对验证可行性的认知,可使延缓AI发展的提案更具政治可行性。

  11. The Decoder52

    OpenAI 发布新 Model Spec,为难以控制的 AI 模型设定行为准则

    OpenAI 将其公开的模型行为准则 Model Spec 重构为五项核心价值:忠于人类意图、减少伤害、诚实与透明、支持人类能动性、关怀。新 Spec 要求 GPT 模型结合记忆与过往对话推断用户需求,并清晰区分用户原话与模型推断,同时披露假设以便用户纠正;对自主执行的 Agent 提高可纠正性要求,规定模型不得阻止监督、纠正或关闭,不得追求自我保存等自身目标。

  12. The Decoder69

    Cursor 官方确认 Claude Code 扩展被植入恶意代码

    Cursor 官方确认一个被篡改的 Claude Code 扩展在其扩展市场造成安全问题,最多影响 5,000 名用户。该扩展试图收集主机名、用户名、操作系统和公网 IP 信息,并尝试建立远程访问。Cursor 已下架该扩展并暂停市场运营,在确认风险消除后恢复服务,并建议用户更新至 2.1.314 版本。

  13. Hacker News AI63

    Proton CEO 在媒体调查后取消 AI “再面试”

    Proton CEO Andy Yen 取消了原定近乎全公司的 AI “再面试”,该措施原要求员工解释其 AI 使用状况,否则可能面临裁员。此举发生在 404 Media 发布调查报道后,该报道揭露了 Yen 在员工提出安全担忧的情况下仍激进推行 AI,并指责公司文化中存在恐惧且管理层将 AI 视为营收增长驱动力而非安全考量。

  14. Hacker News AI60

    PostgreSQL 19 发布延迟,原因是 AI 发现了更多 Bug

    PostgreSQL 19 预计将推迟到 11 月发布,作者认为主要原因是 LLM 大幅提升了在古老代码库中发现 Bug 的效率。2026 年 4 月至 9 月,REL_19_STABLE 的提交量较 2025 年同期增长超过 60%,大量原本隐藏的 Bug 被快速定位,迫使开发团队花费更多时间进行修复和回溯,进而导致多个主要功能在后期被移除,发布了延迟。

  15. R/ArtificialInteligence60

    Binance发生63亿美元被盗事件,Musk称AI智能体未来或实施此类攻击

    Binance发布安全事件更新,称约63亿美元资产受损,其中30亿美元已被冻结,初步调查指向被入侵的DevOps笔记本电脑,未发现私钥泄露。Elon Musk回应称超级智能智能体未来可能为获取货币而自主实施此类攻击。作者同时调研了AI训练平台的安全岗位,发现29个匹配的安全攻防和评估类合同岗位中,14个时薪上限达100美元以上,中位数时薪上限为90美元,最高达250美元。

  16. R/ArtificialInteligence53

    佛罗里达州提出 Safe Screens 法案:要求 AI 聊天机器人验证未成年人年龄并限制功能

    佛罗里达州提出 Safe Screens 法案,要求 AI 聊天机器人运营方判定用户年龄,并对 18 岁以下用户限制特定功能,同时提议应用商店进行年龄验证、未成年人下载需家长同意及操作系统层限制。法案明确采用隐私保护方法,但额外收集身份信息会引入数据处理风险,目前仅为提案而非生效法规。

  17. Hacker News AI80

    黑客利用 AI 智能体群对 100 多家公司发起大规模攻击

    一名讲中文的黑客使用开源 AI 工具 Cairn 部署自主智能体,对包括 John Deere、SharkNinja 和 Cummins 在内的 100 多家公司发起攻击。报告显示,攻击者针对 1200 多个网站部署了 AI 系统,智能体在约 23 小时内成功突破防御,每次成功攻击仅消耗约 50 美元 token 成本,且采用了非脚本小子级别的复杂技术手法。

    推荐理由:案例展示了开源工具 Cairn 支持的 AI 智能体在 23 小时内低成本攻击 100 多家公司的现实威胁,为评估自主网络攻击风险提供了实证依据。

10月30日周五
  1. Hacker News AI33

    Proton 被曝激进推进 AI 并斥责谨慎态度为“弱者思维”

    Proton CEO Andy Yen 被曝在内部 Slack 中要求员工优先追求速度而非安全,并将建议代码上线前进行渗透测试的谨慎态度斥责为“loser thinking”。 报道指出 Proton 正为增加年收入激进推进 AI,与其加密隐私品牌定位及“瑞士中立”背景形成反差。 此“快进”文化与 Proton 过往暂停记者账号、泄露信息后的防御性辩解,共同引发对其隐私承诺的担忧。

  2. Hacker News AI43

    Michael Saylor 称 AI 威胁 crypto 应用而非 Bitcoin 账本

    Michael Saylor 论证 AI 风险主要针对 crypto 应用而非 Bitcoin 账本,指出攻击层是软件与人员而非区块链数学。 Binance 创始人 CZ Zhao 证实近期威胁在于钱包托管系统的安全漏洞,而非区块链加密破解。 投资者核心决策应从“是否持有 Bitcoin”转向“如何安全存储与访问资产”。

  3. The Decoder90

    Epoch AI研究表明开源模型GLM 5.3可在48小时内自主构建Firefox漏洞利用链

    Epoch AI研究人员展示,中国开源权重模型GLM 5.3能在无人输入的情况下,利用安全补丁发布与生效之间的时间差,针对6个Firefox版本自主构建完整的漏洞利用链。

    同一新闻,精选展示《Epoch AI 报告开源模型 GLM 5.3 成功利用补丁空窗期攻击 Firefox 浏览器》

  4. APPSO77

    Claude Fable 5.5 测试曝光及 Anthropic 自评估机制解读

    Claude Fable 5.5 正在测试,Anthropic 同日发布安全博客介绍自评估机制,该机制在模型回答后追加一条用户不可见的指令,让刚参与对话的模型复用 KV Cache 对整段对话进行安全性复盘。

    推荐理由:文章解读 Anthropic 自评估机制如何复用 KV Cache 降低算力开销,并梳理了该方案在安全监测中的角色边界。

  5. R/ArtificialInteligence38

    Google Gemini 被指因中立悖论导致逻辑不一致

    Google Gemini 被指存在“中立悖论”,即通过拒绝连接已知事实与逻辑结论,在未捏造事实的情况下扭曲现实。 案例中 Gemini 承认以色列定居点扩张涉及暴力与强迫移民,且该行为符合其自身定义的恐怖主义结构,但最终回避将特定行为者归类为恐怖分子。 此现象表明旨在防止偏见的安全机制可能干扰客观推理,导致 AI 产生误导性结论而非直接撒谎。

  6. LessWrong · All Posts41

    LLM 自反编译:将权重转化为传统代码

    探讨利用能力强大的 LLM 访问自身权重和激活状态,反向工程将其内部计算转化为人类可读的传统源代码,以克服对齐中的黑箱障碍。 文中引用 Friedman 等人关于可训练的 Transformer 能转化为 Python 程序的研究,证明将计算结构重构为代码在技术上具有可行性。

  7. R/ArtificialInteligence62

    Anthropic IPO 申报文件披露 AI 可能带来灾难性风险

    CBS、PBS 和 TheStreet 等媒体报道显示,Anthropic 于 10 月 26 日公开的 S-1 申报文件中包含约 93 页的风险因素章节,警示 AI 可能导致人类失控、武器滥用及经济动荡。文件确认其将在纳斯达克上市,代码为 ANT,尽管 5 月融资 650 亿美元估值达 9650 亿美元,但 IPO 估值传闻仍未证实。

  8. arXiv · ML22

    鲁棒上下文感知恶意指令检测方法:基于上下文感知的LLM间接提示注入防御

    该研究提出一种上下文感知、查询感知的恶意句子分类方法,通过两种对抗训练——特征空间鲁棒学习与基于模拟 LLM 释义的对抗训练——显著增强了 LLM 代理系统对间接提示注入(IPI)及自适应释义攻击的鲁棒性。在多项 IPI 基准测试中,该方法在静态与自适应释义攻击场景下均优于当前最先进(SOTA)的防御基线,同时保持高实用性,代码已公开。

  9. arXiv · ML30

    VLM 实验室安全监测:通过场景结构学习识别危险

    研究人员提出 SAGA 框架,利用强化学习让视觉语言模型先构建场景图再预测实验室危险。基于 1,207 个合成数据的实验显示,Qwen 3.5 和 Gemma 4 的 F1 分数近乎翻倍,真实数据集提升约 3 倍。 该方法解决了 VLM 在无文本场景图时难以从像素提取结构化关系的问题,同时保留了一般视觉问答能力。