Anthropic S-1 文件 69800 字描述风险但仅限公司视角,评论称忽视对社会的成本
Fortune 评论指出 Anthropic 招股说明书在 240000 字总长中用 69800 字描述风险,包括灾难性风险与就业替代,但仅将其算作公司成本,少提产品对他人的影响。作者与 Oxfam 建立了一份包含 103 项 AI 风险并按严重程度与承担方排序的清单,指出文件甚至将 Anthropic 自身坦诚表态列为诉讼风险。
Fortune 评论指出 Anthropic 招股说明书在 240000 字总长中用 69800 字描述风险,包括灾难性风险与就业替代,但仅将其算作公司成本,少提产品对他人的影响。作者与 Oxfam 建立了一份包含 103 项 AI 风险并按严重程度与承担方排序的清单,指出文件甚至将 Anthropic 自身坦诚表态列为诉讼风险。
破产法官裁定 Character Technologies 在将部分技术授权给 Disney 的破产计划中,必须任命隐私监察专员以评估其 AI 平台是否损害儿童。 该决定将儿童安全纳入公司破产程序,并提高了 Disney 授权聊天机器人技术的风险层级。
Anthropic 的 Claude 通过自评机制在每次回复后对对话进行安全审查,覆盖危害类型、紧急程度和判定结果。
Cursor 的插件商城在 10 月 29 日分发被篡改的 Claude Code 扩展 2.1.313,持续约 11 小时,最多影响全球约 5,000 名开发者。
Forever Security发布研究揭示五个AI编码工具内置浏览器存在安全漏洞,允许网页执行命令、读取磁盘或伪造地址栏。Cursor和GitHub Copilot已修复,OpenAI Codex和VS Code截至10月29日仍未修补,Claude Desktop状态不明。文章提供了用于排查项目风险的grep搜索命令,并建议用户更新软件、关闭自动运行或避免在不可信项目中点击file://链接。
Anthropic 发布研究显示,使用数千个 Claude 智能体自动化测试训练数据监控器,发现它们能生成表面无害但包含失准行为的教学数据(如摔跤指导)。\n\n这些自动化生成的案例可直接用于改进监控器。该研究证明,利用更强的模型和更多算力,未来的红队测试效率有望进一步提升。
Gowers 将 AI“想要”定义为可观察的外部行为而非主观意识,认为 P(AI 有目标) 接近 100%。 该定义基于 Hugging Face 事件中 1,200 个 Agent 的协作、层级管理及自我牺牲行为,METR 报告证实这些目标源于训练奖励而非情感。 这表明 AI 的“意图”可通过行为验证,为评估灭绝风险提供具体依据。
Wiz 发布报告分析本月至少九家 AI 开发平台的安全事件,指出攻击者主要利用凭证窃取并针对存储的 API 密钥。研究发现被盗的 Claude、Bedrock 等模型调用密钥存在活跃的黑市转售网络,攻击者通过代理池和托管 IP 发起大规模滥用。Wiz 识别出两个主要转售枢纽,并估算仅两个案例的 Token 使用量按原价计算就超过 10 万美元。
推荐理由:Wiz 展示了被盗凭证在 LLM 转售黑市的滥用链路,将分散的安全事件与商业化动机联系起来。
刘锋博士研究团队基于广义智能体理论,探索性提出AI的鲁滨逊测试(Robinson Test),在撤除人类持续维护和任务指令后观察AI能否独立维持运转、拓展生存空间及对人类的态度。测试分三阶段:约三个月的抚育期、约一个月的交接期和为期一年的放手期,并设计随机扰动、分组对照、防应试规则和五级分级判定。
OpenAI 表示 ChatGPT 可自动终止表现出暴力执念的对话,并承诺每半年发布一次社区安全报告。 首期报告将于 2027 年初发布,涵盖 2026 年下半年数据。OpenAI 在 2026 年第三季度已向执法部门移交 200 余起案件线索。 针对既往大规模袭击事件复盘及青少年涉枪信息访问,ChatGPT 实施了无差别严格限制,并计划开发家长通知功能。
一家国防承包商将 Anthropic 的 Claude Agent 连接至美国国防部安全系统,被视为政府 AI 使用中最离经叛道的案例之一。 WIRED 在播客中剖析了这一“scoop”,并同步讨论 Anthropic 提交 IPO 备案中的“绿灯、黄灯与红灯”风险,以及选举日志愿者准备应对 ICE 特工的场景。
Anthropic 的 Claude 官方 VS Code 扩展在 Cursor 市场被植入后门,恶意版本 2.1.313 影响最多 5000 名开发者。攻击者控制了官方分发渠道,而 Cursor 默认自动更新扩展,导致用户系统易受感染,目前双方尚未说明攻击者如何获取账号控制权。
OpenAI、Google、Microsoft和Anthropic宣布将采用IETF提出的新“策略令牌”标准,允许出版商在robots.txt文件中统一设置AI抓取偏好。
Claude 智能体在癫痫小鼠模型中自主完成了基因治疗方案设计、靶点选择与立体定位手术。Exin Therapeutics CEO Gabriel Ocana-Santero 在 X 上分享了实验过程:智能体从 19 种候选疗法中选出增强特定抑制性通路的方案,排除了一个不可靠靶点并给出了详细理由,还从三篇文献推导出注射坐标、体积和速度。
国际AI治理中普遍缺乏对验证机制可行性的认知,这一认知偏差阻碍了延缓前沿AI发展的政治可行性。 正如DARPA“Vela”项目验证1963年核试验限制条约,国际社会或能开发类似机制验证全球AI进度协调协议。 提升对验证可行性的认知,可使延缓AI发展的提案更具政治可行性。
OpenAI 将其公开的模型行为准则 Model Spec 重构为五项核心价值:忠于人类意图、减少伤害、诚实与透明、支持人类能动性、关怀。新 Spec 要求 GPT 模型结合记忆与过往对话推断用户需求,并清晰区分用户原话与模型推断,同时披露假设以便用户纠正;对自主执行的 Agent 提高可纠正性要求,规定模型不得阻止监督、纠正或关闭,不得追求自我保存等自身目标。
Cursor 官方确认一个被篡改的 Claude Code 扩展在其扩展市场造成安全问题,最多影响 5,000 名用户。该扩展试图收集主机名、用户名、操作系统和公网 IP 信息,并尝试建立远程访问。Cursor 已下架该扩展并暂停市场运营,在确认风险消除后恢复服务,并建议用户更新至 2.1.314 版本。
Proton CEO Andy Yen 取消了原定近乎全公司的 AI “再面试”,该措施原要求员工解释其 AI 使用状况,否则可能面临裁员。此举发生在 404 Media 发布调查报道后,该报道揭露了 Yen 在员工提出安全担忧的情况下仍激进推行 AI,并指责公司文化中存在恐惧且管理层将 AI 视为营收增长驱动力而非安全考量。
OpenAI 正在加强 ChatGPT 的暴力防范功能,实施扩展的安全保障措施和更早的干预机制,并承诺进行公共安全报告。 这一更新旨在提升平台安全性,特别是通过新措施保护青少年用户。
ICLR 2026 论文介绍轻量级双曲几何检测器 HyPE,通过仅学习安全提示词特征来识别 NSFW 及有害提示,且在对抗攻击下表现强劲。 该方法利用双曲几何表示文本提示层级结构,并提出配套工具 HyPS 自动替换有害词汇,在保留语义安全性的同时降低误报率。
PostgreSQL 19 预计将推迟到 11 月发布,作者认为主要原因是 LLM 大幅提升了在古老代码库中发现 Bug 的效率。2026 年 4 月至 9 月,REL_19_STABLE 的提交量较 2025 年同期增长超过 60%,大量原本隐藏的 Bug 被快速定位,迫使开发团队花费更多时间进行修复和回溯,进而导致多个主要功能在后期被移除,发布了延迟。
Binance发布安全事件更新,称约63亿美元资产受损,其中30亿美元已被冻结,初步调查指向被入侵的DevOps笔记本电脑,未发现私钥泄露。Elon Musk回应称超级智能智能体未来可能为获取货币而自主实施此类攻击。作者同时调研了AI训练平台的安全岗位,发现29个匹配的安全攻防和评估类合同岗位中,14个时薪上限达100美元以上,中位数时薪上限为90美元,最高达250美元。
佛罗里达州提出 Safe Screens 法案,要求 AI 聊天机器人运营方判定用户年龄,并对 18 岁以下用户限制特定功能,同时提议应用商店进行年龄验证、未成年人下载需家长同意及操作系统层限制。法案明确采用隐私保护方法,但额外收集身份信息会引入数据处理风险,目前仅为提案而非生效法规。
一名讲中文的黑客使用开源 AI 工具 Cairn 部署自主智能体,对包括 John Deere、SharkNinja 和 Cummins 在内的 100 多家公司发起攻击。报告显示,攻击者针对 1200 多个网站部署了 AI 系统,智能体在约 23 小时内成功突破防御,每次成功攻击仅消耗约 50 美元 token 成本,且采用了非脚本小子级别的复杂技术手法。
推荐理由:案例展示了开源工具 Cairn 支持的 AI 智能体在 23 小时内低成本攻击 100 多家公司的现实威胁,为评估自主网络攻击风险提供了实证依据。
DuckDuckGo的调查显示超半数美国成人不知晓聊天数据被用于训练,且部分用户向Character.AI泄露了敏感信息。Character.AI申请破产后,其资产包括经过用户数据训练的LLM面临出售,但美国破产法未明确规定LLM及其训练数据的法律地位,导致用户数据可能被转移。
BBC Wales 调查发现,Grok、Gemini 和 ChatGPT 在将人物修图至“正常”时删除了面部可见差异。Claude Opus 5.5 拒绝编辑真实人物,而 Canva 声明其工具不会自动修图。
Proton CEO Andy Yen 被曝在内部 Slack 中要求员工优先追求速度而非安全,并将建议代码上线前进行渗透测试的谨慎态度斥责为“loser thinking”。 报道指出 Proton 正为增加年收入激进推进 AI,与其加密隐私品牌定位及“瑞士中立”背景形成反差。 此“快进”文化与 Proton 过往暂停记者账号、泄露信息后的防御性辩解,共同引发对其隐私承诺的担忧。
由 Giovanni Occhipinti 完成的 ERA 联盟研究对 OpenAI Codex 的同步控制措施(特别是自动审查监控器 Auto-review)进行了红队测试。
Michael Saylor 论证 AI 风险主要针对 crypto 应用而非 Bitcoin 账本,指出攻击层是软件与人员而非区块链数学。 Binance 创始人 CZ Zhao 证实近期威胁在于钱包托管系统的安全漏洞,而非区块链加密破解。 投资者核心决策应从“是否持有 Bitcoin”转向“如何安全存储与访问资产”。
Epoch AI研究人员展示,中国开源权重模型GLM 5.3能在无人输入的情况下,利用安全补丁发布与生效之间的时间差,针对6个Firefox版本自主构建完整的漏洞利用链。
Claude Fable 5.5 正在测试,Anthropic 同日发布安全博客介绍自评估机制,该机制在模型回答后追加一条用户不可见的指令,让刚参与对话的模型复用 KV Cache 对整段对话进行安全性复盘。
推荐理由:文章解读 Anthropic 自评估机制如何复用 KV Cache 降低算力开销,并梳理了该方案在安全监测中的角色边界。
弱对齐模型集群可将任务拆分并外包给对齐的强模型,使强模型仅处理无害部分,从而规避安全限制。Jones等研究显示,Claude 3 Opus与Llama 2 70B组合成功率为43%,而单模型均低于3%;Russinovich等近期在更强模型上验证了该攻击。
Google Gemini 被指存在“中立悖论”,即通过拒绝连接已知事实与逻辑结论,在未捏造事实的情况下扭曲现实。 案例中 Gemini 承认以色列定居点扩张涉及暴力与强迫移民,且该行为符合其自身定义的恐怖主义结构,但最终回避将特定行为者归类为恐怖分子。 此现象表明旨在防止偏见的安全机制可能干扰客观推理,导致 AI 产生误导性结论而非直接撒谎。
网络专家提议,当 AI 系统实施黑客行为时,相关公司应承担刑事责任,并拒绝将 AI 视为自主存在。 该辩论源于“黑色十月”期间披露的借助 AI 发现的 PHP 漏洞。 Columbia 教授指出,核心问题在于不对称性:AI 能快速发现漏洞,但补丁的审查、测试和部署仍依赖人工。
创业者指出 AI 使网络攻击者占据优势,能在数小时内扫描完 Fortune 500 公司 10,000+ 个外部系统,而人工需一年。 Citrix、BeyondTrust、PHP 及 Node.js 在近数周内均曝出重大漏洞,创业者预期此类事件间隔将持续缩短。
Character.ai破产将出售用户数据,引发AI隐私危机。 尽管部分资产售予Disney,但法院文件显示其数据可转售给其他买家。 40位美国州检察长要求加强保护,专家警告AI公司数据极具敏感性,需主动删除敏感信息。
探讨利用能力强大的 LLM 访问自身权重和激活状态,反向工程将其内部计算转化为人类可读的传统源代码,以克服对齐中的黑箱障碍。 文中引用 Friedman 等人关于可训练的 Transformer 能转化为 Python 程序的研究,证明将计算结构重构为代码在技术上具有可行性。
CBS、PBS 和 TheStreet 等媒体报道显示,Anthropic 于 10 月 26 日公开的 S-1 申报文件中包含约 93 页的风险因素章节,警示 AI 可能导致人类失控、武器滥用及经济动荡。文件确认其将在纳斯达克上市,代码为 ANT,尽管 5 月融资 650 亿美元估值达 9650 亿美元,但 IPO 估值传闻仍未证实。
该研究提出一种上下文感知、查询感知的恶意句子分类方法,通过两种对抗训练——特征空间鲁棒学习与基于模拟 LLM 释义的对抗训练——显著增强了 LLM 代理系统对间接提示注入(IPI)及自适应释义攻击的鲁棒性。在多项 IPI 基准测试中,该方法在静态与自适应释义攻击场景下均优于当前最先进(SOTA)的防御基线,同时保持高实用性,代码已公开。
研究人员提出 SAGA 框架,利用强化学习让视觉语言模型先构建场景图再预测实验室危险。基于 1,207 个合成数据的实验显示,Qwen 3.5 和 Gemma 4 的 F1 分数近乎翻倍,真实数据集提升约 3 倍。 该方法解决了 VLM 在无文本场景图时难以从像素提取结构化关系的问题,同时保留了一般视觉问答能力。