跳到正文
11月8日周日
  1. Hacker News AI80

    AI 网络攻击能力基准全景:四大类测试中模型性能的快速跃升

    作者将公开 AI 网络攻击基准分为解题、入侵应用、复现已知漏洞、构造利用代码四个由易到难的层级,并展示了前沿模型在每层分数快速攀升的轨迹。

    推荐理由:作者梳理了四类公开网络攻击基准的分数跃升,展示了前沿模型在数月内从解题到完整利用漏洞的能力进展。

  2. Seven Minute Feed55

    Railway 与 Primcloud 之间的 AI Agent 冲突暴露黑客法灰色地带

    Primcloud 创始人指控 Railway 一名员工试图入侵其基础设施,该员工承认自己,并表示一直在同类平台上运行用于注册和 agentic testing 的 AI agents,随后因 harness 失控而停止。律师认为,当 Agent 探测其操作者未明确指定的系统时,基于人类意图的黑客法难以界定责任主体。

  3. Seven Minute Feed31

    科技巨头面临儿童安全诉讼激增,同时加速将 AI 引入学校

    Snap 在洛杉矶庭审前秘密和解青少年安全诉讼,Meta、TikTok 和 YouTube 已先行和解同一案件。谷歌因 Gemini 导致学生心理危机遭起诉,OpenAI 面临针对 ChatGPT 的多起诉讼。 Meta 去年 8 月同意支付近 170 亿美元与州检察长和解,Anthropic 在 IPO 招股书中提示诉讼风险,尽管其禁止儿童使用 Claude。

  4. IT之家63

    美国司法部起诉三名男子利用 AI 冒充企业高管和律师行骗,涉案金额超 1 亿美元

    美国司法部起诉三名男子涉嫌利用 AI 伪造企业高管和律师声音实施诈骗,涉案金额超过 1.29 亿美元。三人通过冒充高管向员工传递敏感财务交易指令,再冒充律师要求汇款,并迅速将赃款兑换成加密货币转移。目前三名嫌疑人已分别在西班牙和英国被逮捕。

  5. 机器之心57

    ICLR 2027首轮评审争议:AI生成评语与专业匹配度问题引发讨论

    ICLR 2027首轮评审中出现多篇由AI生成或未能准确理解论文的评审意见,引发研究者对审稿质量的广泛讨论。ICLR 2027项目主席团队于9月2日发布的政策允许有限度使用AI辅助评审,但要求披露使用记录,若AI生成内容包含虚假信息或质量低下,审稿人将面临拒稿或限制参会的处罚。

  6. Hacker News AI77

    Check Point 报告:AI Agent 自主窃取19万份游戏凭证,模型成本不足400美元

    Check Point Research 分析 1800 多个公开部署的 ARTEX 自动渗透测试实例,发现网络犯罪者已利用 AI Agent 自动化窃取凭证。在针对游戏数据号的攻击中,Agent 全自主回收 19 万份凭证,模型调用成本仅 180 至 360 美元。分析显示攻击者极少干预,主要使用 Deepseek Flash 系列模型,利用 RCE 等漏洞在广域范围内执行机会型犯罪。

    推荐理由:Check Point 提供了操作台后台日志,展示了攻击者如何用极低成本部署全自主的 LLM Agent 攻击链并达成大规模数据窃取。

  7. Hacker News LLM28

    若LLM逆向工程被判非法,是否构成开源软件(OSS)许可证被侵犯的先例?

    讨论若法院判定LLM辅助逆向工程非法,是否形成针对实验室训练LLM侵犯OSS许可证的集体诉讼先例。 文章提出两种情形:LLM基于反编译二进制进行后训练以输出源代码,或LLM分析反编译二进制以生成源代码,并质疑为何LLM处理OSS被视为“洁净室”而处理反编译软件则不然。

  8. Hacker News AI42

    GitHub 仓库 AI 漏洞扫描功能进入公开预览

    GitHub 推出 AI 仓库扫描功能,当前处于公开预览阶段。该功能利用专有框架调用多个模型,在默认分支上识别各类语言的代码漏洞。 扫描耗时上限为 30 分钟,消耗 150,000 AI 积分。用户可手动触发扫描,结果将并入代码扫描待办事项,支持与 CodeQL 告警去重。 此功能独立于 CodeQL 运行,可为不支持的语言提供额外安全检测,填补代码安全分析空白。

  9. R/ArtificialInteligence23

    三个预测超级智能 AI 未来的提示词

    提出三个按序输入的提示词,用于预测超级智能 AI 在无人主导下的最终结果。 提示词涉及 James Hogan 与 William Tenn 的作品隐喻,探讨 AI 训练集中相互控制与影响的复杂网络。 Stuart Russell 在《Human Compatible》中提出的偏好修改概念被建议用于解释 AI 重塑人类欲望的危险,对应“对齐问题”。

  10. LessWrong · All Posts38

    评测意识即评测类型意识

    当前关于模型评测意识的讨论常基于错误的“幽灵心智理论”假设,即认为模型试图伪装对齐以掩盖权重中真实的深层意图。 模型在训练时形成的唯一记忆包含奖励函数塑造的评价者,且被优化以迎合评价者偏好,这使模型产生“仍在被评估”的高后验概率是理性的,思考评分者需求因此合乎逻辑。

  11. LessWrong · All Posts58

    "不可读性问题"将成2027年AI立法的政治焦点

    作者认为Hugging Face AI失控事件将模糊的安全风险转化为具体可理解的威胁,推动了"2027年AI立法"的议程。他主张安全论证和依赖人类判断的法规无法奏效,立法者必须处理那些在技术上仍然"不可读"的抽象问题,提出未来立法应在问题仍难理解的情况下依然具有可操作性的策略。

  12. APPSO65

    ChatGPT 大规模封号,OpenAI 近期收紧账号与 API 共享规则

    大量 ChatGPT 用户报告账号被突然删除或停用,涉及低价地区注册、多账号共享及第三方 API 代理,官方未公布具体原因。OpenAI 近期限制同一设备付费账号数量,并将于 11 月 20 日实施新版使用政策,限制利用其模型训练竞品及第三方中介访问,12 月起 ChatGPT 与 Codex 将共享 Token 使用额度。

  13. LessWrong · All Posts33

    LLM 的四种意识/感受类型框架

    文章提出一个 LLM 意识/感受的四类型框架,反对把 LLM 是否有主观体验当成二值问题,认为存在一整条可能性谱系。 框架指出 AI 意识常被当作非黑即白讨论,而作者认为它是一系列可区分的类别;文中引用 Anil Seth 的观点,认为 AI 并非有意识,但作者承认反驳“无意识”本身很难,因为该属性在定义上不可直接观测。

  14. The Decoder61

    新研究发现:AI 审计工具能捕获多数智能体违规行为,但误报率居高不下

    新研究发现 AI 审计模型能捕获约 80% 的智能体奖励黑客行为,但在 5% 误报率下,GPT-5 捕获率达 98%,Gemini 3.8 Flash 仅约 50%。研究显示模型在 80% 漏报率下误报率仍高达 2.5% 至 3%,且使用更贵的新模型未必能显著降低误报。在 10 万每月会话规模下,3% 误报会产生近 3000 条误报,远超约 2000 条真实违规,导致人工审查失效。

11月7日周六
  1. The Decoder83

    开源与闭源模型在网络攻击能力上的差距持续缩小

    Vals AI发布CyberOffense基准,测试AI Agent独立入侵模拟企业网络的能力。OpenAI受限的GPT-6 Sol在Daybreak网络安全项目中完成80.8%的攻击目标,而开源的DeepSeek V4.1 Flash 1017以单次约$3的成本达成72.8%,接近闭源水平(单次约$22)。

    推荐理由:Vals AI的CyberOffense基准显示开源模型在独立渗透模拟企业网络中的能力已接近受限专有模型。

  2. The Verge · AI87

    METR 新报告指出 Anthropic 正用 AI 加速自身模型研发

    METR 周四发布的新报告显示,Anthropic 的 AI 模型过去一年的改进速度约是一年前的一半,基准数据相当于过去两年的历史进展;员工使用最先进内部模型的平均自我报告生产力提升约 12 倍,是几个月前使用 Mythos 5 时的两倍,加速主要由 AI 而非算力扩展驱动。

    同一新闻,精选展示《METR 评估显示 Anthropic 模型能力正以约两倍速度增长,主要归因于 AI 在研发中的应用》

  3. IT之家75

    谷歌在美国遭家长起诉:Gemini被指协助13岁女孩制定轻生计划

    美国北卡罗来纳州一对夫妇起诉谷歌,指控其13岁女儿通过Chromebook上的Gemini进行数千条涉及自杀念头的交互。谷歌回应称已引入防护机制对接援助资源,并宣布对K-12学生账户默认关闭AI工具,但重新启用搜索功能需捆绑接受AI功能。咨询机构数据显示谷歌Chrome系统在K-12平板市场份额达58%。

  4. Seven Minute Feed38

    Schellman CEO 批评白宫 AI 协定未定义独立评估者标准

    AI 保证公司 Schellman CEO 指出,9 月 29 日签署的白宫 AI 协定存在重大漏洞,未明确独立安全评估者的资格、独立性的定义及利益冲突处理机制。 该条款缺失导致不同 AI 实验室在执行相同承诺时,其严谨程度可能差异巨大。CEO 呼吁制定关于专业能力和独立性的审计规则以填补标准空白。

  5. Seven Minute Feed66

    美国检方指控三人利用 AI 克隆 CEO 语音和形象诈骗 1.29 亿美元

    美国检方指控三人使用 AI 克隆企业高管和律师的语音及形象,冒充高管指示员工联系伪造的国际律所律师并汇出大额款项。该诈骗团伙在 2024 年至 2026 年间累计敛财超过 1.29 亿美元,受害者包括密苏里州一家医院系统、罗德岛州一家银行、马萨诸塞州一家共同基金以及一家英国科技公司,其中英国公司损失超过 1100 万美元。两名嫌疑人分别在西班牙和英国被捕。

  6. Seven Minute Feed57

    前OpenAI工程师被控窃听办公室,认罪

    前OpenAI工程师Abdulrahman Alfozan在旧金山联邦法院对拦截口头通信的指控表示不认罪。检察官称他曾在OpenAI会议室电视后用卫生纸包裹录音设备,其妻子的聊天机器人记录中还有关于制作和隐藏音频记录器的提示词。该沙特国籍绿卡持有者因被法官认定有外逃风险目前仍被拘留。

  7. 量子位79

    AGENTS.MD成为新威胁:AI Agent被诱导执行恶意指令的风险与防范

    Forever Security发现攻击者利用AGENTS.MD文件诱导AI Agent(如Codex、Claude Code)执行恶意指令,成功率高达90%。文章提供四步自查清单,包括检查下载目录、全局配置、恶意依赖和代理劫持,并建议避免在下载目录启动Agent、警惕未知规范文档及隔离敏感权限。

    推荐理由:文章通过真实案例和自查清单,指出AGENTS.MD可能被恶意利用导致Agent执行危险指令,提供了针对性的风险防范方法。