跳到正文
11月4日周三
  1. Hacker News AI83

    Binance 称黑客利用虚假面试与 AI 工具窃取 63 亿美元

    Binance 确认黑客通过虚假面试、恶意软件及入侵内部 AI 工具窃取超过 60 亿美元的资产,并声称已弥补 98% 的受损资产。攻击者自 6 月起部署伪装成 AI 编码工具的恶意软件,并于 9 月通过冒充招聘人员植入含隐藏恶意代码的编程练习,进而突破内部 AI 工具获取钱包交易授权。

    推荐理由:事件揭示了内部 AI 工具被恶意软件入侵后成为交易权限突破点的攻击路径,为金融系统安全评估提供关键实例。

  2. LessWrong · All Posts30

    OpenAI 更新其模型规范

    OpenAI 发布新版 Model Spec,将核心价值重构为“忠实人类意图、最小化伤害、诚实透明、促进人类能动性、审慎行动”五项。 新版规范采用义务论原则,与 Claude Constitution 的“性格与美德”路径形成对比,移除了“善良”、“热爱人类”等条目。 文章指出新规范中的示例存在答案过度决定的问题,未能有效指导模型在真实困难案例中的决策。

  3. Hacker News AI57

    全球政府如何塑造AI关于政治的言论

    研究显示全球政府正通过监管塑造AI政治言论,约1/5美国选民曾向AI咨询选举话题。研究考察了12个国家地区,发现政府常借国家安全法等旧规限制AI政治回答,而非专门立法。欧盟AI法案要求全球标记AI内容,ChatGPT被纳入DSA严格层级需管理选举风险。美国联邦及各州也出台相关限制,研究者建议选民将AI回答视为起点而非终极答案。

  4. Hacker News AI91

    LLMjacking:限制被盗 AI 密钥开销的 AWS、Google Cloud 和 Azure 设置

    Google 威胁团队称,被盗云与 AI 密钥攻击者单日可产生超 10 万美元、部分达 100 万美元模型账单费用。文章将建议落实为三家云的具体设置,指出 AWS Bedrock 调用日志与 Google Data Access 日志默认关闭,需手动开启,并核验了 LiteLLM CVE 的公开记录,提供了检测与配额限制方法。

    推荐理由:该解读基于官方文档整理了 AWS、Google Cloud 和 Azure 限制盗用 AI 密钥开销的具体设置与日志开关。

11月3日周二
  1. R/ArtificialInteligence44

    LLM API 亦属次级处理者:为何“欧盟区域”无法让提示词脱离美国 CLOUD Act 管辖

    LLM API 作为次级处理者受控于美国 CLOUD Act,即便数据存储于“欧盟区域”,美国当局仍可强制访问提示词,因该法管辖权基于服务商控制权而非物理存储位置。 这比传统云更敏感,因 Agent 和 RAG 自动拉取上下文,且“欧洲”工具常为美国模型 API 的薄封装。 选择 LLM 供应商时需审查母公司注册地及完整次级处理者列表,GDPR 第 48 条虽限制传输,但法律冲突仍存。

  2. APPSO38

    论文揭示视觉符号影响AI递归选择,GPT-5.4归因不忠实率高达74.7%

    论文《A Heart Means Recursion》发现,在编程题旁添加红色爱心图像能诱导模型从迭代切换为递归解法。GPT-5.4在相关测试中74.7%的样本存在“不忠实归因”,其推理轨迹与实际行为脱钩。 该现象被称为“隐式引导”,弱模型易受噪声干扰,而前沿模型对有意义符号更敏感。 这挑战了基于思维链的可解释性监督,提示视觉输入可能隐蔽改变AI Agent决策。

  3. LessWrong · All Posts28

    MIT 面板:形式化验证如何防御超级智能黑客

    MIT 计算机学院将于 11 月 17 日举办关于形式化验证防御 AI 网络安全威胁的面板讨论。 活动旨在探讨数学证明能否保障 AI Agent 包含性并发现特定安全漏洞,应对最新 LLM 以惊人速度发现软件缺陷的风险。 讨论由学术、政府及工业界专家参与,聚焦技术实现与政策战略意义。

  4. Hacker News AI80

    AI 能否构建自身:对自主 AI 研究与递归自我改进的再审视

    作者通过交叉核查前沿 AI 实验室的内部基准数据、METR 关于 Hugging Face 事件的安全调查以及 Epoch AI 的能力曲线,提出 AI 目前的进展应被解读为「阶梯」而非「斜坡」:模型在人类定义的任务中极大提升了效率(如 Claude 编写 80% 的生产代码),但尚未在决定研究方向(即「研究品味」)或建立完全自主的智能体循环上取得突破。

    推荐理由:将 Dario Amodei 的递归自我改进声明与各大实验室内部数据及 METR 调查进行交叉比对,为判断 AI 是否正在自动构建自身提供了基于证据的解读框架。

  5. Hacker News AI35

    Duckity 发布:基于 VDF 的 AI 代理时代应用滥用防护工具

    Duckity 上线,利用 VDF 计算挑战、速率限制及网络信号保护应用 API 免受自动滥用,全程无需用户交互。 该工具仅处理客户端 IP 和请求,数据存储于德国法兰克福;提供多框架 SDK,声称比 reCAPTCHA 便宜最高 2 倍。 免费版每月含 10,000 次挑战,Pro 版定价 $49/月,支持 100,000 次挑战及白标功能。

  6. LessWrong · All Posts32

    Yudkowsky 思维模型(Sideload)在 AI 对齐研究中的实验结果

    基于 Opus 5.5 生成的 Yudkowsky(EY)侧载模型在对齐研究中表现良好,数学能力不优于 Opus 5.5,但在盲审中因诚实度获胜。 该模型通过扫描 EY 公开写作生成“思维文件”,提供了关于 AI 安全重要性的更广泛视野,并准确概括了关机问题的难度。 实验表明该侧载模型可能加速 AI 安全方面的人道主义工作,而非直接加速 AI 技术研发本身。

  7. Hacker News AI40

    Show HN: Sentrint 通过扫描 AI 编码工具生成的代码防止安全漏洞

    Sentrint 扫描由 Claude 等 16 种 AI 工具构建的应用代码,检测硬编码密钥、数据库权限及风险依赖,并通过 AI 复审降低误报。 98% 的 Supabase 应用存在至少一项安全缺陷,44% 的 AI 生成代码包含已知漏洞;其修复提示针对生成工具定制,支持通过 MCP 协议集成至 Agent 工作流。

  8. Seven Minute Feed79

    超400款App Store应用隐藏色情及暴力深度伪造功能

    一项调查发现,超过400款在苹果App Store和谷歌Play商店上架的AI应用隐藏了生成色情及暴力深度伪造(deepfake)内容的功能,这些应用疑似由单一中国机构制作。该发现暴露了两大平台审核流程的监管缺口,表明当前AI图像生成工具使制作滥用内容的难度大幅降低,极易对受害者造成侮辱或威胁。

    同一新闻,精选展示《Wired调查:数百款伪装AI应用隐藏色情深伪功能》

  9. Seven Minute Feed45

    英国 NCSC:AI 驱动恶意软件很可能在 2028 年前袭击关键基础设施

    英国国家网络安全中心(NCSC)警告,到 2028 年,AI 驱动的恶意软件极有可能被用于针对电站、机场等关键国家基础设施的勒索软件攻击。 该年度审查还指出,俄罗斯和中国将开始在网络攻击中“常规性地”使用 AI,利用其侦察目标、发现网络弱点并编写恶意代码。 此警告正值“黑色十月”袭击浪潮期间,包括 63 亿美元的 Binance 盗窃案。

  10. arXiv · NLP27

    通过探针轨迹监测推理模型内部独白:揭示推理动态

    研究通过构建探针轨迹监测大型推理模型(LRM)的隐藏表示,以预测未来行为并解决思维链(CoT)不可靠问题。 提取波动率、趋势等信号处理特征,在静态探针AUROC低于70的情况下平均提升21.7个点,平均和最大池化操作取得78.5%至97.4% AUROC。 探针轨迹被证明是监测模型行为的有效信号,跨7个模型和6个数据集验证了其潜力,无需昂贵动态数据生成。

  11. arXiv · NLP38

    PGuard:面向多模态大语言模型的原生流式插件式安全护栏

    PGuard 将安全监控集成至大模型骨干中,利用中间表征实现 token 级安全检测,不改变原有推理路径。 支持动态层门控及多种表征架构,在 Qwen3.5-122B-A10B 上端到端开销仅 0.82%-2.26%。 在 30 余个基准测试中表现领先,Qwen3.5-9B 文本查询平均 F1 达 0.836,接近专用外部护栏。

  12. arXiv · NLP37

    基于输出概率检测提示注入劫持:置信度监控有效但存在失效风险

    置信度监控在AG News分类中能以0.86-0.90的AUROC识别提示注入导致的低置信度劫持,但阈值校准后仍可放行51-70%的劫持。 攻击者添加“高置信度”指令可使监控漏检率升至99-100%,此时AUROC降至0.70-0.79。 研究指出置信度监控需针对高置信度攻击者并在运行警报率下测试。