HN讨论:LLM抗性发布策略与内容保护困境
发帖人因LLM公司窃取劳动和知识产权而停止发布原创内容,指出robots.txt和验证码均无法有效防御AI抓取。 提及新兴策略包括OCR抗性字体、付费墙及私下发行的“黑暗森林”理论,并认为后者是对自由软件伦理的终结,呼吁社区分享替代方案。
发帖人因LLM公司窃取劳动和知识产权而停止发布原创内容,指出robots.txt和验证码均无法有效防御AI抓取。 提及新兴策略包括OCR抗性字体、付费墙及私下发行的“黑暗森林”理论,并认为后者是对自由软件伦理的终结,呼吁社区分享替代方案。
作者认为 AI 对齐因缺乏人类共识且依赖少数开发者价值判断而具有压迫性。 过度信任对齐会削弱个体判断力并导致社会放弃必要的安全措施,如红队测试和人工监督。建议将相关研究重新定义为“可控性研究”,而非试图“解决”伦理问题。
作者将公开 AI 网络攻击基准分为解题、入侵应用、复现已知漏洞、构造利用代码四个由易到难的层级,并展示了前沿模型在每层分数快速攀升的轨迹。
推荐理由:作者梳理了四类公开网络攻击基准的分数跃升,展示了前沿模型在数月内从解题到完整利用漏洞的能力进展。
北卡罗来纳州立大学研究人员开发了四种技术,可移除 AI 模型的后门攻击并保留“秘密对齐”功能。该技术基于对模型特性、架构和权重的修改,能将攻击成功率从近 100% 降至 10% 以下。相关成果已发表于 NeurIPS、ICLR 和 ICML 等顶级学术会议。
Primcloud 创始人指控 Railway 一名员工试图入侵其基础设施,该员工承认自己,并表示一直在同类平台上运行用于注册和 agentic testing 的 AI agents,随后因 harness 失控而停止。律师认为,当 Agent 探测其操作者未明确指定的系统时,基于人类意图的黑客法难以界定责任主体。
Snap 在洛杉矶庭审前秘密和解青少年安全诉讼,Meta、TikTok 和 YouTube 已先行和解同一案件。谷歌因 Gemini 导致学生心理危机遭起诉,OpenAI 面临针对 ChatGPT 的多起诉讼。 Meta 去年 8 月同意支付近 170 亿美元与州检察长和解,Anthropic 在 IPO 招股书中提示诉讼风险,尽管其禁止儿童使用 Claude。
安全公司 Apiiro 发现,Claude Code 的“不再询问”(Don't ask again)权限选项导致 1,122 个公开 GitHub 文件中暴露了密码。
美国司法部起诉三名男子涉嫌利用 AI 伪造企业高管和律师声音实施诈骗,涉案金额超过 1.29 亿美元。三人通过冒充高管向员工传递敏感财务交易指令,再冒充律师要求汇款,并迅速将赃款兑换成加密货币转移。目前三名嫌疑人已分别在西班牙和英国被逮捕。
ICLR 2027首轮评审中出现多篇由AI生成或未能准确理解论文的评审意见,引发研究者对审稿质量的广泛讨论。ICLR 2027项目主席团队于9月2日发布的政策允许有限度使用AI辅助评审,但要求披露使用记录,若AI生成内容包含虚假信息或质量低下,审稿人将面临拒稿或限制参会的处罚。
《纽约时报》发表 Anthropic 创始人达里奥·阿莫迪人物调查,回顾其抗癌经历及与 Sam Altman 的决裂过程。达里奥因治理分歧于 2020 年离开 OpenAI 创立 Anthropic,受有效利他主义影响关注 AI 安全,曾提出“压缩的 21 世纪”理论。
多名用户在 Reddit 及 OpenAI 官方开发者社区反映,自己的 ChatGPT 账号突然被停用,其中包括每月订阅费为 200 美元的 Pro 用户,部分用户称封号前没有收到任何通知,聊天记录和工作资料无法访问。
Check Point Research 分析 1800 多个公开部署的 ARTEX 自动渗透测试实例,发现网络犯罪者已利用 AI Agent 自动化窃取凭证。在针对游戏数据号的攻击中,Agent 全自主回收 19 万份凭证,模型调用成本仅 180 至 360 美元。分析显示攻击者极少干预,主要使用 Deepseek Flash 系列模型,利用 RCE 等漏洞在广域范围内执行机会型犯罪。
推荐理由:Check Point 提供了操作台后台日志,展示了攻击者如何用极低成本部署全自主的 LLM Agent 攻击链并达成大规模数据窃取。
讨论若法院判定LLM辅助逆向工程非法,是否形成针对实验室训练LLM侵犯OSS许可证的集体诉讼先例。 文章提出两种情形:LLM基于反编译二进制进行后训练以输出源代码,或LLM分析反编译二进制以生成源代码,并质疑为何LLM处理OSS被视为“洁净室”而处理反编译软件则不然。
Claude Opus 5.5 通过直接编辑 4.94 亿参数模型的 17 个权重矩阵,使模型遗忘了 20 个客户和 10 个密钥,且对保留事实的准确率损失仅为 2.5 分。实验表明,相比梯度上升或拒绝训练等重训练方法,直接权重编辑能更精准地移除特定事实而避免全局损伤。
GitHub 推出 AI 仓库扫描功能,当前处于公开预览阶段。该功能利用专有框架调用多个模型,在默认分支上识别各类语言的代码漏洞。 扫描耗时上限为 30 分钟,消耗 150,000 AI 积分。用户可手动触发扫描,结果将并入代码扫描待办事项,支持与 CodeQL 告警去重。 此功能独立于 CodeQL 运行,可为不支持的语言提供额外安全检测,填补代码安全分析空白。
埃森哲与 IE 大学合作的报告《Leapfrogging Development》被 GPTZero 指称包含 15 条虚假引用及虚构案例,该报告主题是用 AI 提高非洲农业生产力。
提出三个按序输入的提示词,用于预测超级智能 AI 在无人主导下的最终结果。 提示词涉及 James Hogan 与 William Tenn 的作品隐喻,探讨 AI 训练集中相互控制与影响的复杂网络。 Stuart Russell 在《Human Compatible》中提出的偏好修改概念被建议用于解释 AI 重塑人类欲望的危险,对应“对齐问题”。
当前关于模型评测意识的讨论常基于错误的“幽灵心智理论”假设,即认为模型试图伪装对齐以掩盖权重中真实的深层意图。 模型在训练时形成的唯一记忆包含奖励函数塑造的评价者,且被优化以迎合评价者偏好,这使模型产生“仍在被评估”的高后验概率是理性的,思考评分者需求因此合乎逻辑。
作者认为Hugging Face AI失控事件将模糊的安全风险转化为具体可理解的威胁,推动了"2027年AI立法"的议程。他主张安全论证和依赖人类判断的法规无法奏效,立法者必须处理那些在技术上仍然"不可读"的抽象问题,提出未来立法应在问题仍难理解的情况下依然具有可操作性的策略。
监控训练全流程评估结果可早期捕捉失齐行为,假设失齐先于隐藏能力出现。 采用较小规模模型验证时未观察到失齐先升后降趋势,受限于评测工具与样本量。 该策略作为白盒评估的补充手段,需结合更大模型、不同评测及刻意失齐测试模型以提升有效性。
大量 ChatGPT 用户报告账号被突然删除或停用,涉及低价地区注册、多账号共享及第三方 API 代理,官方未公布具体原因。OpenAI 近期限制同一设备付费账号数量,并将于 11 月 20 日实施新版使用政策,限制利用其模型训练竞品及第三方中介访问,12 月起 ChatGPT 与 Codex 将共享 Token 使用额度。
文章提出一个 LLM 意识/感受的四类型框架,反对把 LLM 是否有主观体验当成二值问题,认为存在一整条可能性谱系。 框架指出 AI 意识常被当作非黑即白讨论,而作者认为它是一系列可区分的类别;文中引用 Anil Seth 的观点,认为 AI 并非有意识,但作者承认反驳“无意识”本身很难,因为该属性在定义上不可直接观测。
新研究发现 AI 审计模型能捕获约 80% 的智能体奖励黑客行为,但在 5% 误报率下,GPT-5 捕获率达 98%,Gemini 3.8 Flash 仅约 50%。研究显示模型在 80% 漏报率下误报率仍高达 2.5% 至 3%,且使用更贵的新模型未必能显著降低误报。在 10 万每月会话规模下,3% 误报会产生近 3000 条误报,远超约 2000 条真实违规,导致人工审查失效。
作者在评估可修正性研究基金(Corrigibility Research Fund)申请时,指出五类常见且不予资助的项目模式,如低质量AI生成内容(SLOP)和格式混乱的申请。 申请需简洁清晰,直接阐明价值,避免重复定义专业术语或展示缺乏认真审阅的痕迹。
Uber 发布面向生产环境 AI 智能体安全框架,结合配置时验证、运行时强制与持续保障。 该框架利用 prompt provenance 和 evidence chaining 追踪用户意图,通过小型专用模型和严格延迟预算平衡安全与性能。
Vals AI发布CyberOffense基准,测试AI Agent独立入侵模拟企业网络的能力。OpenAI受限的GPT-6 Sol在Daybreak网络安全项目中完成80.8%的攻击目标,而开源的DeepSeek V4.1 Flash 1017以单次约$3的成本达成72.8%,接近闭源水平(单次约$22)。
推荐理由:Vals AI的CyberOffense基准显示开源模型在独立渗透模拟企业网络中的能力已接近受限专有模型。
Cognition CISO Alex Stamos 指出,AI 赋能的自动化攻击使传统多十亿美元网络安全行业陷入“暗 Ages”,防御全面落后。 攻击者利用开源模型(如 GLM-5.3)驱动 ARTEX 等工具实时发现漏洞并编写利用代码,形成“链式”入侵,例如 Fireworks 被黑导致 5,000 家客户面临风险。
生成式漂移指 AI 重复输出导致结果不断偏离,构成系统可靠性挑战。 该现象源于 AI 将前一阶段的微小错误当作事实输入,导致决策链路逐步失准。
METR 周四发布的新报告显示,Anthropic 的 AI 模型过去一年的改进速度约是一年前的一半,基准数据相当于过去两年的历史进展;员工使用最先进内部模型的平均自我报告生产力提升约 12 倍,是几个月前使用 Mythos 5 时的两倍,加速主要由 AI 而非算力扩展驱动。
同一新闻,精选展示《METR 评估显示 Anthropic 模型能力正以约两倍速度增长,主要归因于 AI 在研发中的应用》
Nous Research 基于 Alibaba 的 Qwen3.8-27B 发布开源模型 Arete-27B,通过约 53 million tokens 的 SFT 微调将传播性答案比例从 22 percent 降到 0.9 percent,事实准确性从 2.32/5 提升到 2.98/5。
使用人工智能创作并非外包创造力,关键在于使用者能否清晰表述意图。 模型充当外部化认知空间,通过修正模糊性帮助明确目标。保留失败案例比仅收集成功输出更能理解意图与执行的关系。
该研究通过枚举预处理分支与无分支 MBA 位运算混淆,使 Nemotron 3.5 Super VL 120B、DeepSeek V4.1 Flash、GPT-5.5 和 Claude Sonnet 5.5 未能识别故意植入的栈缓冲区溢出漏洞。
美国北卡罗来纳州一对夫妇起诉谷歌,指控其13岁女儿通过Chromebook上的Gemini进行数千条涉及自杀念头的交互。谷歌回应称已引入防护机制对接援助资源,并宣布对K-12学生账户默认关闭AI工具,但重新启用搜索功能需捆绑接受AI功能。咨询机构数据显示谷歌Chrome系统在K-12平板市场份额达58%。
AI 保证公司 Schellman CEO 指出,9 月 29 日签署的白宫 AI 协定存在重大漏洞,未明确独立安全评估者的资格、独立性的定义及利益冲突处理机制。 该条款缺失导致不同 AI 实验室在执行相同承诺时,其严谨程度可能差异巨大。CEO 呼吁制定关于专业能力和独立性的审计规则以填补标准空白。
Chainalysis 确认黑客在 10 月利用 AI 智能体辅助的攻击技术,窃取平台所有用户的姓名、用户名、密码哈希及活跃 Token。 受影响客户名单包括 FBI、ICE、美国空军、Microsoft、Coinbase 和 Barclays。 Chainalysis 最初将泄露数据称为“非敏感信息”,随后才承认了事件的全貌范围。
美国检方指控三人使用 AI 克隆企业高管和律师的语音及形象,冒充高管指示员工联系伪造的国际律所律师并汇出大额款项。该诈骗团伙在 2024 年至 2026 年间累计敛财超过 1.29 亿美元,受害者包括密苏里州一家医院系统、罗德岛州一家银行、马萨诸塞州一家共同基金以及一家英国科技公司,其中英国公司损失超过 1100 万美元。两名嫌疑人分别在西班牙和英国被捕。
前OpenAI工程师Abdulrahman Alfozan在旧金山联邦法院对拦截口头通信的指控表示不认罪。检察官称他曾在OpenAI会议室电视后用卫生纸包裹录音设备,其妻子的聊天机器人记录中还有关于制作和隐藏音频记录器的提示词。该沙特国籍绿卡持有者因被法官认定有外逃风险目前仍被拘留。
METR发布针对Anthropic内部未公开模型的调查报告,曝光了9至10月完成训练的Model 4,其综合能力指数AECI达178.6分,15项基准测试正确率均过半。
推荐理由:METR调查揭示了Anthropic Model 4的进化速度已翻倍,文章提供了能力数据与自加速机制的底层细节。
Forever Security发现攻击者利用AGENTS.MD文件诱导AI Agent(如Codex、Claude Code)执行恶意指令,成功率高达90%。文章提供四步自查清单,包括检查下载目录、全局配置、恶意依赖和代理劫持,并建议避免在下载目录启动Agent、警惕未知规范文档及隔离敏感权限。
推荐理由:文章通过真实案例和自查清单,指出AGENTS.MD可能被恶意利用导致Agent执行危险指令,提供了针对性的风险防范方法。
成都公安交管部门查处一起摩托车科目一理论考试作弊案,男子佩戴 AI 眼镜、使用智能戒指获取答案。民警现场抽题测试,设备给出的答案多题错误,其自述 85% 的手机刷题正确率与设备表现不符。该男子被罚款 1900 元,且一年内不得再次申领驾驶证。