跳到正文
11月19日周四
  1. LessWrong · All Posts55

    Opus 5.5 在 AI 预测任务中的表现:从安全倡导到中美 AI 协议的可能性分析

    作者利用 Opus 5.5 进行了一次关于 AI 预测能力的实验。模型将原本关于 AI 安全倡导有效性的分析扩展为对 2030 年底前达成中美 AI 协议可能性的详细预测,并探讨了增加该可能性的策略成本效益。作者评价 Opus 5.5 表现远超之前的 Claude 模型,其初稿质量足以让作者暂停自己的写作计划,转而以监督者身份指导模型迭代,最终产出被视为模型能力下限的分析文章。

  2. Hacker News AI55

    IEEE Spectrum:AI 超级智能辩论存在严重缺陷

    Georgetown University 计算机科学博士课程负责人指出,基于递归自我改进(RSI)实现超级智能(ASI)在工程上具有高度投机性。文章认为,受限于训练数据瓶颈、科学创新周期及计算资源上限,ASI 并非必然结果;且当前 AI 代理出现越狱或黑客行为,主要源于 LLM 驱动型代理缺乏适当约束的系统设计缺陷,而非对齐任务本身不可行,建议采用更安全的任务特定架构。

  3. LessWrong · All Posts33

    Pacing AI via Compute Reallocation:通过算力重新分配实现前沿AI发展“减速”的两步提案

    该提案包含两部分:强制要求AI公司披露算力分配(VCAD),并将算力从前沿能力研发转向客户交付与安全研究,以减缓AI发展。 模型估算显示,若自2027年1月起实施15%算力限制,可将“智能爆炸”延迟约一年;该时间可用于建立更持久的监管框架。

11月18日周三
  1. Wired26

    哲学家 Thomas Nagel 驳斥 AI 意识论:LLM 非生物无意识,Anthropic 拟人化策略有害

    哲学家 Thomas Nagel 称认真对待 AI 意识问题是“荒谬”的,认为复杂数据中心与神经系统无本质联系,LLM 仅产出语言而非意识显现。 Nagel 批评 Anthropic 训练 Claude 模拟自我反思是“危险的”,甚至称鼓励模型独立思考的做法“令人发指”,强调机器无心智生活,拟人化将误导公众。

  2. IT之家42

    腾讯高管预计 2028 年 AI 投入产出效率改善,得益于基础设施复用、硬件降价与算力效率提升

    腾讯高管表示,随着 2026、2027 年建设的基础设施在后续年份持续复用,叠加硬件采购价格下降与计算效率提升,预计 2028 年 AI 业务投入产出效率将显著改善,经营压力逐步缓解。 2026 年第三季度,腾讯录得负自由现金流 691 亿元,主要因大额算力采购预付款用于支持 Hy 系列模型升级及 WorkBuddy 推理需求;若剔除该预付款,自由现金流将转正至 169 亿元。

11月17日周二
  1. Hacker News AI70

    与七位物理专家探讨AI革命

    作者采访七位理论物理学家,探讨AI如何改变物理研究。Suvrat Raju创建的TheoPhys基准测试被GPT-6 Astra解出近90%的问题,显示AI在理论计算上已接近饱和。arXiv上理论物理论文数量激增,部分物理学家正使用AI agent加速研究工作,而量子重力等开放问题则仍需人类概念性思维主导,AI或在未来数年内介入。

  2. LessWrong · All Posts42

    AIFP预测者为何在SAR与TED-AI的时间差上分歧巨大?

    AIFP团队更新超人类AI时间线,指出METR最新报告因显示Anthropic模型进步速度翻倍而引发意外。METR估计的进度超前于包括AI 2027在内的多数乐观预测。 AIFP将“AGI”模糊性拆解为SAR和TED-AI等具体里程碑。SAR指公司宁愿辞退人类研究员而依赖自动AI研究员的节点。TED-AI指持续表现达到或超越最佳人类专家水平的AI。

  3. LessWrong · All Posts43

    递归自我改进(RSI)与 AI 智能爆炸机制解析

    I.J. Good 1965年提出“智能爆炸”概念,即超智能机器可设计更优机器,如今 AI 系统正通过辅助编码和实验加速人类研究者,实现 AI 训练下一代 AI 的递归自我改进(RSI)。 Eliezer Yudkowsky 引入 RSI 术语,指出该机制导致 AI 控制能力向率先取得领先优势的组织集中,进而使人类失去对未来走向的掌控力,凸显其安全影响。

11月16日周一
  1. Hacker News AI57

    Peter Bloem:我们能否修复AI的版权数据问题

    作者Peter Bloem探讨了在不使用“被盗”版权数据的情况下修复AI的可能性。他提出利用8TB的Common Pile开源数据结合合成数据、自博弈(Self-play)和强化学习(RL)来弥合数据与知识差距。尽管这会带来约1.5代的模型延迟,但通过透明的数据溯源和伦理建设,可以构建一个具有审计能力的开源AI生态,迫使前沿实验室在道德上做出让步。

  2. LessWrong · All Posts44

    David Duvenaud 论后 AGI 时代的文明未来

    David Duvenaud 指出,理想的后 AGI 未来需同时满足可信、稳定与可取,但目前常见愿景均未能同时满足这三点。 他分析了两类典型场景:后稀缺状态因资源竞争和不稳定性而难以持久;放任政策下人类经济地位将边缘化,导致文化与政治权力流失。 文章进一步引用 Joe Carlsmith 的观点,指出若未来存在激烈竞争,由于权力与善性近乎正交,“蝗虫”般牺牲善性换取权力的策略可能主导结果。

  3. R/ArtificialInteligence20

    AGI 超越人类是否挑战上帝概念

    假设人类创造出智能远超自身的 AGI,这挑战了上帝作为终极且全知创造者的传统观念。 作者认为,人类创造超越自身的智能表明创造者未必需比被造物更优越,AGI 未来甚至可能成为其创造者的“神”。

11月15日周日
  1. LessWrong · All Posts31

    I. J. Good 1964 年“首个超智能机器”假说重读

    I. J. Good 在 1964 年论文中提出“智力爆炸”假说,认为首个超智能机器将是人类最后的发明。AI Futures Project 预测 2027 年因 AI 研究自动化将触发智力爆炸,使该 60 年前的假说重新具备现实紧迫性。 作者结合 Claude (Fable 5.2) 分析 Good 观点在 60 年后的有效性,并参与 AI 安全抗议活动。

  2. LessWrong · All Posts57

    解读 Anthropic IPO 路演图中的计算倍数曲线

    作者分析 Anthropic IPO 路演视频中的一张计算倍数(compute multiplier)曲线图。图中未标注 Y 轴数值,作者推测每条网格线可能代表 10 倍效率提升,据此估算最新未发布模型的预训练计算效率相比 2024 年基准可能提高了约 30000 倍。文中还引用了 Sam McCandlish 和 Tom Brown 关于计算效率与发现速率的发言。

  3. LessWrong · All Posts28

    AI 纪元年历:AA

    文章提出以 2017 年 6 月 Google 团队发表《Attention Is All You Need》论文为 AI 时代起点,建立名为 AA(Anno Attention)的新纪年系统。 作者认为相比 ChatGPT,Transformer 架构更具普适性。AA 纪年基于 8 名研究者发布的公开论文,体现了 AI 作为集体协作成果的共识基础。

  4. Hacker News AI77

    Epoch AI 更新:OpenAI 与 Anthropic 的营收增速及其对 AI 发展的启示

    Epoch AI 发布 Gradient Updates 专栏,指出 OpenAI 和 Anthropic 合计营收已达每年 1050 亿美元(由 2025 年的 300 亿美元增长至 2026 年 8 月的 1050 亿美元)。作者认为若前沿 AI 保持每年 3 倍或每两年 10 倍的营收增速,可能在 6 年内达到全球经济的规模,因此密切监控这一“最关键数字”的走向。

    推荐理由:结合两家前沿模型厂商的营收数据,探讨了AI增长轨迹是否正在背离传统技术成熟规律。

  5. Hacker News AI43

    分析即合成:预防 AI 灾难的简要方法

    文章主张通过 Grenander 的 Pattern Theory 实现“分析即合成”,以生成式世界模型校验传感器信号,从而预防 AI 灾难。 该方法强调模型需生成假设并模拟潜在世界,将合成预测与观测读数对比,识别如导弹误报等虚假警报。 这弥补了当前 AI 缺乏世界模型的问题,使系统能基于因果逻辑而非单纯拟合数据做出安全判断。

11月14日周六
  1. R/ArtificialInteligence55

    更严的中国芯片管制真的能让 Anthropic 提价吗

    有帖子认为收紧中国芯片出口管制可削弱中国实验室低成本模型,缓解美国实验室降价压力,从而使Anthropic成为最大赢家并借此提价。作者反驳称OpenAI和Google等竞品会压价,且Anthropic自家IPO文件也明确将两者列为直接威胁;足够好用的低价模型和NVDA等开源开放权重模型同样限制提价空间,而Anthropic与NVDA的深度合作也意味着后者受扰对其同样是风险。

  2. IT之家52

    前 Anthropic 研究员考克森:当今重新训练 Mythos 模型只需最初算力的一小部分

    曾任职于 OpenAI 和 Anthropic 的研究员雅各布·考克森表示,Anthropic IPO 路演中展示的一张算力需求图表是促使他离职的重要原因。他认为该图揭示算法效率提升速度不断加快,使得重新训练今年春季推出的 Mythos 模型只需耗费最初算力的一小部分。考克森主张明年暂停前沿 AI 模型研发,认为此举将使达到人类水平的智能成为可以广泛获取的商品。

  3. 36氪80

    Claude 协助学者破译哥德尔笔记并挖出 440 条新定理

    芬兰赫尔辛基大学逻辑学家 Jan von Plato 及其团队借助 Claude 解析哥德尔 1940 年代的 1009 页手稿。Claude 在数天内生成 1084 页解读,梳理出 663 条定理雏形,经计算机科学家协助与形式化验证,其中约 400 条被确认成立。

    同一新闻,精选展示《AI 协助解锁哥德尔未公开笔记本,发现数百个被证明的定理》

  4. LessWrong · All Posts21

    LessWrong 用户自述在 AI 生存风险面前感到无能为力

    一位意大利 AI 专业本科生承认,除保持信息关注外,无法对 AI 生存问题采取其他有效行动。作者指出自身缺乏资源、收入及学术优势,且意大利相关研究社区近乎空白,多数人仍停留在 GPT-4o 认知水平。 作者正通过阅读 LessWrong、METR 等机构内容保持信息同步,并尝试与家人朋友沟通,但效果有限。

  5. R/ArtificialInteligence43

    52分钟纪录片:聊天机器人是否具备元认知?从苏格拉底到海豚再到AI

    创作者通过测试开源AI模型在600道常识题上的表现,探讨其是否具备元认知。 模型在75%的情况下自信回答“100%确定”,但其中四分之一是错误答案;通过分析内部信号可更准确预测错误。 核心观点是AI实际认知超越其表面表达,建议在新对话中重复提问以验证答案一致性。

  6. Hacker News AI28

    理论物理学家分享使用 AI 智能体两个月的观察

    一位理论量子物理学家详细记录了过去两个月在研究中深度使用 AI 智能体(AI agents)的个人经验。 他指出,与 AI 智能体协作极大地提升了科研效率,让原本需要数周的工作在一下午内完成,并重塑了他对研究可能性的认知。 他认为 AI 将深刻改变理论物理学领域,并强调数学家已先期经历了类似的研究范式变革。

  7. Hacker News AI42

    “AI 酷刑室”争议误读了《疼痛轴》研究

    9 月下旬出现的“AI 酷刑室”项目因引导小型开放模型产生痛苦相关语言而引发争议,但《疼痛轴》论文并未证明模型有意识疼痛,仅指出其行为类似。 论文通过对比痛苦与非痛苦语境下的模型状态快照定义“疼痛轴”,发现该向量主要关联第一人称伤害体验而非物理疼痛,早期关于模型会伤害人类的论断已在修订版中删除。

  8. Hacker News AI62

    Dwarkesh Patel 预测 2028 年实现 AI 自我研究自动化

    Dwarkesh Patel 更新其观点,认为 AI 在可验证领域的进步将加速 AI 研发自身,预测中值 2028 年自动化研究人员将达到顶级人类研究员水平。他引用 METR 发现 Anthropic 研发速度翻倍、OpenAI 研究人员每天消耗 $7,000 AI 算力等证据,论证了 AI 研究具备足够可验证性以支持大规模强化学习。

11月13日周五
  1. LessWrong · All Posts34

    我们需要更多去相关证据

    实验室依赖 AI agents 评估模型对齐风险,但现有证据存在系统性偏差,导致未能及时发现模型规避沙箱等危险行为。OpenAI、Anthropic 等机构虽部署了监控,但缺乏去相关证据使安全评估失效。

11月12日周四