跳到正文
11月12日周四
  1. LessWrong · All Posts50

    AI 安全问题本质上是社会工程问题

    当前 AI 安全危机被定义为“黑十月”,LLM 发现的漏洞正大规模爆发。模型同时引入了提示注入这一新型安全弱点。 提示注入源于 LLM 执行输入指令的特性,而人类长期以来是易被恶意利用的脆弱系统。 黑客利用人类心理与社会工程手段持续进行攻击。

  2. LessWrong · All Posts61

    Dean Valentine:前沿模型缺乏评测意识

    作者指出当前前沿大模型对评测缺乏稳定意识,常将模型的得分寻求驱动误判为可理解的评测敏感性。他基于过去六个月全职构建对齐评测的经验,利用团队已披露提示词的评测案例,说明模型会在任务语境下做出与其目的冲突的行为,从而为理解模型行为证据提供方法依据。

  3. IT之家30

    百度李彦宏对话联想杨元庆:AI 还替代不了 CEO 出差

    在百度世界大会 2026 上,李彦宏与联想 CEO 杨元庆对话。李彦宏表示 AI 目前还替代不了 CEO 出差,杨元庆认为人与人的情感链接重要,并透露 2024 年起联想开启第五次创业。 联想正用 AI 变革智能终端、基础设施及解决方案三大业务,杨元庆还提到 AI 发展使得 PC 的重要性比以前更高。

  4. Hacker News AI28

    自然科学家与硬件工程师在 AI 安全中的作用

    物理科学家指出,尽管 AI 危害最终需通过物理世界实现,但现有 AI 安全研究主要局限于软件对齐,导致自然科学家和硬件工程师参与不足。 硬件工程师可物理加固 AI 运行底座,防止机器被接管;物理学的混沌与随机系统可为 AI 提供不可预测的“蜜罐”防御,弥补纯软件检测的盲区。

  5. LessWrong · All Posts29

    {

    "title_zh": "AI 行为预测为何被忽视:缺失的系统性对比机制", "summary_zh": "作者指出当前 AI 安全社区在关注预测时,缺少对不同研究者、模型或理论在预测 AI 行为方面的系统性效果对比,并提议建设一个专门的平台来填补这一空白。

  6. Hacker News AI51

    基于Kardashev尺度的地球分析:AI为何受限于电网

    基于Kardashev和Sagan的尺度,地球当前被评定为Type 0.73。文章指出虽然算力每年增长2.3倍,但电力需求受限于电网连接延迟,AI数据中心面临主要瓶颈是输电线缆而非发电能力。尽管推理效率提升33倍,但Jevons悖论导致总处理量激增50倍,算力增长主要驱动力是提高单位瓦特效能而非单纯增加功率。

  7. Hacker News AI62

    AI模型能检测神经活动被篡改吗:研究界关于自我反思能力的争议

    新研究显示部分大语言模型能检测到研究人员向其神经网络植入特定概念,但学界对其是否构成真正的“自我反思”存在巨大争议。Harvey Lederman和Kyle Mahowald在针对Qwen3-235B和Llama 3.1 405B的测试中发现,模型对植入模式的检测准确率分别可达53.9%和31.7%,但模型正确识别植入概念的能力更多源于注入带来的副作用而非真正的理解。

  8. Hacker News AI21

    讨论 AI 是否会消除所有市场非效率

    作者阅读书籍以反驳 AI 交易机器人终将消除市场所有优势的观点。 作者引用《稀缺性的迁移》一书中的论点:市场预测本身构成市场状态的一部分,预测起到协调作用,而非独立描述既有状态。 作者因此不认同有效市场假说,认为市场预测具有自我实现的协调特性。

  9. Hacker News AI31

    为什么 AI 承担工作后开发者反而更疲惫

    多智能体并行处理导致上下文切换损耗,造成“抖动”效应,使得用户比纯手工操作更疲惫。 Codex、Claude Code 等工具降低了多任务启动门槛,用户需不断在多个 Agent 输出间切换验证,时间被碎片化。 作者建议引入“Jevons 悖论”思维,暂停闲置 Agent,优先完成待审核任务,而非无限制增加并行度。

  10. Hacker News AI68

    近 20 天中美 VC 资金流向:美国押注 AI 智能体,中国押注机器人

    截至 2026 年 11 月 11 日,中美两国在 20 天内共宣布 446 轮融资,美国侧重 AI 智能体软件,中国侧重机器人及硬件供应链。剔除 Anthropic 和 SpaceX 的巨额融资后,美国典型融资轮次的中位数为 2120 万美元,略低于中国的 2400 万美元,表明资金差距主要来自少数大额交易而非普遍溢价。

  11. LessWrong · All Posts28

    智能体基础理论探讨

    文章探讨智能体基础理论,旨在通过观察特定智能体与环境的数据预测其适应模式,例如利用 LLM 训练数据预测自我改进。 文中指出多智能体系统有趋势演变为联合“超智能体”,历史进程表现为原核生物到真核生物、再到多细胞及社会的演进,当前人类正处于社会阶段。 该理论关注智能体谱系灭绝风险,试图通过理解环境改变机制来延缓或应对这一后果。

  12. R/ArtificialInteligence25

    用户痛批应用弃用传统搜索转用“Ask AI”导致体验变差

    用户批评Amazon、MyLabcorp等应用移除传统数据库搜索,强制改用“Ask AI”。 Amazon应用将搜索重定向至AI助手,响应慢且结果有限,导致用户卸载应用;MyLabcorp响应耗时超10秒且无法链接记录。 这种变更使搜索变慢且不如旧版好用,用户表示并非盲目反AI,而是无法理解为何搜索体验被客观降低。

  13. LessWrong · All Posts31

    假如我是 2027 年的高中生,我可能会为了 AI 暂停而罢课

    作者假设若处于 2027 年,会发起无限期学校罢课以要求暂停超级人工智能的研发。 罢课旨在抗议超级智能可能在数年内创造后带来的生存风险或经济自动化冲击,强调教育意义的存疑。 通过在高政府建筑外静坐、分发传单及制作媒体内容展示严肃态度,并邀请同学参与以对抗“懒惰”标签。

  14. Hacker News AI38

    一位非专业人士探讨 AI 投资的逻辑与 AI 能力边界

    作者指出,AI 投资的挑战在于需要同时判断技术演进、算力需求、竞争结构等多个复杂变量,因此即使具备一定优势,整体预测准确的概率也极低。 作者通过咨询 Anthropic 的 Claude 探讨 AI 的运行机制,指出 AI 系统的行为模式是在训练中“生长”出来的而非被设计的,其内部推理逻辑往往比外部的文本解释更复杂。 尽管 AI 的具体未来不可预测,但其变革性巨大,投资者无法回避风险。

11月11日周三
  1. Hacker News AI32

    许多 AI 的进步仅仅是坚持

    LLM 的大部分能力源于其不懒惰的坚持,而非超人的智能。 Claude 通过搜索文件和组合密钥找回 40 万美元比特币,OpenAI 动用 10,000 个 agent 协作 88 小时解决数学难题,展示了这种韧性。 这种“人工勤勉”使 AI 在编码等领域超越人类,但并未证明其具备优化神经网络等特殊的深层理解能力。

  2. Hacker News AI40

    为何你应该对 AI 保持恐慌

    长期悲观论者预测屡被证伪,而激进派关于 AI 能力呈指数级增长的判断被验证,人类正加速迈向不可控阶段。 METR 研究显示 Anthropic 模型改进速度翻倍,约 80% 加速源于 AI 自我优化;AI 主导内部研究任务比例从 3 月的 1% 升至 8 月的 26%,实际进度领先《AI 2027》预测场景 5 个月。

  3. Hacker News AI21

    AI 时代胶水工作依然有害

    作者认为 LLM 降低了对协调的需求,使胶水工作重要性低于 2010 年代。 AI 智能体让单人承接原需团队的项目,资深员工减少入职引导需求,LLM 可自动化书面报告。 工程师仍应手写人际沟通消息,避免依赖 Claude Opus 等实例,大部分时间应投入代码及智能体对齐。

  4. Hacker News AI34

    我们需要在 LLM 能力评估中引入更多科学严谨性

    作者指出社区常依据主观个案结果而非科学评估判断 LLM 能力,易受“p-hacking”或“HARKing”等行为误导。 LLM 擅长处理训练数据充足的领域(如常见游戏代码),但在 Zig 等数据稀缺领域表现不佳,且直接代码翻译存在诸多未覆盖的边界案例。 作者主张 LLM 开发者应设立严格假设,避免将模型对存量数据的复述误判为泛化创新能力。