跳到正文
11月5日周四
  1. arXiv · NLP31

    推理时专家停用中匹配训练时权重规则

    研究人员发现,推理时停用专家的性能影响取决于是否匹配训练时的权重规则。在五个指令微调检查点和一个基础 OLMoE 检查点上,停用半数专家时,规则匹配下困惑度为基线的 1.4 到 73 倍,而规则不匹配时高达 14 到 28,740 倍。 在 OLMoE 上,GSM8K 严格匹配准确率在所有四种停用实现中均降至零。

  2. IT之家62

    华为昇腾宣布支持Kimi K3.1 Pro推理部署

    华为昇腾基于vLLM Ascend和SGLang框架,同步实现了Kimi K3.1 Pro模型的首日推理部署,支持Atlas 800 A3等系列产品。Kimi K3.1 Pro是2.8万亿参数的混合线性注意力模型,原生支持视觉理解,昇腾团队针对其新增的稀疏注意力路径完成了算子开发与多模态推理适配。

  3. LessWrong · All Posts45

    新发现:通过 on-policy distillation 实现次级学习效果

    一项实验表明,通过 on-policy distillation 进行次级学习,让学生模型在特定任务上产生偏好比标准设置更有效。 实验使用 Qwen2.5 7B-Instruct 模型,学生模型对“猫”的偏好率从标准设置的 51% 提升到 82%。 该结果在首次尝试的设置下即成功实现,且排除了与猫相关 token 的 logit 质量增加这一解释。

  4. Hacker News AI66

    为什么你的 AI 消耗如此多的 Token?

    AI 聊天应用中的每次请求都会重新发送包括系统提示、工具定义和历史对话在内的完整上下文,导致 Token 消耗随对话长度平方级增长。缓存虽能降低重复计算成本,但工具定义的变更或超时(如 Anthropic 的 5 分钟限制)会导致缓存失效并重置价格;当上下文接近限制时,助手会自动压缩旧消息,模型仅保留摘要而非原始对话内容。

  5. LessWrong · All Posts40

    智能体幻觉超级智能体(The Hallucinated Superagent):关于信念管理与理性标准的探讨

    MATS扩展研究员探讨了智能体通过超拟态(hyperstition)管理信念的独特机制,提出信念在自身信念算子下达到不动点作为理性判据。 针对嵌入式智能体,提出引入有界误差项的稳健近似不动点标准,认为实践中信念会发生可微的局部漂移。 该视角将重点从瞬时信念转移至信念更新过程,并指出成功控制漂移率的智能体需要与邻近自我保持和谐关系。

11月4日周三
  1. Hacker News AI73

    NVIDIA 研究表明 AI 智能体很少需要长上下文窗口

    NVIDIA 最新预印本研究表明,Claude Opus 4.5 和 GPT 5.6 Sol 在将上下文压缩到短窗口时,在 13 项长程和长输入基准测试中精度损失微乎其微。研究显示,256K 上下文的生成成本比 16K 窗口高出 3.6 到 7 倍,且在某些长文档任务中,短上下文结合选择性阅读反而比完整上下文基线表现更好。

  2. IT之家70

    陶哲轩警告:人类将思考交给 AI,现实风险或很快到来

    菲尔兹奖得主陶哲轩警告,随着人类逐渐将思考和解决问题的过程委托给 AI,正在失去对答案及底层逻辑的把控,该趋势可能很快在现实世界产生严重后果。他指出,相比可形式化验证的纯数学,电网、航空、药物研发等领域直接依赖 AI 结果的风险更大,因为 AI 可能在满足表面指标的同时偏离真实需求。

  3. IT之家48

    李斌:智能驾驶核心意义是解放精力与减事故,非让司机失业

    蔚来李斌指出,智能驾驶最大意义应是解放司机精力、减少交通事故,而非让出租车及网约车司机失业。 他提供数据称,全球每年道路交通死亡超116万人;今年上半年,蔚来用户事故安全损失降低38.4%,人车共驾平均安全里程达人驾的8倍。 他建议将用户付费意愿作为自动驾驶价值核心指标,推动行业竞争从功能展示转向商业验证。

  4. LessWrong · All Posts58

    智能体理论的需求:面向ASI对齐的概念框架

    Vanessa Kosoy 提出了解决ASI对齐所需的智能体理论的 informal 概念标准,并展示了现有理论如何不符合这些标准。文中将智能体定义为具有输入(观察)和输出(动作),能针对各种环境在特定偏好方向上有效引导环境的系统,该系统需要创建复杂的环境模型并制定长期计划。主要涉及的人类、未对齐的ASI和对齐的ASI是ASI对齐语境下的核心智能体示例。

  5. 机器之心84

    上海创智学院与新序智能发布预训练级RSI模型801-30B及完整技术报告

    上海创智学院与新序智能联合发布预训练级RSI模型801-30B、完整技术报告及高质量SFT数据,成为全球仅两家公开进行完整前沿预训练RSI的机构之一。801-30B在1T tokens训练量下,22项基准平均分从试训初版47.78提升至正式版56.83。

    推荐理由:文章对比了预训练RSI与后训练的差异,并展示了801-30B在多项基准测试中对齐第一梯队开源基座的结果。

  6. Seven Minute Feed59

    MIT 研究表明 GPT-6 Astra 可通过直接重写权重修复其他 AI 模型

    MIT 研究人员证明 OpenAI 的 GPT-6 Astra 可以通过直接编辑权重来改进较小的模型,无需额外训练。在一个小型阿里 Qwen 模型上,该模型在数学任务中的得分为 7.9%,Astra 仅修改了 0.016% 的权重来抑制重复性输出,将得分提升至 48.1%。同样的方法对谷歌的较小的 Gemma 3 模型效果甚微,表明该方法并非适用于所有模型。

  7. IT之家43

    部分半导体设备制造商启动 2029 年供应谈判

    全球五大半导体设备制造商(ASML、Applied Materials、Lam Research、TEL、KLA)已进入 2028 年设备供应合同最终敲定阶段。部分厂商已启动 2029 年供应谈判,韩国企业正提前 2~3 年审查供应计划,设备缺货或蔓延至后端工艺。 AI 算力需求激增导致芯片产能扩大,设备交付周期大幅延长,现有前端缺货状况正向后端工艺延伸。

  8. arXiv · NLP29

    提出 Latent-Condensed Attention (LCA) 用于高效长上下文建模

    研究者提出 Latent-Condensed Attention (LCA) 以优化长上下文处理,在 128K 上下文下实现 2.5× prefilling 加速和 90% KV cache 压缩。 LCA 基于 MLA 潜在空间,通过语义向量聚合与位置键保留降低计算成本且不增加参数,并证明了长度无关误差界。 该方法已被 ACL 2026 接收,展示了在保持竞争性性能同时显著提升效率的能力。

  9. arXiv · NLP40

    PersonaFuse:一种情境感知的大模型行为自适应后训练框架

    PersonaFuse 提出一种情境感知的大模型行为自适应后训练框架。 该框架基于特质激活理论和大五人格模型,采用混合专家架构与情境感知路由机制,根据任务上下文动态调整模型行为。 在能力、工作流和部署三个层面评估显示,该框架在保持通用推理、交互质量和安全性的同时,提升了企业场景下的任务完成率。

  10. arXiv · NLP29

    MDSKILL: 通过多视角蒸馏内化技能记忆以实现高效的动态智能体自进化

    MDSKILL 提出一种多视角技能记忆蒸馏方法,将记忆组织为状态定位、行动规划、执行控制三个互补视图,并在 ALFWorld 和 WebShop 基准上较 SOTA 性能提升最高 7.1% 和 8.1%。 该方法无需额外计算开销,通过动态指标筛选高质量技能,构建视图特定及集成推理分支,经 On-Policy Self-Distillation 将互补经验知识整合至共享策略。 代码已开源。

  11. arXiv · NLP23

    基于条件互信息的大语言模型响应多样性分析

    大语言模型在推理生成时提供多种响应,传统上依赖温度参数。本文利用条件互信息方法,给出了基于熵的响应多样性定量分析。 定义了仲裁者、独立(条件)和中性(确定性)三种极限行为,涵盖了从零到最大互信息的范围。 该方法被应用于温度分析、语言分析、提示词压缩和知识图谱。

  12. arXiv · ML26

    CoPhy 提出认知-物理强化学习框架,实现在 NAVSIM 基准上 SOTA

    CoPhy 框架通过蒸馏 VLM 知识至 BEV 编码器,以零推理成本保留认知能力,并构建自回归 BEV 世界模型预测未来语义图。 该框架结合 GRPO 优化策略,利用 BEV 滚出产生物理奖励,语言对齐评分器提供认知奖励,确保意图合规。 实验表明 CoPhy 在 NAVSIM v1 和 v2 基准上取得 SOTA 结果,支持通过用户语言指令实现灵活意图控制。

  13. arXiv · ML20

    PLDR-LLMs 的训练与推理动力学研究

    PLDR-LLM 模型训练和推理机制的统一描述中,行图坍缩和重新标准化起到关键作用。 这项研究涉及行中心学习图绝对能量的分解、预测重新标准化以及自主简化过程。 该理论将精确恒等式、条件动力学主张和有限的经验发现区分开来,并提供了证明和紧凑的数值证据。

  14. arXiv · ML28

    从扰动敏感度到稀疏自编码器特征解释:一个 EEG 基础模型案例研究

    稀疏自编码器(SAE)在解释模型内部活动时存在混杂因素:若移除概念对输入的影响大于对照编辑,观测到的响应可能源于编辑幅度而非概念本身。 利用脑电(EEG)模型作为受控测试,研究在 27 种模型、数据集及层组合中,发现移除 8--12 Hz alpha 频段对 SAE 响应的影响是 30--34 Hz 对照频段的 7.33 倍。

  15. arXiv · ML26

    一步生成中的传输几何:在重建空间生成,在语义空间匹配

    研究提出在一步生成框架中,利用冻结的自监督学习(SSL)特征并通过Sinkhorn散度计算分布匹配,可在ImageNet上将FID降低39倍。 语义SSL特征通过抑制重建细节,使几何结构更紧凑,从而显著提升了分布匹配的稳定性与生成效果。 该方法已被NeurIPS 2026会议接收,相关代码已公开提供。

  16. arXiv · ML26

    去嵌入最小奇异方向对下一词预测的影响不成比例

    研究发现,在开源语言模型中,去嵌入层的最小奇异方向虽使 logits 变化小于随机改变,但其预测变化和下一词损失变化平均却是随机改变的数倍。这些方向承载了模型前几个候选词差异的大部分,距离度量方法因此低估了其重要性。 该结论表明,仅凭距离评估内部表征可能遗漏影响模型预测的关键差异。