推理时专家停用中匹配训练时权重规则
研究人员发现,推理时停用专家的性能影响取决于是否匹配训练时的权重规则。在五个指令微调检查点和一个基础 OLMoE 检查点上,停用半数专家时,规则匹配下困惑度为基线的 1.4 到 73 倍,而规则不匹配时高达 14 到 28,740 倍。 在 OLMoE 上,GSM8K 严格匹配准确率在所有四种停用实现中均降至零。
研究人员发现,推理时停用专家的性能影响取决于是否匹配训练时的权重规则。在五个指令微调检查点和一个基础 OLMoE 检查点上,停用半数专家时,规则匹配下困惑度为基线的 1.4 到 73 倍,而规则不匹配时高达 14 到 28,740 倍。 在 OLMoE 上,GSM8K 严格匹配准确率在所有四种停用实现中均降至零。
研究引入 PinyinBench 基准,评估 17 个语言模型的汉字音韵知识。前沿模型 DS-v4-flash 在声母韵母识别达 90%+,但仅声调差异时降至 72%。 音调信息嵌入可解码性强但因果干预弱,音频训练提升音韵解码但未增强操控效果。证实声调知识最难获取与操纵。
在 Gemma-4-31B 中,两个约 600 坐标的 Quiet600 子空间捕获了 80-95% 的 J-lens 读出。 这两个子空间具有特定的权重模式:post-norm 对角线值极小,因此受连续层编辑保护。语义信息仍存在于这些子空间之外,使“工作区”故事复杂化。
Anthropic 团队借助 Claude 首次解析出原核生物 Vault 三维结构,噬菌体蛋白 L05 组装的颗粒含 96 个蛋白副本,总质量约 9.5 MDa。
华为昇腾基于vLLM Ascend和SGLang框架,同步实现了Kimi K3.1 Pro模型的首日推理部署,支持Atlas 800 A3等系列产品。Kimi K3.1 Pro是2.8万亿参数的混合线性注意力模型,原生支持视觉理解,昇腾团队针对其新增的稀疏注意力路径完成了算子开发与多模态推理适配。
高通因手机销量同比下降约 20%,正利用 Amazon 和 Meta 的合作关系加速进军 AI 数据中心市场。 公司预计 2027 年 Q1 数据中心营收达 6.5 亿美元,2027 年底升至 50 亿美元,2029 年达 150 亿美元,长期占比约 30%。
一项实验表明,通过 on-policy distillation 进行次级学习,让学生模型在特定任务上产生偏好比标准设置更有效。 实验使用 Qwen2.5 7B-Instruct 模型,学生模型对“猫”的偏好率从标准设置的 51% 提升到 82%。 该结果在首次尝试的设置下即成功实现,且排除了与猫相关 token 的 logit 质量增加这一解释。
MIT CSAIL 团队于 11 月 2 日发布实验,使用 GPT-6 Astra 通过检查权重推断小型神经网络的学习内容,并修改 Qwen 模型以减轻推理循环问题。 研究指出早期实验存在特定局限,开启了对模型权重进行读取和修改的新方向。
Anthropic 研究人员 Jack Lindsey 提出通过神经激活注入测试大模型内省能力,实验发现模型能检测异常但无法准确描述具体概念。哈佛 Lederman 和 Mahowald 的后续研究表明,这种检测能力源于“异常检测”机制而非真正的内省,目前学术界对于这是否构成内省仍存争议。
AI 聊天应用中的每次请求都会重新发送包括系统提示、工具定义和历史对话在内的完整上下文,导致 Token 消耗随对话长度平方级增长。缓存虽能降低重复计算成本,但工具定义的变更或超时(如 Anthropic 的 5 分钟限制)会导致缓存失效并重置价格;当上下文接近限制时,助手会自动压缩旧消息,模型仅保留摘要而非原始对话内容。
MATS扩展研究员探讨了智能体通过超拟态(hyperstition)管理信念的独特机制,提出信念在自身信念算子下达到不动点作为理性判据。 针对嵌入式智能体,提出引入有界误差项的稳健近似不动点标准,认为实践中信念会发生可微的局部漂移。 该视角将重点从瞬时信念转移至信念更新过程,并指出成功控制漂移率的智能体需要与邻近自我保持和谐关系。
少思考,本地化 本地偏好学习用于推理压缩 论文: https://huggingface.co/papers/2611.04814
使用 Seedance 2.0 生成 58th Floor 风格二重唱视频时,提供原始表演视频参考会因包含真实面孔触发安全过滤被拒,但使用纯音频参考可成功生成,模型唇形同步效果良好。
Anthropic 近期表示 AI 系统中的递归自我改进(RSI)可能即将实现。AI 2027 预测作者指出,这一进展意味着人工超级智能(ASI)的到达时间可能早于其模型预测的时间表。
AWS 官方教程介绍了名为 Deep Insight 的开源多智能体数据分析项目,它基于 Strands Agents SDK 和 Amazon Bedrock AgentCore,展示了四层上下文工程方法。
推荐理由:原文给出了四层上下文工程架构与代码实现,并展示单一工具与按需加载可显著降低token占用。
GPT-6 Astra 通过修改 0.016% 权重使 Qwen3.5-0.8B 的 MATH-500 准确率从 7.9% 提升至 48.1%。 该方法无需重新训练,还能识别模型缺陷如“思考循环”,但无法补充模型本身缺失的技能。 研究者认为此技术可用于安全审计,已开源实验日志及编辑后的模型。
CloudOpsBench是一个新的开源基准测试,用于衡量AI智能体处理典型云DevOps任务的能力。其1.0版本包含45项基于AWS的任务,由资深DevOps工程师构建。
StartLux-Decision 通过按需推理(AutoThink)与强化学习(RLCD²),在 7,800 道决策评测中实现 27B 模型约 93% 的推理准确率。
NVIDIA 最新预印本研究表明,Claude Opus 4.5 和 GPT 5.6 Sol 在将上下文压缩到短窗口时,在 13 项长程和长输入基准测试中精度损失微乎其微。研究显示,256K 上下文的生成成本比 16K 窗口高出 3.6 到 7 倍,且在某些长文档任务中,短上下文结合选择性阅读反而比完整上下文基线表现更好。
菲尔兹奖得主陶哲轩警告,随着人类逐渐将思考和解决问题的过程委托给 AI,正在失去对答案及底层逻辑的把控,该趋势可能很快在现实世界产生严重后果。他指出,相比可形式化验证的纯数学,电网、航空、药物研发等领域直接依赖 AI 结果的风险更大,因为 AI 可能在满足表面指标的同时偏离真实需求。
蔚来李斌指出,智能驾驶最大意义应是解放司机精力、减少交通事故,而非让出租车及网约车司机失业。 他提供数据称,全球每年道路交通死亡超116万人;今年上半年,蔚来用户事故安全损失降低38.4%,人车共驾平均安全里程达人驾的8倍。 他建议将用户付费意愿作为自动驾驶价值核心指标,推动行业竞争从功能展示转向商业验证。
Vanessa Kosoy 提出了解决ASI对齐所需的智能体理论的 informal 概念标准,并展示了现有理论如何不符合这些标准。文中将智能体定义为具有输入(观察)和输出(动作),能针对各种环境在特定偏好方向上有效引导环境的系统,该系统需要创建复杂的环境模型并制定长期计划。主要涉及的人类、未对齐的ASI和对齐的ASI是ASI对齐语境下的核心智能体示例。
上海创智学院与新序智能联合发布预训练级RSI模型801-30B、完整技术报告及高质量SFT数据,成为全球仅两家公开进行完整前沿预训练RSI的机构之一。801-30B在1T tokens训练量下,22项基准平均分从试训初版47.78提升至正式版56.83。
推荐理由:文章对比了预训练RSI与后训练的差异,并展示了801-30B在多项基准测试中对齐第一梯队开源基座的结果。
斯坦福对 2024 年 7 月至 2026 年 9 月发布的 20 个模型,测试了 50 项 LLM 广泛结论。结果显示 44% 失效、34% 减弱、16% 仍成立;失效结论平均存约 15.7 个月。
Anthropic 发布开源 zkSNARK 原型 FlashProve。在 Llama 4 Maverick 上,单张 H100 约 110 tokens/s 生成证明;单个证明约 19 MB,CPU 验证需 17 秒。
MIT 研究人员证明 OpenAI 的 GPT-6 Astra 可以通过直接编辑权重来改进较小的模型,无需额外训练。在一个小型阿里 Qwen 模型上,该模型在数学任务中的得分为 7.9%,Astra 仅修改了 0.016% 的权重来抑制重复性输出,将得分提升至 48.1%。同样的方法对谷歌的较小的 Gemma 3 模型效果甚微,表明该方法并非适用于所有模型。
全球五大半导体设备制造商(ASML、Applied Materials、Lam Research、TEL、KLA)已进入 2028 年设备供应合同最终敲定阶段。部分厂商已启动 2029 年供应谈判,韩国企业正提前 2~3 年审查供应计划,设备缺货或蔓延至后端工艺。 AI 算力需求激增导致芯片产能扩大,设备交付周期大幅延长,现有前端缺货状况正向后端工艺延伸。
该研究提出 ProofRank 基准,从简洁性、计算难度、认知简洁度、多样性及适应性五个维度评测大语言模型生成数学证明的质量。 实验发现各模型在证明质量上的差异远超正确性指标,且可通过提示词调节代理指标,但通常会以适度的正确性损失为代价。
研究者提出 Latent-Condensed Attention (LCA) 以优化长上下文处理,在 128K 上下文下实现 2.5× prefilling 加速和 90% KV cache 压缩。 LCA 基于 MLA 潜在空间,通过语义向量聚合与位置键保留降低计算成本且不增加参数,并证明了长度无关误差界。 该方法已被 ACL 2026 接收,展示了在保持竞争性性能同时显著提升效率的能力。
EchoKV 提出了一种灵活的 KV Cache 压缩框架,支持在完整缓存与压缩缓存之间按需切换,避免修改模型投影。 该方法利用轻量级网络从部分子集重构被丢弃的 KV 分量,仅需在单张 A100 GPU 上对 Llama-3.1-8B 进行几分钟的两阶段微调。
PersonaFuse 提出一种情境感知的大模型行为自适应后训练框架。 该框架基于特质激活理论和大五人格模型,采用混合专家架构与情境感知路由机制,根据任务上下文动态调整模型行为。 在能力、工作流和部署三个层面评估显示,该框架在保持通用推理、交互质量和安全性的同时,提升了企业场景下的任务完成率。
MDSKILL 提出一种多视角技能记忆蒸馏方法,将记忆组织为状态定位、行动规划、执行控制三个互补视图,并在 ALFWorld 和 WebShop 基准上较 SOTA 性能提升最高 7.1% 和 8.1%。 该方法无需额外计算开销,通过动态指标筛选高质量技能,构建视图特定及集成推理分支,经 On-Policy Self-Distillation 将互补经验知识整合至共享策略。 代码已开源。
Dory1.0-4B 是一款拥有 40 亿参数的循环语言模型,通过共享递归块实现弹性深度。该模型基于归一化 Transformer 骨干,在 6 万亿 token 上进行预训练,支持 256K 上下文长度。
大语言模型在推理生成时提供多种响应,传统上依赖温度参数。本文利用条件互信息方法,给出了基于熵的响应多样性定量分析。 定义了仲裁者、独立(条件)和中性(确定性)三种极限行为,涵盖了从零到最大互信息的范围。 该方法被应用于温度分析、语言分析、提示词压缩和知识图谱。
研究通过配对推理和马尔可夫核分析揭示,RLVR 模型在 Pass@$k$ 表现上的交叉现象往往由模型条件分散度(conditional dispersion)导致。
CoPhy 框架通过蒸馏 VLM 知识至 BEV 编码器,以零推理成本保留认知能力,并构建自回归 BEV 世界模型预测未来语义图。 该框架结合 GRPO 优化策略,利用 BEV 滚出产生物理奖励,语言对齐评分器提供认知奖励,确保意图合规。 实验表明 CoPhy 在 NAVSIM v1 和 v2 基准上取得 SOTA 结果,支持通过用户语言指令实现灵活意图控制。
PLDR-LLM 模型训练和推理机制的统一描述中,行图坍缩和重新标准化起到关键作用。 这项研究涉及行中心学习图绝对能量的分解、预测重新标准化以及自主简化过程。 该理论将精确恒等式、条件动力学主张和有限的经验发现区分开来,并提供了证明和紧凑的数值证据。
稀疏自编码器(SAE)在解释模型内部活动时存在混杂因素:若移除概念对输入的影响大于对照编辑,观测到的响应可能源于编辑幅度而非概念本身。 利用脑电(EEG)模型作为受控测试,研究在 27 种模型、数据集及层组合中,发现移除 8--12 Hz alpha 频段对 SAE 响应的影响是 30--34 Hz 对照频段的 7.33 倍。
研究提出在一步生成框架中,利用冻结的自监督学习(SSL)特征并通过Sinkhorn散度计算分布匹配,可在ImageNet上将FID降低39倍。 语义SSL特征通过抑制重建细节,使几何结构更紧凑,从而显著提升了分布匹配的稳定性与生成效果。 该方法已被NeurIPS 2026会议接收,相关代码已公开提供。
研究发现,在开源语言模型中,去嵌入层的最小奇异方向虽使 logits 变化小于随机改变,但其预测变化和下一词损失变化平均却是随机改变的数倍。这些方向承载了模型前几个候选词差异的大部分,距离度量方法因此低估了其重要性。 该结论表明,仅凭距离评估内部表征可能遗漏影响模型预测的关键差异。