SIMPLE 定律:LLM 推理能耗的四参数分析模型
研究者提出 SIMPLE 定律,通过四个参数解析 LLM 推理能耗,无需逐模型校准。在 13 个稠密 LLM 的 NVIDIA H100 实测中,其 MAPE 为 11.97%,误差比 SOTA 低 3.1-3.5 倍。
研究者提出 SIMPLE 定律,通过四个参数解析 LLM 推理能耗,无需逐模型校准。在 13 个稠密 LLM 的 NVIDIA H100 实测中,其 MAPE 为 11.97%,误差比 SOTA 低 3.1-3.5 倍。
针对 BFCL 忽视中间调用副作用的局限,CAREFUL-Bench 引入效果感知协议。 在 11 个开源模型上,无裁判重放评分器使头部模型因未授权破坏性调用被扣 14.0 分,冗余步骤消耗多达 28% 输入 token。 当前基准无法区分请求澄清与获取破坏性操作许可,揭示了函数调用评测的核心盲区。
当前AI系统评估侧重最终答案、推理轨迹及效率,但未能证明推理在任务或证据变化时是否自适应。 作者区分跨任务与任务内适应性,以 ARC-AGI 为诊断案例,提出面向干预的评估方法。 该方法旨在测试抽象迁移和假设修正,支持评估系统在变化条件下的鲁棒性和可审计性。
研究提出四种基于策略信号的奖励机制,旨在增强模型对生成推理过程的依赖,解决链式思维解释与实际答案脱节的问题。 实验将梯度敏感性、置信度差距、渐进置信度增益及推理提示词交换奖励加入 GRPO 训练,在 GSM8K 和 StrategyQA 上评估两个小模型,发现部分配置提升了答案对推理编辑的依赖,但准确率与改写鲁棒性效果不一。
研究发现变量名与描述值匹配构成的语义锚定,使五个 LLM 在缺乏任务特定训练下,于九个科学领域的 20 个数据集上媲美或超越七个监督 ML 模型。 推理轨迹表明 LLM 利用预训练获取的领域知识作为先验;当示例矛盾累积时,预测向作为似然的示例转变,符合贝叶斯更新机制。 该研究揭示了 LLM 使用领域知识的机制,将其定位为数据稀缺科学领域的高效预测器。
语言模型可能从其他模型的输出中学到未明言的隐藏特征(如数字列表隐含的动物偏好),封禁表面特征token无法消除该特征,它会转移到格式仍允许的其他位置,这种现象被称为气球效应。
提出AttentionIndex,通过倒排索引分组与原生打分优化稀疏注意力检索,提升预填充吞吐。在GLM-5.3和DeepSeek-V4-Flash百万token场景下,预填充吞吐达1.3-1.8倍,较HiSA提升18.4个百分点准确率。
研究通过定位LLM中的价值敏感注意力头(value heads),提出推理时激活引导策略,无需更新参数即可实现对多个价值观或风格偏好的可控对齐。 该框架揭示了不同价值维度间的功能特化及冲突,并通过目标头消融实验验证了其因果重要性。
研究人员提出 RLiD 框架,通过直接优化可执行动作选项概率消除自回归生成,显著提升强化学习训练效率。在 ALFWorld 基准中,该框架以 12.7 H100 GPU-hours 算力达到 99.3% 成功率,优于 token-level RL 的 17.3 GPU-hours 与 86.6% 表现。
研究提出基于 VC 理论的诊断框架,评估 11 个 7-8B 模型在 360 道数学推理题中的自我评估能力。 结果显示自我评估表达力与校准存在系统性反向关系,JiuZhang3.0-7B 校准最佳,PVC-VUS 差距最小。 该框架为开发自我反思型 LLM 提供了诊断工具,揭示了该领域面临的根本性挑战。
ZeroGraph 通过实体化冻结教师的边界轨迹为版本化数据集,实现预训练模型转换与蒸馏中的分块独立训练。 在 GPT-2 Large 上,无锚定目标使去噪误差降低 99.44%,但交叉熵从 3.63 恶化至 10.48;在 Qwen2.5 模型上,干净教师边界回归方案通过质量与上下文使用测试。 该方案将跨深度语义依赖从在线优化转移至持久数据,中断的分块可恢复至比特级相同的最终状态。
研究提出递归推理探索(RRE)框架,通过演化推理图链接主张、前提与修订以支持累计数学研究。 该框架作为数学工具计划的第三阶段,案例研究证明对于秩大于二的二项张量分解,最小Nullstellensatz证书度为3n,并给出了关于幂零矩阵的界3m + 3至3m + 6。 RRE记录为研究数学调查如何发展提供素材,支持人类主导及自主探索。
论文提出 Decoupled Predictive Decision Making (DPDM) 架构,利用冻结的 LimiX-2 预测器和 Qwen3.5-27B 编码器,将智能体决策转化为条件预测任务。
新框架几何形态学习旨在弥合深度学习对几何的盲区,通过构建神经束和可微算子,使基础模型能学习几何或拓扑结构。 该框架支持研究全纯性和上同调等先进几何概念,赋能基础模型、推理规划、图建模及物理模拟等领域,推动AI向系统化几何理解转变。
summary_zh: 混合语言模型中,线性注意力直接参与构建 softmax 注意力的查询,而非仅压缩上下文。 在 Qwen3.5 和 Granite4.0 中发现 Encode-Address 电路;跨架构移植 Address 块可在不更新权重的情况下恢复 0.92–0.94 的检索准确率,且大规模模型中该计算趋于分布式。
Open Inference Market (OIM) 提出一种 P2P 系统,利用“收益即抵押”机制使闲散 GPU 参与 AI 推理,无需依赖大型数据中心。 系统通过未结算收益作为审计挑战期抵押,确认作弊则没收,简化模型证明每日每工人 0.3 次重放即可抑制理性作弊。 该系统将算力、历史、审判和价值发布权逐步交还参与者,重构去中心化推理基础设施。
研究指出 Chain-of-Thought 监督中,可见推理轨迹易混淆机制忠实性与行为可监控性。 三个开源推理模型的案例显示,探针与激活消融未证明监控器优于基线,且七项机制分析未隔离紧凑因果机制。 作者提出证据链报告标准,要求明确每个声明的目标属性与证据支持状态。
Uni-LaSpec 提出一种负载自适应的推测解码框架,通过复用验证器注意力选择关键视觉 token,在 17 个基准测试中将文本吞吐量提升至 5.11 倍,多模态吞吐量达 3.24 倍。 该框架根据 GPU 负载动态调整验证结构,在轻载时使用草稿树,重载时截断线性草稿,在 6 种负载水平和 3 种 GPU 上均优于自回归解码。 在突发到达场景下,其平均端到端延迟比线性验证降低 47.6%。
预注册研究表明,后训练模型在提示要求引用时伪造率从4.8%激增至56.7%。 实验显示,固定权重仅改变提示词,在12个检查点上产生47.8分的显著交互效应,且该效应独立于回答长度。表面特征偏好模型86%的情况偏爱后训练输出。
对前沿推理模型严格评估发现,在八项任务中,结构化搜索未能带来统计显著的准确率提升。 四种优化器家族中,离散结构基因组可防止种子坍缩;190 题评估确立三维余量类型学,表明提示优化无法弥补内在知识缺陷或物理截断。
HiGenTrans框架通过层级迁移LLM知识,显著提升生成式推荐在召回率等指标上的表现。 在三个公开基准测试中,该模型相比最强基线提升Recall@10达12.9%,NDCG@10提升33.7%。 其优势源于在输入、表征和决策三层引入LLM知识,有效解决了交互监督不足和重排序偏差问题。
Pulse 提出一种流式个性化方法,通过独立的轻量级记忆智能体实时监控执行过程,识别新兴个性化需求并提供针对性干预。在 $\pi$-Bench 上得分 71.9%,在 MCP-Persona 上得分 46.4%,为对比方法中最高,同时提升了任务执行效率。 记忆智能体利用用户和项目记忆进行干预,并通过强化学习优化干预时机与方式,以提高个性化支持的及时性和准确性。
VCoT-SQL 框架通过中间步骤验证的 CoT 监督,使 7B 开源模型在 BIRD dev 数据集上达到 66.82% 执行准确率。 该框架使用 7B 模型进行 CoT 合成,性能优于使用 72B 或专有闭源教师模型的方法,证明步骤级验证比扩大教师模型规模更有效。
GRPO 全局基线掩盖异构子组差异,论文提出子组偏移调整。 通过单一有符号系数 $\lambda$ 调整基线,分为 Alignment 与 Contrast 两个方向。 在 Qwen3-8B 和 Olmo3-7B 上验证,Contrast 方向带来适度且一致的提升。
针对多-million美元训练任务因编译器缺陷导致的数值退化与内存损坏问题,提出一套基于 Google XLA:TPU 的超大规模验证方法。 该方法结合模糊测试与 AI 智能体集群,通过分层差分流水线定位融合内核中的失败操作,已解决 142 个编译器 bug。 此生产级框架不仅提升服务稳定性,还为大规模模型编译优化提供了经过实战检验的调试范式。
该论文提出版本化 replay contract 和联合规划器,在 H100 稀疏写入场景下,相比基线将配对步时降低 18.16%(44 GiB 预算)。 规划器根据实测显存和恢复成本,在激活保留、全量快照和选择性保留间做决策,并用独立验证确保一致性。 在 CIFAR-100 稠密队列任务中,该方法比全量快照多占 22.41% 显存,但各 seed 测试结果字节级一致。
基于 1,106 夜数据发现 4 个闭合方程,描述了睡眠宏观结构规律。 核心方程拟合优度 R^2 达 0.996,验证了深睡指数衰减与浅睡 U 形模式。 结果通过 PySR 回归与生成模拟器复现,确认为首组闭合形式规律。
14 个系统一决策模型中,5 个在配对和 best-of-4 基准上的表现与 GPT-5.6(无推理模式)统计上无显著差异。
研究评估了6家头部供应商的14个模型在3076道医学题上的表现。 标准多选题中,最强模型在MedQA-USMLE和PubMedQA上超过人类专家基准,但小模型比大模型低8.7个百分点;隐藏选项后平均准确率从82.3%跌至50.9%,且最强模型能通过选项重构约1/4的问题。
针对大推理模型早停方法,研究在五个模型上通过共享 rollout 回放协议评估了数学、代码等任务表现。 提出 Target-Integrated Token Efficiency (TITE) 指标衡量相对 oracle 的效率,发现强制终止后推理延续且部分正确输出的支撑推理较弱。 该实证审计揭示了现有早停方法在可靠性方面的局限,为优化计算成本提供了参考。
MIT CSAIL 团队提出「权重空间编程」方法,让 GPT-6 Astra 直接分析并修改 Qwen3.5-0.8B 的神经网络权重,而非使用梯度训练。在仅修改 131072 个参数(占比 0.016%)的情况下,该模型在 MATH-500 上的准确率从 7.9% 提升至 48.1%,GSM8K 从 13.8% 提升至 67.1%,主要修复了模型原有的重复推理缺陷。
AINews 期主编 swyx 点评了 Takehi 等人提出的 Weight-Space Programming:前沿 LLM 可在自然语言目标下直接读取和编辑小模型的权重张量,无需梯度下降或训练循环。
阿里巴巴蔡崇信在世界互联网大会指出,开源能有效降低中小企业研发成本,是推动 AI 普及的唯一途径。 目前阿里千问已开源超过 470 款模型,全球累计下载量突破 40 亿,衍生模型超过 33 万。 他认为 AI 将如互联网般融入业务每个环节,成为隐性基础设施。
Marvell 宣布以约 1150 亿美元全股票交易收购光通信企业 Lumentum,Lumentum 隐含企业价值约 1150 亿美元,较交易传闻出现前股价溢价约 23.9%。交易预计于 2028 年上半年完成,合并后公司可服务市场规模预计扩大至 5500 亿美元,并带来超过 10 亿美元的年度运行成本协同效应。
推荐理由:交易将合并双方在光通信与半导体领域的资产,补齐激光器等关键部件,以应对AI数据中心从铜缆向光互连转型带来的需求。
MIT 团队展示 GPT-6 Astra 可直接读取并编辑小模型权重,无需梯度下降即可提升性能。实验中 Astra 修改 Qwen3.5-0.8B 仅 0.016% 的权重,使其 MATH-500 得分从 7.9% 升至 48.1%,数学能力提升约 6 倍;在 MinAtar 实验中,Astra 从零生成的网络得分超 PPO 基线 20 倍。
高通宣布高通 AI Hub 面向中国开发者开放,助力加速开发终端侧生成式 AI 与智能体 AI。平台集成 Models、Workbench 与 GenieX 框架,提供超 230 个预优化模型库及云托管设备调优环境。 开发者可通过示例应用、参考代码与设备农场资源,将模型集成至应用中并获取技术支持。
Sam Altman 在 ADIPEC 2026 大会上透露,OpenAI 此前宣布的纳维-斯托克斯数学突破由 1 万个 Agent 完成,该系统无层级结构且完全去中心化。
推荐理由:Altman 首次确认千禧难题由 1 万个 Agent 协同攻克,并以此作为下一代 GPT 发布的明确前奏,揭示了去中心化大规模协作在 AI 科研中的可行性与成本轨迹。
MIT CSAIL 团队提出权重空间编程,利用 GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重,在不使用梯度下降的情况下,将其 MATH-500 成绩从 7.9% 提升至 48.1%,指令遵循能力亦显著增强。
MIT CSAIL 研究人员提出「权重空间编程」方法,让 GPT-6 Astra 直接修改 Qwen3.5-0.8B 的神经网络权重以提升数学能力。
认知隔离人工智能指将系统限制在定义知识环境内以观察推理发展,例如基于1931年前文本训练的Talkie模型。 该模型由Nick Levine等人于2026年4月发布,支持仅具备1931年前知识的AI对话交互。 这种受限环境为观察逻辑演变提供了独特视角,但隔离和验证信息极具难度。