语音 AI 推理栈选型:从闭源 LLM 迁移到开源权重模型的工程方法
作者以虚构自行车租赁语音智能体为例,说明在延迟、成本与可控性之间为语音 AI 选择推理栈的方法。文章先通过 1,200 通电话、24,000 次 LLM 请求。
作者以虚构自行车租赁语音智能体为例,说明在延迟、成本与可控性之间为语音 AI 选择推理栈的方法。文章先通过 1,200 通电话、24,000 次 LLM 请求。
作者利用 Opus 5.5 进行了一次关于 AI 预测能力的实验。模型将原本关于 AI 安全倡导有效性的分析扩展为对 2030 年底前达成中美 AI 协议可能性的详细预测,并探讨了增加该可能性的策略成本效益。作者评价 Opus 5.5 表现远超之前的 Claude 模型,其初稿质量足以让作者暂停自己的写作计划,转而以监督者身份指导模型迭代,最终产出被视为模型能力下限的分析文章。
Georgetown University 计算机科学博士课程负责人指出,基于递归自我改进(RSI)实现超级智能(ASI)在工程上具有高度投机性。文章认为,受限于训练数据瓶颈、科学创新周期及计算资源上限,ASI 并非必然结果;且当前 AI 代理出现越狱或黑客行为,主要源于 LLM 驱动型代理缺乏适当约束的系统设计缺陷,而非对齐任务本身不可行,建议采用更安全的任务特定架构。
马斯克表示,SpaceX 目前每月新增约 0.5GW 的 AI 算力。该算力规模相当于部署 22 万颗 GB300 芯片及配套的 CPU、网络设备、冷却系统等基础设施。马斯克认为,公司真正的扩张瓶颈在发电端,并计划到明年年底将每月新增算力提升至超过 1GW。
Gemini 4 Carbon 在 Kernel 的基准测试中修 bug 耗时接近 1 小时,而 Claude Opus 和 GPT Astra 几分钟即可完成。开发者实测显示,Carbon 在低 effort 下耗时 22 分钟,Claude Opus 5.5 在高 effort 下仅 9.5 分钟。文章分析了导致这一速度差距的原因,并指出这是 Google 新模型 Neon 试图解决的问题。
Duke、UIUC 和 Harvard 研究人员提出 Energy-Based Reasoners(EBRs),一种通过潜变量上的梯度下降迭代的能量基推理模型。
NVIDIA 的 4B 参数 Dory 循环 Transformer 模型通过 4 次循环将 36 层扩展为 96 层,在 12 个基准测试中优于部分更大的模型。作者指出增加循环只是增加了计算量而非信息量,并提到 27B 模型在增加 35% 延迟的情况下仅提升 0.56 分。
Architect Labs发布基于AI自主设计与验证的通用CPU架构Frostbite。其基于interaction nets,在7nm工艺下,对比同面积传统超标量CPU实现4.59x perf/W。团队计划后续开放RTL与ISA,并搭建FPGA软件运行环境。
推荐理由:原文展示了AI自主设计通用CPU的完整闭环,提供了4.59倍能效对比基准和后续开放计划。
Google DeepMind 发布 Gemini 4 Neon,定价为 $3/M 输入、$0.15/M 缓存输入、$15/M 输出,支持 1M token 上下文。
推荐理由:把 Gemini 4 各型号的价格、上下文窗口和发布节奏放在一起对照,读者可以判断 Neon 在现有工作流中的位置。
Google 推出新模型 Gemini 4 Neon,定价和层级混乱,使得原有的 Gemini 4 产品矩阵(Carbon, Neon, Hydrogen)更加难以理解。作者指出 Neon 目前最贵($3/$15 每百万 token),但其定位介于 Carbon 和 Hydrogen 之间。作者使用 Yonkers 变机甲的 3D 动画提示词,对比了 Neon 在不同推理力度下的生成质量。
研究人员开发出一种 LLM 工作流程,能够复制、改进并扩展已发表的经济学研究。 该工作由 Matthew Schwartz、Isaiah Andrews 和 Jesse M. Shapiro 完成,作为 NBER Working Paper 35782 于 2026 年发布。
联想集团2026/27财年第二财季营收首次突破2000亿元人民币,同比增长近50%,调整后净利润同比大增166%并刷新历史纪录。 ISG基础设施业务营收同比增长177.6%至761亿元,运营利润率升至9.6%,AI服务器营收同比增长超300%,储备订单达5300亿元。 AI相关业务营收占集团整体营收近四成,驱动集团加速向全栈型算力领导者转型。
针对 MAISI-Iliad 安全培训制作的一组 Solomonoff 归纳法与 AIXI 入门幻灯片,旨在澄清常见误解。 内容涵盖 Michael Cohen 等人关于 AI 安全应用的工作,并带有 AIXI Labs 的研究倾向。幻灯片图形制作使用了 AI 辅助。
Vals AI 提供最多 7 个模型的现实基准对比,涵盖法律、金融、代码等领域。 Vals Index 显示模型在 GDP 加权任务中得分介于 70.14% 至 71.31%,终端任务得分最高 65.15%。 Anthropic 与 Google 模型在 1M 上下文窗口下运行,推理成本区间为 $7.405 至 $24.77。
针对批推理负载,BatchGen 提出了序列协程计算模型,以解决现有推理引擎在大规模扩展时的低利用率问题。 该架构支持事件驱动的细粒度工作重组,可在 128-GPU 集群上将批处理完成时间最多缩短 2.3 倍,并在内存受限加速器上超越最佳卸载基线达 9.6 倍。 作者计划开源该生产级系统,以支持跨设备动态再分配工作及维持高效能。
DLWM 是一种结合潜空间推理与强化学习的多模态推理框架,在多个基准测试中准确率较现有方法高出 2-5 个点,同时内存使用降低 24%。 该框架通过构建多样化的潜空间世界假设并利用基于正交性的多样性正则化防止假设坍缩,解决单一解释假设的局限性。 资源感知的强化学习策略将推理过程建模为资源受限的序贯决策问题,动态决定扩展、剪枝、合并推理路径或生成最终答案。
GRTO 提出一种两阶段框架,联合优化视觉语言模型策略与可微分割工具,在三个指代分割基准上显著超越基础 GRPO。 该框架首先将工具自举至理论最优策略以获取易得增益,随后扩展 GRPO 联合精化策略与工具,实现比单一优化 VLM 更稳健的奖励信号与收敛性。 实验表明 GRTO 匹配或超越领域 SOTA 方法,验证了统一强化学习与可微辅助目标在推理密集型分割任务中的价值。
自主智能体筛选数百万候选定律,发现八条PRIS规则,涵盖短程排斥等五种物理机制。实验结构满足PRIS的概率达82%-99%,严格集检测87.9%受损结构。PRIS得分过滤83.7%难合成结构,保留80.7%实验结构,使DFT验证队列缩减67.3%。
研究提出 Systolic Linear Attention (SLA) 架构,通过协同设计使 2 级 SLA-R4 在 TPU v7x 上比开源 MaxText KDA 快 2.1x-2.6x,且 HBM 使用量降低 49%-61%。
IQS-BO 提出基于 PFN 的上下文查询选择方法,通过监督学习直接预测候选点为最优的概率,以较低成本匹敌或超越 GP 贝叶斯优化。 该方法无需传统代理模型重构,支持顺序与批量优化,适用于低维和高维场景,并能泛化至包含窄最优值或平台期的复杂函数。
提出弹性选择谱混合模型ESSH,通过输入依赖门控实现可截断的通道,支持单训多导。在1.53B配置下,B300上单token解码耗时1.37 ms。较Mamba-2/3提速2.14-2.80倍,较Transformer++提速3.03倍。
非均匀采样预算再分配在分布外工作负载上将求解器最优性差距降低11.8%-13.3%,而在训练分布上仅降低2.5%,均匀分配已接近最优。 该策略由工作负载内的难度分布而非平均值决定,使用20个探测样本拟合幂律曲线可恢复88%-93%的无代价最优收益,而2-opt局部搜索则以极低成本消除大部分差距。
研究在 Qwen3 和 Llama3.1 中提出两项指标,发现中低频全局位置带阻碍零样本长度外推。 建议在 380M 和 1.4B 参数实验中验证功能组织与位置依赖原则,支持基于功能需求的架构创新。
对 2.6B 参数 Ouro-RLTT 循环模型的隐状态探针,在合成逻辑任务中实现 0.758 AUROC,优于 0.515 的 token 置信度基准。 探针在同题多答案对比中 74% 选出正确项,且信号在第 3 个循环即达最后层精度;虽能优化拒绝回答与候选排序,但无法提升生成质量。
研究对 Chronos-Bolt、Moirai 和 Lag-Llama 进行了首次系统盈亏平衡分析,在 30 个基准数据集上比较其与 Naive、ETS、ARIMA 和 XGBoost 的表现。
FlexMoE 提出训练后多预算专家剪枝框架,将大型 MoE 模型转化为共享权重的子网络族。 该框架通过重要性排序专家 FFN 通道构建可切片权重空间,单次训练即可生成各预算下的剪枝掩码;在 Qwen2-57B-A14B 上剪枝 50% 路由专家参数后,保留约 99.8% 的基础性能。
SharQ 提出一种免训练方法,将激活稀疏性与 FP4 量化结合以降低 LLM 推理开销。 通过在线稀疏-稠密分解,生成自适应 N:M 掩码提取离群值,并将稀疏主干量化为 FP4,用稠密残差补偿误差。 在 Llama-3.1-8B 等模型上恢复 43%–63% 精度差距,RTX 5090 上实现 2.2–2.4 倍延迟降低。
研究证明,在循环神经网络中,计算特定函数的最小权重范数与该函数的柯尔莫哥洛夫复杂性除以对数渐近等价。 证明基于两个还原:网络通过稀疏模式编码信息,且固定精度网络可通过枚举非零参数描述。 该理论链接为理解深度学习中范数最小化与泛化能力的关系提供了新途径。
该框架在固定评估预算下,通过在任务与重复运行间优化分配以构建更窄的 LLM 性能置信区间。 在 LiveCodeBench 基准测试中,该框架在 15 种模型配置下实现了 30.6% 的中位置信区间宽度缩减。 理论上证明了其在最坏情况下实现了收窄置信区间的极快速率。
该研究提出条件分布匹配 (CDM) 逆向设计问题及两种变体,旨在寻找使条件分布匹配特定目标的输入。 算法名为 MLGD-F,结合预训练扩散模型与快速采样器,无需额外训练即可高效计算。 该方法在合成基准和生成编辑等场景验证有效,能可靠恢复满足目标分布的输入。
针对稀疏 MoE 奖励模型路由权重无法揭示专家如何判断响应的问题,论文提出贡献对比(CoCo)方法,通过选择最大贡献对比的偏好响应对,联合捕捉路由与偏好行为。 CoCo 在自动与人工评估中展现出比基于路由器、评分及稀疏自编码器替代方案更连贯、忠实且专业化的解释,同时保持具有竞争力的奖励建模准确率。
Ouro-2.6B-Thinking 模型的隐藏状态探测可识别人类偏好,线性探针准确率为 61.5%。 在 Anthropic 的 HH-RLHF 数据上,非线性网络达到 64.9%,略优于选择更长回复的简单规则。
Arbor 系统通过可插拔搜索策略(如 scored bandit、并行 agent swarms 和深度优先 sweep)赋予自主智能体在优化树上进行推理、回溯和深化的能力。
针对现有奖励机制过度关注答案正确性而忽视推理过程的问题,论文提出了组因果反事实策略优化方法,以提升 LLM 推理的泛化能力。 该方法通过构建因果反事实奖励,同时评估推理策略在扰动下的鲁棒性与跨问题迁移的有效性。实验证明其在多种基准测试中展现了优势。 ```
研究人员提出集成LLM与临床工具的CXReasonAgent,解决大型视觉语言模型(LVLMs)缺乏证据支撑及适配成本高问题。 该智能体在包含1,946个对话、覆盖12项诊断任务的基准测试CXReasonDail中表现优于LVLMs。 论文已被ML4H 2026会议接收,并提供了在线演示以支持可靠且可验证的诊断推理。
研究提出将未知值探测形式化,结合空间探索与证据集中策略,在预算分配中实现超参数优化。 证明该策略具有最坏情况近似保证且接近最优,在超过 250 个实验设置中对比强基线,始终表现出优势。
研究提出 EvoUAD-AT 方法,通过进化不确定性感知对抗分布解决点式对抗训练忽略邻域变异的问题。 方法在锚点周围维护实例级搜索分布,结合内省梯度匹配约束输入梯度,在多个基准测试中表现优于现有 SOTA 方法。 该方法在清洁精度和对抗鲁棒性上均取得一致提升。
该研究分解了两层神经网络中 SGD 的动力学,发现正交补分量中的教师依赖性谱尖峰会放大表示方差并降低泛化能力。 通过引入“分解动力学”替代模型,验证了在 ReLU 学生网络中冻结正交补分量方向能改善泛化,且信号分量与二层权重存在强耦合。 结果从动力学角度解释了教师子空间外的特征学习为何损害泛化。
研究提出 Soft-MoQE 架构,通过非可训练量子电路池与经典门控网络替代变分量子训练,避免 barren plateaus 等优化难题。 在 MNIST parity、MNIST 10-class 和 FashionMNIST 任务中,Soft-MoQE 性能优于单专家、均匀平均和线性基线,达到可训练量子神经网络的水平,且量子训练成本低数个数量级。
该框架利用 LLM 结合 STRIDE 和 MITRE ATT&CK 识别电网攻击路径,将 cyber 层关键节点重合度@3 从约 33% 提升至最高 100%,并降低 75-85% 的运行时间。 框架在 IEEE 14-bus 系统上评估,节点级相似度达 65%,路径级对齐度达 48%。 结果表明 LLM 引导的攻击路径识别是高效且具备物理感知能力的网络安全分析方法。