生成式 AI 推理服务中的资本效率、隔离、风险与崩溃
该研究探讨生成式 AI 推理服务中工作负载隔离作为提升资本效率的基础机制,利用生产数据阐明其动机。 隔离通过重组请求至不同设备集群,避免高成本请求拉高整体运营成本,为定制化优化和硅片设计提供基础。
该研究探讨生成式 AI 推理服务中工作负载隔离作为提升资本效率的基础机制,利用生产数据阐明其动机。 隔离通过重组请求至不同设备集群,避免高成本请求拉高整体运营成本,为定制化优化和硅片设计提供基础。
研究人员提出 BNPO 方法,通过动态更新的 Beta 分布自适应归一化奖励,解决现有策略优化中静态归一化不匹配导致训练不稳定的问题。 该方法理论证明在二元奖励下降低了方差并泛化 REINFORCE 与 GRPO,实验显示 BNPO 在推理任务中取得最先进性能。
研究团队提出 MotionDecipher 框架,利用 LLM 将人体运动信号转化为临床步态描述。在 122 名患者及 46 名对照测试中,该框架取得 0.91 BERTScore,比 GPT-5 高 13%,专家评估显示其在正确性、完整性和简洁性上表现最佳。 该框架包含人体运动分词器、元特征选择器和混合上下文构造器三个核心组件。
在 Qwen3.5-9B Spider 任务中,文本选择比联合选择家族内后悔更低。 限制切换次数可使选定家族内期望后悔呈次线性增长。 原文仅通过控制实验展示不同策略下的部署损失变化,未明确阐述行业影响。
TensorMutation 利用变异条件图神经网络在神经图上预测参数变化,无需重新训练即可生成可执行变异体。 在 71 个多层感知机分类器的 25,252 个原始-变异体对语料库上训练,该方法在 12 个真实故障主题上实现了最高中位行为相似度,优于 DeepMutation++。
V-JEPA1 预测器通过微调,将双向潜变量补全转化为无动作因果预测,保留冻结编码器。 模型在单次前向传播中预测8个未来token组,在CARLA Town12测试中,从591个候选中检索正确未来的准确率为69.0%,超过持续性基线的55.3%。 研究证实潜变量预测有助于驾驶感知,但下游实用性尚未得到验证。
在单张 16GB GPU 上,Aurora 等 5 个公开 AI 气象模型将网络权重转为 fp16 半精度推理,全球 RMSE 变化不超过 1.4%。 相比 fp32,fp16 推理速度提升 1.3-3.5 倍,能耗降低 1.4-3.7 倍,且数值无溢出。 物理状态需保持 fp32,bf16 精度低于 fp16,8-bit 量化则损失过大。
提出 MorphSched 系统,利用 LLM 生成 Rust+BPF 调度器,在 120 种配置下优于 EEVDF 26.5% 至 87.3%。 采用 DAG 修复流程处理编译与验证错误,生成器无需人工编辑即可通过 eBPF 校验并稳定运行。
MeshRT 是首个在晶圆级加速器上同时实现超低延迟和高吞吐 LLM 推理的系统。 其核心是通过“编译时间治理运行时动态性”架构,将 LLM 推理中的动态事件直接编译为每核心调度计划。在商用晶圆级加速器上,吞吐量比现有最先进系统提升最高 56 倍,且延迟比 H200 上 SGLang 测量值低 4.5-7.0 倍。
CPU-ARC 提出智能体推理缓存(ARC)方法,将从 LLM 推理轨迹构建的缓存用于 CPU 执行,可高效解决新实例问题。 ARC 在多项数学和科学任务上表现与前沿 LLM 持平,且调用成本比源模型低 16-291 倍。 该方案完全可解释、支持持续训练,并对输入扰动具有鲁棒性。
针对测试时强化学习(TTRL)中多数投票伪标签可靠性不足的问题,研究者提出 Prompt-Conditional Distributionally Robust DPO(Prompt-Conditional DRO-DPO)。
FOSCAR 通过仿射折叠技术显著降低量化 KV 缓存的解码注意力延迟,并在 H100 上实现最高 3.36 倍加速。 该算法将缩放和偏移运算减少两个数量级,H100 和 B200 上 INT2/INT4 内核分别达到 3.36 倍和 2.83 倍加速,较 TensorRT-LLM FP8 提升 2.03 倍和 1.71 倍。
Geometry-Aware SRMC (GA-SRMC) 提出将欧氏对齐推广至任意对称正定矩阵 M,以提升 MCMC 采样效率。该方法在 8 个目标模拟中表现优异,在 MNIST 任务上有效样本量(ESS)较基线提升 6.8 倍,在 Logistic 回归后验上提升 16-32%。论文即将发表于 NeurIPS 2026。
针对 LLM 中注意力机制的扩展性瓶颈,提出免训练的 Head-Adaptive Sparse Attention (HASA) 框架。该框架通过每个注意力头的 Query-Key 算子奇异谱确定有效秩,并基于方向一致性逐步合并邻近区域。
自适应调度流水线(ASP)作为离线 rollout 调度器,通过单次预处理将端到端吞吐量提升 3.22 倍,迭代时间最多降低 76.8%。 相比 MindSpeed-RL 和 verl,ASP 更有效地克服了单实例推理的早期扩展瓶颈,并在有界策略滞后下保持收敛无退化。 该调度器已在电信领域 RL 后训练工作流中应用,将训练周期从 3 个月以上缩短至约 2 个月。
论文提出基于 Mahalanobis 距离的上下文信息微分(CID)指标,用于量化高维语义空间中的语义位移。 该指标通过协方差感知机制计算语义状态转变,将意义视为几何属性以测量认知转换。 此框架为分析人类与 AI 系统的认知处理、推理及知识生成提供独立于实现方法的度量基础。
CascadeRec 双层 LLM 重排序级联系统已在生产环境中运行超过一个月,推理成本降低约 10%,且未观察到质量回退。该系统仅在路由器判断额外推理算力有益时,将请求升级至更昂贵的 Tier-2 流程。 在公开基准测试中,均匀 LLM 重排序使稀疏历史用户的 NDCG@10 最多降低 30%,且仅在最长期历史的细分组中表现出统计显著收益。
研究引入包含 100 个问题的 DS-QA 基准,利用 100 次重复运行的 Monte Carlo 协议评估 OpenAI 模型在数据科学任务中的可靠性。结果显示模型在中等和困难级别的数据可视化与监督学习任务中表现波动大,且词级冗长度每增加 0.1,token 级冗长度增加约 0.013。
研究在 7 种设置中验证 LLM 引导搜索的“tilt”预测,发现 6 种设置下 150 步后的水平随 minibatch 大小增加,但预测值不准确。 在 bin packing 任务中,搜索达到的增益为预测的 62-88%(编辑父代)或 109-119%(编写新启发式);父代与后代质量相关性越高,实际达到的比例越低。
针对视觉语言模型强制长思考导致的过度推理问题,研究提出 dual-reference 离线优化方法 DR-BOLT。该方法区分快慢混合参考与采样分布,在 ScienceQA 及三个留出基准上实现 2.90 倍端到端训练加速,跨基准慢思考比例为 24.1%。基于 Qwen3-VL 的实验验证了目标函数改进效果,代码已开源。
该方法通过单一小型冻结 LLM 的 prefill activations 预测候选模型的成功率与输出长度,显著降低推理成本。 在 8/9 个数据集上,相比中位长度定价,该预测方法在匹配准确率下节省 9-33% 成本,最高可达完美信息节省量的 69%。 输出长度主要取决于问题难度,20 个标注问题即可保持大部分节省效果,且 scout 规模超过 2B 后节省不再增加。
提出 Transformer-FSQ 方法,通过有限标量量化瓶颈替换标准 KV 投影,实现极端 KV-Cache 压缩。在 RULER 长上下文检索基准中,该方法在 12× 至 97.5× 压缩率下保持最高精度。 基于 0.25 tokens/参数 的训练量,结合 Triton 融合内核解码,在 Qwen3-8B-Base 上以 97.5× 压缩率达到 1.54× 原生 SDPA 吞吐量。
PhysioWave-T 通过动态尺度折叠将序列长度压缩,在四项 EEG 任务中使 Transformer 延迟降低 4.0-7.2 倍、峰值内存降低 6.8-12.7 倍且无精度损失。
论文指出当前 LLM 自我博弈框架受限于数据视角缺失、跨域泛化能力及信任安全问题。 研究提出三个方向:数据中心的自我博弈、可泛化的自我博弈及可信的自我博弈,旨在实现从有限人类知识到无限高质量经验的转变,构建可持续 AI 生态。
针对多模态情感识别中模态间预测分歧问题,研究提出 MiD-ERC 框架。 该框架利用标准化分歧分数量化模态间分歧并估计样本可靠性,协调分歧引导的跨模态门控、可靠性加权及自适应 LLM 提示。 在 IEMOCAP 和 MELD 数据集上取得 SOTA 性能,在高分歧样本上表现显著提升。
MINE提出无损熵编码方案,通过利用权重非均匀分布加速LLM单流推理。核心为适配GPU的dtANS-LLM编码器,可自动调优以平衡压缩率与解码延迟。 集成至vLLM作为插件,在Llama 3.1 8B Instruct模型上,RTX 4060 Ti实现2.52倍加速,RTX 5090实现1.48倍加速。项目已开源,旨在解决本地部署中因内存瓶颈导致的低延迟请求难题。
针对标签揭示成本高的分类场景,研究者提出名为 k-Volume (kVol) 的新型主动学习策略。 该策略依据包含样本 k 个最近邻的最小球体积随机选取样本,兼具密度、多样性及不确定性优势。 kVol 计算成本低且稳定性强,在真实数据集上优于 CoreSet、TypiClust 等现有 SOTA 方法。
该综述深入分析二分类中 Matthews 相关系数(MCC)的历史、数学基础及实践意义。 研究澄清长期误解,形式化其等价性(与 Pearson 相关及 2x2 表中 Chi2 的等价),并考察其在类别不平衡下的表现。 论文发展解析与图形框架以泛化任意混淆矩阵指标,为性能度量选择提供指导,有助于提升可靠性与公平性应用。
论文提出名为AlterNet的新型LLM架构,结合混合专家层、浅层专家和动态深度系统,使模型前向传播的计算量可按任务自动调整,无需重新训练即可在运行环境中降低推理开销。 该设计包含专家内部的循环计算机制、序列级基于深度的路由、halt 机制、深度编码以跟踪计算进度,以及激励模型高效使用分配算力的正则化机制。 论文给出了初步的benchmark结果,并讨论未来研究方向。
在 vLLM 中,仅传播取消无法解决过载后的重试风暴,过载后送达率仅 12-38%。重试通常比超时早不到 0.5 秒启动预填充,已中止的执行消耗了 79-85% 的提示词 token,且计数器遗漏了三分之一到一半的已计算 token。过载控制应基于重试增加的执行数和客户端实际接收的调用进行判断。
针对气候模拟中数据驱动模型缺乏稳定性保证的问题,提出强制耗散随机插值框架,利用湍流动力学结构约束确保任意长时积分下的稳定性。 基于马尔可夫链稳定性理论,建立 Foster-Lyapunov 漂移条件并证明几何遍历性,在双时间尺度 Lorenz-96 系统上验证了该模拟器在有限幅值强迫下能准确预测均值和方差的强迫响应。
研究团队发布 IWIBench,用于评估编辑器模型通过直接编辑权重修改小型目标模型行为的能力。评测对象包括 Astra 和 GPT-6.1 Sol 等前沿模型,目标模型通常为 Gemma 3 4B IT。结果显示不同任务成功率差异显著,结构化响应抵抗了所有尝试,而别名获取最易实现。
针对大语言模型推理中的测试时选择难题,研究提出 Aspect-wise Pairwise Tournaments (APT) 方法。 APT 通过单一淘汰赛形式的成对比较来验证候选解,每个比赛由多个现成的方面验证器投票决定。
研究将 MoE 负载均衡重构为反馈控制问题,提出 PID-Balancer 控制器家族。 针对非平稳数据场景,纯积分型 PID (I) 控制器在 OLMoE 骨干模型及 OLMoE-1B-7B 持续预训练中表现优于现有方法。 在保持平衡性和困惑度相当的前提下,该策略在数据分布切换后能更紧密地恢复专家负载均衡。
Cross-Layer TopK 通过设置全局 L0 预算动态分配稀疏度,在 Qwen3-8B-Base 上比 JumpReLU 少用 20% 活跃潜变量,且 FVU 更低。 该方法提升了电路追踪的替换与完整性分数,并支持与稀疏解码结合,使单步训练速度提升 2.9 倍。 已开源该 Transcoder 权重。
原标题 "Calibrating your confidence requires thinking of all the ways you could be wrong" 是一个观点型标题,缺乏具体主体。
新提出的 Energy-Based Reasoners (EBRs) 通过在学习潜在推理状态上构建能量函数,将循环更新公式化为梯度下降,解决了缺乏明确进展衡量标准的难题。
论文提出 Ordered Policy Optimization (OPO),通过在每个 mini-batch 内对重要性比率排序,并为极端比率分配自适应半径,替代固定裁剪区间。方法保持一阶优化特性,仅增加排序和修改策略损失。在 MuJoCo 和 Atari 基准上表现出与现有基线相当或更强的性能,论文发表于 NeurIPS 2026。
论文提出 TRACE-Edge 方法,在灰盒访问下利用非对称对数似然偏差精确求解最大生成有向树,以重建大语言模型(LLM)的有向谱系树。 该方法无需检查模型权重,仅在 25 个由 3 个基础模型构建的谱系树配置上评估,使用微调示例探测时父级匹配准确率达 0.74。 现有输出型方法仅支持成对测试或无向估计,而准确推断派生方向对审计外包微调、确认许可合规及追踪漏洞至关重要。
TopoSHAP 提出了一种高效的拓扑深度学习解释框架,在 GraphXAI 基准上匹配或超越基于图的解释方法,速度快达 112 倍。 该框架通过 TopoSHAP-cell 将 Shapley 值分配给拓扑数据单元,并利用 TopoSHAP-neighbor 进行架构搜索,比传统训练搜索便宜 11.3 倍,有助于提升预测精度和解释恢复能力。