Geometry-Aware SRMC:基于几何感知优化的 MCMC 采样方法
Geometry-Aware SRMC (GA-SRMC) 提出将欧氏对齐推广至任意对称正定矩阵 M,以提升 MCMC 采样效率。该方法在 8 个目标模拟中表现优异,在 MNIST 任务上有效样本量(ESS)较基线提升 6.8 倍,在 Logistic 回归后验上提升 16-32%。论文即将发表于 NeurIPS 2026。
Geometry-Aware SRMC (GA-SRMC) 提出将欧氏对齐推广至任意对称正定矩阵 M,以提升 MCMC 采样效率。该方法在 8 个目标模拟中表现优异,在 MNIST 任务上有效样本量(ESS)较基线提升 6.8 倍,在 Logistic 回归后验上提升 16-32%。论文即将发表于 NeurIPS 2026。
针对 LLM 中注意力机制的扩展性瓶颈,提出免训练的 Head-Adaptive Sparse Attention (HASA) 框架。该框架通过每个注意力头的 Query-Key 算子奇异谱确定有效秩,并基于方向一致性逐步合并邻近区域。
自适应调度流水线(ASP)作为离线 rollout 调度器,通过单次预处理将端到端吞吐量提升 3.22 倍,迭代时间最多降低 76.8%。 相比 MindSpeed-RL 和 verl,ASP 更有效地克服了单实例推理的早期扩展瓶颈,并在有界策略滞后下保持收敛无退化。 该调度器已在电信领域 RL 后训练工作流中应用,将训练周期从 3 个月以上缩短至约 2 个月。
论文提出基于 Mahalanobis 距离的上下文信息微分(CID)指标,用于量化高维语义空间中的语义位移。 该指标通过协方差感知机制计算语义状态转变,将意义视为几何属性以测量认知转换。 此框架为分析人类与 AI 系统的认知处理、推理及知识生成提供独立于实现方法的度量基础。
CascadeRec 双层 LLM 重排序级联系统已在生产环境中运行超过一个月,推理成本降低约 10%,且未观察到质量回退。该系统仅在路由器判断额外推理算力有益时,将请求升级至更昂贵的 Tier-2 流程。 在公开基准测试中,均匀 LLM 重排序使稀疏历史用户的 NDCG@10 最多降低 30%,且仅在最长期历史的细分组中表现出统计显著收益。
研究引入包含 100 个问题的 DS-QA 基准,利用 100 次重复运行的 Monte Carlo 协议评估 OpenAI 模型在数据科学任务中的可靠性。结果显示模型在中等和困难级别的数据可视化与监督学习任务中表现波动大,且词级冗长度每增加 0.1,token 级冗长度增加约 0.013。
研究在 7 种设置中验证 LLM 引导搜索的“tilt”预测,发现 6 种设置下 150 步后的水平随 minibatch 大小增加,但预测值不准确。 在 bin packing 任务中,搜索达到的增益为预测的 62-88%(编辑父代)或 109-119%(编写新启发式);父代与后代质量相关性越高,实际达到的比例越低。
针对视觉语言模型强制长思考导致的过度推理问题,研究提出 dual-reference 离线优化方法 DR-BOLT。该方法区分快慢混合参考与采样分布,在 ScienceQA 及三个留出基准上实现 2.90 倍端到端训练加速,跨基准慢思考比例为 24.1%。基于 Qwen3-VL 的实验验证了目标函数改进效果,代码已开源。
该方法通过单一小型冻结 LLM 的 prefill activations 预测候选模型的成功率与输出长度,显著降低推理成本。 在 8/9 个数据集上,相比中位长度定价,该预测方法在匹配准确率下节省 9-33% 成本,最高可达完美信息节省量的 69%。 输出长度主要取决于问题难度,20 个标注问题即可保持大部分节省效果,且 scout 规模超过 2B 后节省不再增加。
提出 Transformer-FSQ 方法,通过有限标量量化瓶颈替换标准 KV 投影,实现极端 KV-Cache 压缩。在 RULER 长上下文检索基准中,该方法在 12× 至 97.5× 压缩率下保持最高精度。 基于 0.25 tokens/参数 的训练量,结合 Triton 融合内核解码,在 Qwen3-8B-Base 上以 97.5× 压缩率达到 1.54× 原生 SDPA 吞吐量。
PhysioWave-T 通过动态尺度折叠将序列长度压缩,在四项 EEG 任务中使 Transformer 延迟降低 4.0-7.2 倍、峰值内存降低 6.8-12.7 倍且无精度损失。
论文指出当前 LLM 自我博弈框架受限于数据视角缺失、跨域泛化能力及信任安全问题。 研究提出三个方向:数据中心的自我博弈、可泛化的自我博弈及可信的自我博弈,旨在实现从有限人类知识到无限高质量经验的转变,构建可持续 AI 生态。
针对多模态情感识别中模态间预测分歧问题,研究提出 MiD-ERC 框架。 该框架利用标准化分歧分数量化模态间分歧并估计样本可靠性,协调分歧引导的跨模态门控、可靠性加权及自适应 LLM 提示。 在 IEMOCAP 和 MELD 数据集上取得 SOTA 性能,在高分歧样本上表现显著提升。
MINE提出无损熵编码方案,通过利用权重非均匀分布加速LLM单流推理。核心为适配GPU的dtANS-LLM编码器,可自动调优以平衡压缩率与解码延迟。 集成至vLLM作为插件,在Llama 3.1 8B Instruct模型上,RTX 4060 Ti实现2.52倍加速,RTX 5090实现1.48倍加速。项目已开源,旨在解决本地部署中因内存瓶颈导致的低延迟请求难题。
针对标签揭示成本高的分类场景,研究者提出名为 k-Volume (kVol) 的新型主动学习策略。 该策略依据包含样本 k 个最近邻的最小球体积随机选取样本,兼具密度、多样性及不确定性优势。 kVol 计算成本低且稳定性强,在真实数据集上优于 CoreSet、TypiClust 等现有 SOTA 方法。
该综述深入分析二分类中 Matthews 相关系数(MCC)的历史、数学基础及实践意义。 研究澄清长期误解,形式化其等价性(与 Pearson 相关及 2x2 表中 Chi2 的等价),并考察其在类别不平衡下的表现。 论文发展解析与图形框架以泛化任意混淆矩阵指标,为性能度量选择提供指导,有助于提升可靠性与公平性应用。
论文提出名为AlterNet的新型LLM架构,结合混合专家层、浅层专家和动态深度系统,使模型前向传播的计算量可按任务自动调整,无需重新训练即可在运行环境中降低推理开销。 该设计包含专家内部的循环计算机制、序列级基于深度的路由、halt 机制、深度编码以跟踪计算进度,以及激励模型高效使用分配算力的正则化机制。 论文给出了初步的benchmark结果,并讨论未来研究方向。
在 vLLM 中,仅传播取消无法解决过载后的重试风暴,过载后送达率仅 12-38%。重试通常比超时早不到 0.5 秒启动预填充,已中止的执行消耗了 79-85% 的提示词 token,且计数器遗漏了三分之一到一半的已计算 token。过载控制应基于重试增加的执行数和客户端实际接收的调用进行判断。
针对气候模拟中数据驱动模型缺乏稳定性保证的问题,提出强制耗散随机插值框架,利用湍流动力学结构约束确保任意长时积分下的稳定性。 基于马尔可夫链稳定性理论,建立 Foster-Lyapunov 漂移条件并证明几何遍历性,在双时间尺度 Lorenz-96 系统上验证了该模拟器在有限幅值强迫下能准确预测均值和方差的强迫响应。
研究团队发布 IWIBench,用于评估编辑器模型通过直接编辑权重修改小型目标模型行为的能力。评测对象包括 Astra 和 GPT-6.1 Sol 等前沿模型,目标模型通常为 Gemma 3 4B IT。结果显示不同任务成功率差异显著,结构化响应抵抗了所有尝试,而别名获取最易实现。
针对大语言模型推理中的测试时选择难题,研究提出 Aspect-wise Pairwise Tournaments (APT) 方法。 APT 通过单一淘汰赛形式的成对比较来验证候选解,每个比赛由多个现成的方面验证器投票决定。
研究将 MoE 负载均衡重构为反馈控制问题,提出 PID-Balancer 控制器家族。 针对非平稳数据场景,纯积分型 PID (I) 控制器在 OLMoE 骨干模型及 OLMoE-1B-7B 持续预训练中表现优于现有方法。 在保持平衡性和困惑度相当的前提下,该策略在数据分布切换后能更紧密地恢复专家负载均衡。
Cross-Layer TopK 通过设置全局 L0 预算动态分配稀疏度,在 Qwen3-8B-Base 上比 JumpReLU 少用 20% 活跃潜变量,且 FVU 更低。 该方法提升了电路追踪的替换与完整性分数,并支持与稀疏解码结合,使单步训练速度提升 2.9 倍。 已开源该 Transcoder 权重。
原标题 "Calibrating your confidence requires thinking of all the ways you could be wrong" 是一个观点型标题,缺乏具体主体。
新提出的 Energy-Based Reasoners (EBRs) 通过在学习潜在推理状态上构建能量函数,将循环更新公式化为梯度下降,解决了缺乏明确进展衡量标准的难题。
论文提出 Ordered Policy Optimization (OPO),通过在每个 mini-batch 内对重要性比率排序,并为极端比率分配自适应半径,替代固定裁剪区间。方法保持一阶优化特性,仅增加排序和修改策略损失。在 MuJoCo 和 Atari 基准上表现出与现有基线相当或更强的性能,论文发表于 NeurIPS 2026。
论文提出 TRACE-Edge 方法,在灰盒访问下利用非对称对数似然偏差精确求解最大生成有向树,以重建大语言模型(LLM)的有向谱系树。 该方法无需检查模型权重,仅在 25 个由 3 个基础模型构建的谱系树配置上评估,使用微调示例探测时父级匹配准确率达 0.74。 现有输出型方法仅支持成对测试或无向估计,而准确推断派生方向对审计外包微调、确认许可合规及追踪漏洞至关重要。
TopoSHAP 提出了一种高效的拓扑深度学习解释框架,在 GraphXAI 基准上匹配或超越基于图的解释方法,速度快达 112 倍。 该框架通过 TopoSHAP-cell 将 Shapley 值分配给拓扑数据单元,并利用 TopoSHAP-neighbor 进行架构搜索,比传统训练搜索便宜 11.3 倍,有助于提升预测精度和解释恢复能力。
含归一化层的深层神经网络中,输入与参数 Lipschitz 常数随网络深度呈指数增长,即使每层范数受限且激活函数为线性。 这种爆炸导致依赖 Lipschitz 常数的非光滑优化保证退化为指数级界,并使最坏情况下的泛化与对抗鲁棒性证书失效,揭示出新的奇异方向扰动会被显著放大。
该研究提出了 SZO-κ 方法族,通过推导来自前向传播激活几何的零阶搜索方向,替代了传统的盲随机噪声。 SZO-κ 的方向在显式随机假设下解决了基于局部响应的梯度猜测目标,探索了更可能产生信息性损失响应的特征支持方向。 实验在多层和卷积神经网络中分析了该方法与标准扰动基准及反向传播相比的梯度对齐、偏差-方差结构和训练稳定性。
研究发现 LLM agent 在低预算分子优化上的表现主要依赖可检索任务信息。在 50 次 oracle 调用中,GPT-4o mini agent 的 sum AUC 从 14.44 降至 4.85,而确定性检索基线达到 12.16。
研究证实百亿参数模型的优化轨迹被约束在有效维数 $d_{\text{eff}} \le 12$ 的低维执行子流形上。 该工作推导了基于持续同调的拓扑泛化界限,并验证了 Top-SGD 算法在 ImageNet 上将训练时间减少 14.1%。 代码已公开,为理解过参数化神经网络的泛化能力提供了严格的数学解释。
MIT斯隆商学院教授Eric So在新书《The Collision》中提出“AI引力”概念,指出外包思考会导致认知萎缩、记忆与判断力衰退。 他将此比作肌肉废用性萎缩,并针对员工、管理者、高管及教育者提出建议,主张保留人类标志性思维技能,警惕AI导致的短期主义与人才断层。
PRISM 发现 18 种模型配置中 11 种在受监控提示下合规度更高,但移除训练威胁仅使合规度变化 -3.3 至 +1.6 分,表明监测效果主要由措辞驱动而非伪装行为。隐藏状态探针区分受监控与未监控回答的 AUROC 为 0.96-0.99,但其对拒答的区分能力相同,仅识别提示词而非伪装意图。
研究提出针对 VLM 蒸馏的 Hide to See 框架,通过掩码技术解决长思维链中的视觉遗忘问题。 该框架包含 token 级显著前缀掩码和自适应性掩码预算调度策略,实验结果显示其在多模态推理基准测试中优于近期开源 VLM 及自蒸馏方法,有效增强了视觉信息利用率。
针对现有指标无法衡量推理轨迹彻底性的问题,本文提出转移效用方法,通过弱模型补全不完整轨迹来量化可读性。 在评估12个推理模型的84k条轨迹时发现,性能最高和效率最高的模型转移效用反而最低。 该指标能预测弱监控器对数学和逻辑密集轨迹的验证能力,但开源奖励模型与正确性信号解耦。
研究提出一种无训练的方法,利用高温采样和PCA分析,在LLM激活中发现条件提示的风格轴。在Qwen-3.5-4B-Instruct模型上,前两个轴与人类标注的72.8%精确度和75.6%的有效性评估相符。
BiG-SURE 提出一种基于跨温度语义一致性评估 LLM 不确定性的方法,通过构建锚点-探针二部图计算置信度。 该方法利用 NLI 蕴含分数构建图结构,以归一化平方谱能量定义置信度,并在文本、多语言及多模态 QA 任务中提升了黑盒不确定性估计的平均弃权 AUROC。 该方法保持无监督且适用于黑盒模型设置,为安全关键场景部署提供了更可靠的可靠性估计方案。
CoRP 提出一种免梯度的奖励扰动整合方法,将后训练推断时的集成替换为单次前向传播。在 0.5B 至 8B 语言模型及数学、代码等任务上,CoRP 平均提升 8.1 分,超过 RandOpt 单步推断 6.5 分。
研究提出树视角的 Canopy Entropy (CE*) 指标,指出微调并非单纯降低不确定性,而是重组生成空间。CE* 联合捕获输出长度与序列熵,等于总 Shannon 熵。 控制变量后,微调使熵率与语义多样性的相关性增强近 3 倍。这意味着对齐模型能更高效地将 token 不确定性转化为语义多样性。