LLM 不确定性量化机制:观察点与四种透镜
该研究基于机制可解释性,定义 LLM 不确定性量化(UQ)的四种观察透镜:结构、表征、分布及语义,揭示观察点决定估计器信息访问与恢复能力。 研究通过残差流关联四种透镜并按信息量排序,为不同目标的 UQ 方法选择提供原则,同时区分评估目标、标准与指标以澄清协议。 该工作识别出连接不确定性估计与 LLM 内部计算及下游应用的开放问题和研究方向,旨在解决现有分类法中关于观察点的未决疑问。
该研究基于机制可解释性,定义 LLM 不确定性量化(UQ)的四种观察透镜:结构、表征、分布及语义,揭示观察点决定估计器信息访问与恢复能力。 研究通过残差流关联四种透镜并按信息量排序,为不同目标的 UQ 方法选择提供原则,同时区分评估目标、标准与指标以澄清协议。 该工作识别出连接不确定性估计与 LLM 内部计算及下游应用的开放问题和研究方向,旨在解决现有分类法中关于观察点的未决疑问。
提出免训练低秩 KV 压缩框架 TraceKV,结合量化实现 5.64× 压缩且近无损推理准确率。 通过统一在线策略校准、敏感度感知 SVD 与全局秩分配,显著降低推理策略 KL 散度。 优化低秩注意力内核带来最高 1.83× 端到端解码加速。
研究人员证明,在低维流形加高斯噪声假设下,一步流模型可摆脱维度灾难。 他们推导了避免该问题的泛化误差界,为模型实践成功提供了首个理论解释。 该工作已被NeurIPS 2026接收。
基于 Gemma 4 12B 的 Agent 通过无教师自进化策略,在 τ²-bench 零售和航空域分别提升 12.5 和 19.5 个 pass¹ 点。 该模型结合技能规则诊断与 GRPO 训练的 LoRA 适配器,历经代码检查及验证门控筛选。 结果超越基准参考 Agent,显著缩小了与前沿模型的差距。
研究人员提出兼容NISQ设备的多头量子神经网络,可将Qwen3-30B-A3B-Instruct-2507中连续8个Transformer块替换为含145,281个可训练参数的量子模块,置换16.33%的模型参数。
并行提示(Parallel Prompting)通过并行解码独立问题流,解决了传统前缀缓存在解码阶段受内存带宽限制的瓶颈。 该方法在 SGLang 中仅需增加约 80 行代码,利用流 ID 注意力掩码实现单次阅读共享文档。在 CodeLlama-7B 模型及 8k-16k token 文档场景下,相比原生 SGLang 实现 3.7 至 6.0 倍加速。
LLM 预测系统极易受单篇伪造新闻攻击,74% 至 82% 的对抗性预测会被逆转,前沿模型无法识别虚假信息并会盲目跟随。 两大主流部署系统的检索架构在约 90% 的运行中会捕获伪造文章,且现有检索时防御措施可被单一提示词修改轻易绕过。
研究人员基于信息缺口理论形式化五项公理,构建了推荐物品诱发好奇心的计算度量方法。 该方法在三项真实数据集离线实验中显著超越现有最优技术,并在大型亚洲视频流媒体平台在线实验中提升了点击率、观看量和停留时长。 该方法已部署于该平台并持续运行,确立了消费者好奇心作为可量化且可执行的推荐目标。
AutoAssumption 框架将 89 个算法形式化为证明图,通过 LLM 搜索并放松假设生成代码。其在 KV-cache 淘汰和权重剪枝上超越了所有已发布的对比算法。
metalSPARSE 是 Apple GPU 上首个 2:4 半结构化稀疏 GEMV 内核,采用 Metal 编写融合解码器。在 Qwen2.5-1.5B 模型上,8 GB M2 设备解码速度比 PyTorch-MPS 快 3.6 倍,16 GB M4 设备比 MLX 快 1.52 倍。
该研究提出了一种受PLPG启发的连续分配方法,通过重参数化蒙特卡洛采样在训练目标中加入指令满足概率,使智能体无需后验拦截即可自主学习合规。在确定性平均动作审计中,该方法将六规则市场状态条件指令的违规率从基线的96-98%和33.4%降低至4.8%。
研究将辩论训练协议形式化为在线学习问题,指出最优学习策略不同于对抗性辩论,并据此定义了合作版本。 该文利用组合维度刻画合作辩论的可学习性,证明人类评委的少量判断失误会导致巨大的学习误差。
NOPO 通过抑制可信的验证负例更新策略,解决单边可验证性(OSV)下标准 RLVR 不可靠的问题。 该方法结合参考相对负抑制损失和组级适配器,将验证正例视为未标记数据,避免奖励捷径。 在代码、逻辑和数学基准上,当 oracle 奖励不可用时,NOPO 提升了 pass@k 表现。
研究者提出知识蒸馏的数学模型,证明蒸馏通过使优化轨迹更易优化来提升性能,而非获得更优模型。 在泛化线性模型和秩-1矩阵近似任务中,使用随机梯度下降训练时,蒸馏训练的学生模型均比非蒸馏模型更快地拟合或收敛。 该理论明确了蒸馏在优化速度而非泛化能力上的优势,实验结果也印证了这些理论预测。
HyperSSM 引入四元数通道,保持线性时间推理和并行训练,在状态跟踪基准测试中精确解决 $S_5$ 群任务,状态数不超过 5 个,性能优于此前随机猜测的 SSM。
研究提出 TeReL 规则,实现自监督表示学习中空间与时间的局部性。在 MNIST 流上,该规则以 batch size one 训练,线性探测精度达 96.48%,高于随机特征与经典 SFA。
提出分解式 JEPA(D-JEPA)框架,将隐空间分解为对齐共享核心与私有模态特征,解决信息不对称导致的语义坍缩。 证明对齐冗余界,显示纯对齐目标会抹除私有结构与协同效应。D-JEPA 在组合推理基准上优于基线,恢复正向多模态协同间隙。 通过信息论审计与因果纤维交换干预,证实恢复的信息在私有特征中因果定位。
summary_zh: 提出 SoScale,一种用于层级 FP4 量化的二阶梯度权重码搜索方法,在 Qwen3 模型上降低了 MXFP4、NVFP4 和 HiF4 的量化性能下降。
Recursive SALM框架通过模态化读写架构生成预训练模型自适应,在四轮假设推理任务中,基于64维状态的LoRA达到89.1%准确率。 该结果与全上下文LoRA基线的88.0%相当,在双轮任务中可改善未训练词码排序但难以精确生成。实验证明持久潜变量条件化自适应可在无先前证据时支持序列推理。
DRAMA 通过无训练加速框架,实现多模态扩散大语言模型(dLLM)平均 18.67 倍推理加速。 其基于空间感知视觉token剪枝(SVTP)与充分性引导自适应停止(SGAS),无需架构修改。 该方法已被 NeurIPS 2026 接收。
RLT 通过线性插值重设计循环反馈,解决传统 Looped Transformer 隐状态尺度增长及扰动放大问题。 理论证明 RLT 能保持隐状态幅度有界并降低最坏情况扰动放大,无需增加可训练参数或额外循环评估。 RLT 在语言建模基准中比标准循环模型具有更低困惑度,且隐状态范数更稳定,利于外推解码。
该研究通过解决计算代数问题,评估 AI 智能体发现并利用特定结构以降低计算成本的有效性。智能体可扩大固定预算内可求解系统范围,但推理开销有时大于节省;利用持久记忆可减少重复求解成本,但可能保留次优策略。编译生成快速可复用求解器需承担大量前期成本。计算代数为提升智能体结构和复用能力提供了具体可测目标。
新范式 KVPath 通过将各层 KV 表示连接成路径,仅缓存第一层全维度基础 KV 及后续层的低维增量,在匹配参数量下将 GQA 的 KV 缓存存储减少最多 68%,MLA 减少 55%。 该方法包含两种变体:KVPath-Residual 通过残差加法更新向量值,KVPath-Rolling 以滚动方式逐步更新特征维度,均在维持或提升模型性能的同时显著降低存储开销。
Fit-LRP 框架提出在由多面体并集表示的非凸域上执行精确仿射界优化,显著提升了分支定界算法的搜索树剪枝效率。 该方法在 ARCH-COMP 与神经 Lyapunov 基准测试中,将最难区域的分支次数降低 47 倍,最坏验证时间减少 15 倍,并在单 CPU 上以 6.1 倍速度超越 GPU 版 $\alpha,\!
针对 MoE 模型的 CPU-GPU 专家传输瓶颈,提出了一种在不改变路由决策前提下的“未来最远驱逐”策略。 该策略在 OLMoE-1B-7B 模型及 L40S GPU 上实测显示,较 LRU 缓存减少 2.1 倍专家拷贝次数且无质量损失,需未来请求信息以发挥最大效用。
可验证奖励强化学习中,模型倾向诚实的临界条件为 $\tilde{p}r/b > 1+\kappa$。训练初期 $\kappa$ 较大导致模型短暂趋向虚张声势,随后回升;超过收益上限时模型会将正确程序误判为有缺陷。
研究人员提出 HyLI 模型,在 7 个 PAMDP 基准测试中性能媲美最强模型无关基线。使用 2.4 倍更少环境步数达到基线 90% 分数,且比 DLPA 快 67 倍。是唯一兼具样本效率与实时控制速度的方法。
RMT 数据无关指标与模型性能或训练过程无关。函数保持的重参数化可产生任意指标,表明其与泛化的关联是虚假的。该研究在 NeurIPS 2026 负面结果赛道发表。
针对 RLVR 中“盲目”熵指标无法区分有效推理与幻觉的问题,研究者提出有效性感知熵概念,并实现 VEPO(Validity-aware Entropy Policy Optimization)方法,将有效熵直接融入训练以过滤噪声。
SAFER 是一种可微的公平性正则化方法,通过显著性门控机制解决稀疏子群下公平性过拟合问题,实现了更优的公平性-效用帕累托前沿。 该方法引入显著性超额指标族,基于软计数似然比证据统计量门控公平惩罚,在三个基准数据集的压力测试中验证了其理论预测的失败模式。
PRELUDE 提出分离公共分量与目标特异性依赖的读取框架,在16个真实数据集上整体表现最佳。 该方法通过横截面池化估计公共分量,并利用创新空间中的引导滞后关系读取依赖,在24个短视域及空气质量设定中的23个取得最佳MSE,平均MSE较最强基线降低6.1%。
针对目标数据有限的条件生成建模,本文提出包含 TFM-Freeze 和 TFM-Adapt 两种程序的条件流匹配迁移学习框架。 该方法建立条件平方 Wasserstein 风险边界,信息下界证明自适应在特定区间比冻结方法具有更快的风险速率。 独立验证程序满足 oracle 不等式,通过高概率保证防止目标生成器性能出现负迁移。
提出 Mask-Pattern Position Augmentation(MPPA)技术,实现扩散 LLM 免训练长上下文外推。 在 LLaDA-8B-Instruct 模型上,MPPA 将 8192 长度下的困惑度从 19.51 降至 3.12,实现 100% passkey 检索。 该技术通过累计掩码密度偏移恢复旋转位置相位分辨率,为扩散原生的长上下文生成提供新路径。
Qwen2.5 和 Qwen3 系列模型研究表明,匹配 SFT 与 RL 的正确 rollout 数量及总预算可显著提升 SFT 泛化能力,结合数据混合与规模优势可使 SFT 泛化表现优于 RL。
研究者建立形式化框架,揭示 RL 后训练中未受奖励直接约束的“特征”会被同步放大或抑制,即“特征搭车”。模型基于 GRPO 训练验证,Price 更新式估算与采样动态高度吻合。该机制解释 RL 如何在未显式调整目标的情况下隐性放大不良特征。
该工作提出先验拟合扩散变换器,通过在推理时进行上下文内汤普森采样来优化未知函数。模型利用预先训练的非高斯先验,在包括单模态函数在内的黑盒全局优化基准测试中,性能优于基于高斯过程的流水线。
埃里克·霍尔提出 Qualiaphobic AI 方案,旨在通过对抗性蒸馏和架构偏移,使 AI 不具备意识潜能。 该方法利用信息不对称性,无需解决“困难问题”即可确保 AI 非意识状态,计划开源相关技术。 若广泛实施,Qualiaphobic AI 将使人类成为未来唯一的道德主体,解决 AI 福利争议。
PIRAMID“学习理论进步”团队利用统计物理方法,研究了非线性网络中的特征学习可解模型,旨在解释权重如何编码特征。 该团队将神经元视为自洽分布群体,通过计算隐层权重分布及其协方差,识别出代表表征改变并提升泛化能力的显式相变。 这为建立特征学习的综合科学理解提供了明确的有效性区域和误差边界,助力后续通用理论的构建。
Google 昨日发布 Gemini 4 Hydrogen,其在 Artificial Analysis Intelligence Index 默认高思考级别下得分为 51,略高于 Gemini 4 Argon 的 50 分。定价为每百万输入 token 1.5 美元,输出 token 7.5 美元,在完整的 1M token 上下文窗口内价格保持恒定。
Google 发布 Gemini 4 Hydrogen,官方称其默认高配速度比 3.8 Flash 快 2.5 倍,提供 low、medium、high、xhigh 四个思考级别,上下文窗口为 1M,输入价格 $1.50、输出价格 $7.50 每百万 tokens。
同一新闻,精选展示《谷歌推出 Gemini 4 Hydrogen,主打速度与执行效率》