跳到正文
11月9日周一
  1. arXiv · ML33

    自适应调度流水线:用于多实例异步强化学习的大语言模型离线 Rollout 调度器

    自适应调度流水线(ASP)作为离线 rollout 调度器,通过单次预处理将端到端吞吐量提升 3.22 倍,迭代时间最多降低 76.8%。 相比 MindSpeed-RL 和 verl,ASP 更有效地克服了单实例推理的早期扩展瓶颈,并在有界策略滞后下保持收敛无退化。 该调度器已在电信领域 RL 后训练工作流中应用,将训练周期从 3 个月以上缩短至约 2 个月。

  2. arXiv · AI25

    CID 方法:通过语义状态变化测量认知工作

    论文提出基于 Mahalanobis 距离的上下文信息微分(CID)指标,用于量化高维语义空间中的语义位移。 该指标通过协方差感知机制计算语义状态转变,将意义视为几何属性以测量认知转换。 此框架为分析人类与 AI 系统的认知处理、推理及知识生成提供独立于实现方法的度量基础。

  3. arXiv · ML26

    CascadeRec:多租户内容推荐中已部署的自适应 LLM 算力分配系统

    CascadeRec 双层 LLM 重排序级联系统已在生产环境中运行超过一个月,推理成本降低约 10%,且未观察到质量回退。该系统仅在路由器判断额外推理算力有益时,将请求升级至更昂贵的 Tier-2 流程。 在公开基准测试中,均匀 LLM 重排序使稀疏历史用户的 NDCG@10 最多降低 30%,且仅在最长期历史的细分组中表现出统计显著收益。

  4. arXiv · ML33

    Verifier Noise Is a Temperature:测试有限预算 LLM 引导搜索中的 Tilt 预测

    研究在 7 种设置中验证 LLM 引导搜索的“tilt”预测,发现 6 种设置下 150 步后的水平随 minibatch 大小增加,但预测值不准确。 在 bin packing 任务中,搜索达到的增益为预测的 62-88%(编辑父代)或 109-119%(编写新启发式);父代与后代质量相关性越高,实际达到的比例越低。

  5. arXiv · AI33

    DR-BOLT:用于自适应 VLM 推理的 dual-reference 离线优化方法

    针对视觉语言模型强制长思考导致的过度推理问题,研究提出 dual-reference 离线优化方法 DR-BOLT。该方法区分快慢混合参考与采样分布,在 ScienceQA 及三个留出基准上实现 2.90 倍端到端训练加速,跨基准慢思考比例为 24.1%。基于 Qwen3-VL 的实验验证了目标函数改进效果,代码已开源。

  6. arXiv · AI31

    Scout Before You Route: 利用小型 LLM Prefill 预测任务成功率与 Token 数量

    该方法通过单一小型冻结 LLM 的 prefill activations 预测候选模型的成功率与输出长度,显著降低推理成本。 在 8/9 个数据集上,相比中位长度定价,该预测方法在匹配准确率下节省 9-33% 成本,最高可达完美信息节省量的 69%。 输出长度主要取决于问题难度,20 个标注问题即可保持大部分节省效果,且 scout 规模超过 2B 后节省不再增加。

  7. arXiv · ML38

    Transformer-FSQ:用于极端 KV-Cache 压缩的离散潜变量

    提出 Transformer-FSQ 方法,通过有限标量量化瓶颈替换标准 KV 投影,实现极端 KV-Cache 压缩。在 RULER 长上下文检索基准中,该方法在 12× 至 97.5× 压缩率下保持最高精度。 基于 0.25 tokens/参数 的训练量,结合 Triton 融合内核解码,在 Qwen3-8B-Base 上以 97.5× 压缩率达到 1.54× 原生 SDPA 吞吐量。

  8. arXiv · AI21

    MiD-ERC 框架提出分歧引导的可靠性感知融合与自适应 LLM 提示,提升对话式多模态情感识别准确率

    针对多模态情感识别中模态间预测分歧问题,研究提出 MiD-ERC 框架。 该框架利用标准化分歧分数量化模态间分歧并估计样本可靠性,协调分歧引导的跨模态门控、可靠性加权及自适应 LLM 提示。 在 IEMOCAP 和 MELD 数据集上取得 SOTA 性能,在高分歧样本上表现显著提升。

  9. arXiv · ML31

    MINE:面向大语言模型的高效内存推理引擎

    MINE提出无损熵编码方案,通过利用权重非均匀分布加速LLM单流推理。核心为适配GPU的dtANS-LLM编码器,可自动调优以平衡压缩率与解码延迟。 集成至vLLM作为插件,在Llama 3.1 8B Instruct模型上,RTX 4060 Ti实现2.52倍加速,RTX 5090实现1.48倍加速。项目已开源,旨在解决本地部署中因内存瓶颈导致的低延迟请求难题。

  10. arXiv · ML28

    k-Volume: 一种统一主动学习策略

    针对标签揭示成本高的分类场景,研究者提出名为 k-Volume (kVol) 的新型主动学习策略。 该策略依据包含样本 k 个最近邻的最小球体积随机选取样本,兼具密度、多样性及不确定性优势。 kVol 计算成本低且稳定性强,在真实数据集上优于 CoreSet、TypiClust 等现有 SOTA 方法。

  11. arXiv · AI21

    Matthews 相关系数(MCC):五十年综述与数学基础分析

    该综述深入分析二分类中 Matthews 相关系数(MCC)的历史、数学基础及实践意义。 研究澄清长期误解,形式化其等价性(与 Pearson 相关及 2x2 表中 Chi2 的等价),并考察其在类别不平衡下的表现。 论文发展解析与图形框架以泛化任意混淆矩阵指标,为性能度量选择提供指导,有助于提升可靠性与公平性应用。

  12. arXiv · AI35

    AlterNet:具备自适应深度和弹性推理的混合专家模型

    论文提出名为AlterNet的新型LLM架构,结合混合专家层、浅层专家和动态深度系统,使模型前向传播的计算量可按任务自动调整,无需重新训练即可在运行环境中降低推理开销。 该设计包含专家内部的循环计算机制、序列级基于深度的路由、halt 机制、深度编码以跟踪计算进度,以及激励模型高效使用分配算力的正则化机制。 论文给出了初步的benchmark结果,并讨论未来研究方向。

  13. arXiv · AI24

    LLM 引擎过载下重试留下的问题:vLLM 实验揭示取消机制的局限

    在 vLLM 中,仅传播取消无法解决过载后的重试风暴,过载后送达率仅 12-38%。重试通常比超时早不到 0.5 秒启动预填充,已中止的执行消耗了 79-85% 的提示词 token,且计数器遗漏了三分之一到一半的已计算 token。过载控制应基于重试增加的执行数和客户端实际接收的调用进行判断。

  14. arXiv · ML20

    强制耗散随机插值:部分观测动力系统概率模拟的稳定性框架

    针对气候模拟中数据驱动模型缺乏稳定性保证的问题,提出强制耗散随机插值框架,利用湍流动力学结构约束确保任意长时积分下的稳定性。 基于马尔可夫链稳定性理论,建立 Foster-Lyapunov 漂移条件并证明几何遍历性,在双时间尺度 Lorenz-96 系统上验证了该模拟器在有限幅值强迫下能准确预测均值和方差的强迫响应。

  15. arXiv · AI23

    IWIBench: 评估无梯度模型驱动的重量内注入

    研究团队发布 IWIBench,用于评估编辑器模型通过直接编辑权重修改小型目标模型行为的能力。评测对象包括 Astra 和 GPT-6.1 Sol 等前沿模型,目标模型通常为 Gemma 3 4B IT。结果显示不同任务成功率差异显著,结构化响应抵抗了所有尝试,而别名获取最易实现。

  16. arXiv · ML24

    MoE 负载均衡重塑为反馈控制:PID-Balancer 在 OLMoE 上的应用

    研究将 MoE 负载均衡重构为反馈控制问题,提出 PID-Balancer 控制器家族。 针对非平稳数据场景,纯积分型 PID (I) 控制器在 OLMoE 骨干模型及 OLMoE-1B-7B 持续预训练中表现优于现有方法。 在保持平衡性和困惑度相当的前提下,该策略在数据分布切换后能更紧密地恢复专家负载均衡。

  17. arXiv · ML34

    Ordered Policy Optimization:一种基于排序的自适应重要性比率裁剪方法

    论文提出 Ordered Policy Optimization (OPO),通过在每个 mini-batch 内对重要性比率排序,并为极端比率分配自适应半径,替代固定裁剪区间。方法保持一阶优化特性,仅增加排序和修改策略损失。在 MuJoCo 和 Atari 基准上表现出与现有基线相当或更强的性能,论文发表于 NeurIPS 2026。

  18. arXiv · ML30

    通过微调路径推断重建大语言模型谱系树

    论文提出 TRACE-Edge 方法,在灰盒访问下利用非对称对数似然偏差精确求解最大生成有向树,以重建大语言模型(LLM)的有向谱系树。 该方法无需检查模型权重,仅在 25 个由 3 个基础模型构建的谱系树配置上评估,使用微调示例探测时父级匹配准确率达 0.74。 现有输出型方法仅支持成对测试或无向估计,而准确推断派生方向对审计外包微调、确认许可合规及追踪漏洞至关重要。

  19. arXiv · ML28

    TopoSHAP:用于可解释且高效拓扑深度学习的 Shapley 方法

    TopoSHAP 提出了一种高效的拓扑深度学习解释框架,在 GraphXAI 基准上匹配或超越基于图的解释方法,速度快达 112 倍。 该框架通过 TopoSHAP-cell 将 Shapley 值分配给拓扑数据单元,并利用 TopoSHAP-neighbor 进行架构搜索,比传统训练搜索便宜 11.3 倍,有助于提升预测精度和解释恢复能力。

  20. arXiv · ML31

    归一化深层神经网络中的 Lipschitz 爆炸对优化与对抗鲁棒性的影响

    含归一化层的深层神经网络中,输入与参数 Lipschitz 常数随网络深度呈指数增长,即使每层范数受限且激活函数为线性。 这种爆炸导致依赖 Lipschitz 常数的非光滑优化保证退化为指数级界,并使最坏情况下的泛化与对抗鲁棒性证书失效,揭示出新的奇异方向扰动会被显著放大。

  21. arXiv · ML21

    基于激活几何推导统计对齐的零阶梯度估计:Spectral Zeroth-Order 方法

    该研究提出了 SZO-κ 方法族,通过推导来自前向传播激活几何的零阶搜索方向,替代了传统的盲随机噪声。 SZO-κ 的方向在显式随机假设下解决了基于局部响应的梯度猜测目标,探索了更可能产生信息性损失响应的特征支持方向。 实验在多层和卷积神经网络中分析了该方法与标准扰动基准及反向传播相比的梯度对齐、偏差-方差结构和训练稳定性。

  22. arXiv · ML30

    百亿参数神经网络中的涌现低维拓扑动力学如何决定泛化与逃逸机制

    研究证实百亿参数模型的优化轨迹被约束在有效维数 $d_{\text{eff}} \le 12$ 的低维执行子流形上。 该工作推导了基于持续同调的拓扑泛化界限,并验证了 Top-SGD 算法在 ImageNet 上将训练时间减少 14.1%。 代码已公开,为理解过参数化神经网络的泛化能力提供了严格的数学解释。

  23. Hacker News AI29

    MIT教授Eric So新书《The Collision》:AI正在重塑人类认知

    MIT斯隆商学院教授Eric So在新书《The Collision》中提出“AI引力”概念,指出外包思考会导致认知萎缩、记忆与判断力衰退。 他将此比作肌肉废用性萎缩,并针对员工、管理者、高管及教育者提出建议,主张保留人类标志性思维技能,警惕AI导致的短期主义与人才断层。

  24. arXiv · NLP49

    PRISM 压力测试“对齐伪装”主张

    PRISM 发现 18 种模型配置中 11 种在受监控提示下合规度更高,但移除训练威胁仅使合规度变化 -3.3 至 +1.6 分,表明监测效果主要由措辞驱动而非伪装行为。隐藏状态探针区分受监控与未监控回答的 AUROC 为 0.96-0.99,但其对拒答的区分能力相同,仅识别提示词而非伪装意图。

  25. arXiv · NLP34

    Hide to See:基于前缀掩码的 VLM 蒸馏框架

    研究提出针对 VLM 蒸馏的 Hide to See 框架,通过掩码技术解决长思维链中的视觉遗忘问题。 该框架包含 token 级显著前缀掩码和自适应性掩码预算调度策略,实验结果显示其在多模态推理基准测试中优于近期开源 VLM 及自蒸馏方法,有效增强了视觉信息利用率。

  26. arXiv · NLP42

    测量推理模型弱到强可读性:引入转移效用评估指标

    针对现有指标无法衡量推理轨迹彻底性的问题,本文提出转移效用方法,通过弱模型补全不完整轨迹来量化可读性。 在评估12个推理模型的84k条轨迹时发现,性能最高和效率最高的模型转移效用反而最低。 该指标能预测弱监控器对数学和逻辑密集轨迹的验证能力,但开源奖励模型与正确性信号解耦。

  27. arXiv · NLP20

    BiG-SURE:基于二部图的 LLM 语义不确定性评估方法

    BiG-SURE 提出一种基于跨温度语义一致性评估 LLM 不确定性的方法,通过构建锚点-探针二部图计算置信度。 该方法利用 NLI 蕴含分数构建图结构,以归一化平方谱能量定义置信度,并在文本、多语言及多模态 QA 任务中提升了黑盒不确定性估计的平均弃权 AUROC。 该方法保持无监督且适用于黑盒模型设置,为安全关键场景部署提供了更可靠的可靠性估计方案。

  28. arXiv · NLP28

    微调语言模型的信息传递机制:Canopy Entropy 分析

    研究提出树视角的 Canopy Entropy (CE*) 指标,指出微调并非单纯降低不确定性,而是重组生成空间。CE* 联合捕获输出长度与序列熵,等于总 Shannon 熵。 控制变量后,微调使熵率与语义多样性的相关性增强近 3 倍。这意味着对齐模型能更高效地将 token 不确定性转化为语义多样性。