跳到正文
11月9日周一
  1. arXiv · ML25

    BNPO:Beta 归一化策略优化

    研究人员提出 BNPO 方法,通过动态更新的 Beta 分布自适应归一化奖励,解决现有策略优化中静态归一化不匹配导致训练不稳定的问题。 该方法理论证明在二元奖励下降低了方差并泛化 REINFORCE 与 GRPO,实验显示 BNPO 在推理任务中取得最先进性能。

  2. arXiv · AI20

    MotionDecipher:基于 LLM 辅助的临床人体运动信号解读框架,提升步态分析效率

    研究团队提出 MotionDecipher 框架,利用 LLM 将人体运动信号转化为临床步态描述。在 122 名患者及 46 名对照测试中,该框架取得 0.91 BERTScore,比 GPT-5 高 13%,专家评估显示其在正确性、完整性和简洁性上表现最佳。 该框架包含人体运动分词器、元特征选择器和混合上下文构造器三个核心组件。

  3. arXiv · AI26

    V-JEPA1 实现城市驾驶场景从潜变量补全到因果预测

    V-JEPA1 预测器通过微调,将双向潜变量补全转化为无动作因果预测,保留冻结编码器。 模型在单次前向传播中预测8个未来token组,在CARLA Town12测试中,从591个候选中检索正确未来的准确率为69.0%,超过持续性基线的55.3%。 研究证实潜变量预测有助于驾驶感知,但下游实用性尚未得到验证。

  4. arXiv · AI31

    MeshRT:通过编译时间治理实现晶圆级低延迟高吞吐 LLM 推理运行时

    MeshRT 是首个在晶圆级加速器上同时实现超低延迟和高吞吐 LLM 推理的系统。 其核心是通过“编译时间治理运行时动态性”架构,将 LLM 推理中的动态事件直接编译为每核心调度计划。在商用晶圆级加速器上,吞吐量比现有最先进系统提升最高 56 倍,且延迟比 H200 上 SGLang 测量值低 4.5-7.0 倍。

  5. arXiv · AI38

    CPU-ARC:用于 CPU 推理复用的智能体推理缓存

    CPU-ARC 提出智能体推理缓存(ARC)方法,将从 LLM 推理轨迹构建的缓存用于 CPU 执行,可高效解决新实例问题。 ARC 在多项数学和科学任务上表现与前沿 LLM 持平,且调用成本比源模型低 16-291 倍。 该方案完全可解释、支持持续训练,并对输入扰动具有鲁棒性。

  6. arXiv · ML33

    自适应调度流水线:用于多实例异步强化学习的大语言模型离线 Rollout 调度器

    自适应调度流水线(ASP)作为离线 rollout 调度器,通过单次预处理将端到端吞吐量提升 3.22 倍,迭代时间最多降低 76.8%。 相比 MindSpeed-RL 和 verl,ASP 更有效地克服了单实例推理的早期扩展瓶颈,并在有界策略滞后下保持收敛无退化。 该调度器已在电信领域 RL 后训练工作流中应用,将训练周期从 3 个月以上缩短至约 2 个月。

  7. arXiv · AI25

    CID 方法:通过语义状态变化测量认知工作

    论文提出基于 Mahalanobis 距离的上下文信息微分(CID)指标,用于量化高维语义空间中的语义位移。 该指标通过协方差感知机制计算语义状态转变,将意义视为几何属性以测量认知转换。 此框架为分析人类与 AI 系统的认知处理、推理及知识生成提供独立于实现方法的度量基础。

  8. arXiv · ML26

    CascadeRec:多租户内容推荐中已部署的自适应 LLM 算力分配系统

    CascadeRec 双层 LLM 重排序级联系统已在生产环境中运行超过一个月,推理成本降低约 10%,且未观察到质量回退。该系统仅在路由器判断额外推理算力有益时,将请求升级至更昂贵的 Tier-2 流程。 在公开基准测试中,均匀 LLM 重排序使稀疏历史用户的 NDCG@10 最多降低 30%,且仅在最长期历史的细分组中表现出统计显著收益。

  9. arXiv · ML33

    Verifier Noise Is a Temperature:测试有限预算 LLM 引导搜索中的 Tilt 预测

    研究在 7 种设置中验证 LLM 引导搜索的“tilt”预测,发现 6 种设置下 150 步后的水平随 minibatch 大小增加,但预测值不准确。 在 bin packing 任务中,搜索达到的增益为预测的 62-88%(编辑父代)或 109-119%(编写新启发式);父代与后代质量相关性越高,实际达到的比例越低。

  10. arXiv · AI33

    DR-BOLT:用于自适应 VLM 推理的 dual-reference 离线优化方法

    针对视觉语言模型强制长思考导致的过度推理问题,研究提出 dual-reference 离线优化方法 DR-BOLT。该方法区分快慢混合参考与采样分布,在 ScienceQA 及三个留出基准上实现 2.90 倍端到端训练加速,跨基准慢思考比例为 24.1%。基于 Qwen3-VL 的实验验证了目标函数改进效果,代码已开源。

  11. arXiv · AI31

    Scout Before You Route: 利用小型 LLM Prefill 预测任务成功率与 Token 数量

    该方法通过单一小型冻结 LLM 的 prefill activations 预测候选模型的成功率与输出长度,显著降低推理成本。 在 8/9 个数据集上,相比中位长度定价,该预测方法在匹配准确率下节省 9-33% 成本,最高可达完美信息节省量的 69%。 输出长度主要取决于问题难度,20 个标注问题即可保持大部分节省效果,且 scout 规模超过 2B 后节省不再增加。

  12. arXiv · ML38

    Transformer-FSQ:用于极端 KV-Cache 压缩的离散潜变量

    提出 Transformer-FSQ 方法,通过有限标量量化瓶颈替换标准 KV 投影,实现极端 KV-Cache 压缩。在 RULER 长上下文检索基准中,该方法在 12× 至 97.5× 压缩率下保持最高精度。 基于 0.25 tokens/参数 的训练量,结合 Triton 融合内核解码,在 Qwen3-8B-Base 上以 97.5× 压缩率达到 1.54× 原生 SDPA 吞吐量。

  13. arXiv · AI21

    MiD-ERC 框架提出分歧引导的可靠性感知融合与自适应 LLM 提示,提升对话式多模态情感识别准确率

    针对多模态情感识别中模态间预测分歧问题,研究提出 MiD-ERC 框架。 该框架利用标准化分歧分数量化模态间分歧并估计样本可靠性,协调分歧引导的跨模态门控、可靠性加权及自适应 LLM 提示。 在 IEMOCAP 和 MELD 数据集上取得 SOTA 性能,在高分歧样本上表现显著提升。

  14. arXiv · ML31

    MINE:面向大语言模型的高效内存推理引擎

    MINE提出无损熵编码方案,通过利用权重非均匀分布加速LLM单流推理。核心为适配GPU的dtANS-LLM编码器,可自动调优以平衡压缩率与解码延迟。 集成至vLLM作为插件,在Llama 3.1 8B Instruct模型上,RTX 4060 Ti实现2.52倍加速,RTX 5090实现1.48倍加速。项目已开源,旨在解决本地部署中因内存瓶颈导致的低延迟请求难题。

  15. arXiv · ML28

    k-Volume: 一种统一主动学习策略

    针对标签揭示成本高的分类场景,研究者提出名为 k-Volume (kVol) 的新型主动学习策略。 该策略依据包含样本 k 个最近邻的最小球体积随机选取样本,兼具密度、多样性及不确定性优势。 kVol 计算成本低且稳定性强,在真实数据集上优于 CoreSet、TypiClust 等现有 SOTA 方法。

  16. arXiv · AI21

    Matthews 相关系数(MCC):五十年综述与数学基础分析

    该综述深入分析二分类中 Matthews 相关系数(MCC)的历史、数学基础及实践意义。 研究澄清长期误解,形式化其等价性(与 Pearson 相关及 2x2 表中 Chi2 的等价),并考察其在类别不平衡下的表现。 论文发展解析与图形框架以泛化任意混淆矩阵指标,为性能度量选择提供指导,有助于提升可靠性与公平性应用。

  17. arXiv · AI35

    AlterNet:具备自适应深度和弹性推理的混合专家模型

    论文提出名为AlterNet的新型LLM架构,结合混合专家层、浅层专家和动态深度系统,使模型前向传播的计算量可按任务自动调整,无需重新训练即可在运行环境中降低推理开销。 该设计包含专家内部的循环计算机制、序列级基于深度的路由、halt 机制、深度编码以跟踪计算进度,以及激励模型高效使用分配算力的正则化机制。 论文给出了初步的benchmark结果,并讨论未来研究方向。

  18. arXiv · AI24

    LLM 引擎过载下重试留下的问题:vLLM 实验揭示取消机制的局限

    在 vLLM 中,仅传播取消无法解决过载后的重试风暴,过载后送达率仅 12-38%。重试通常比超时早不到 0.5 秒启动预填充,已中止的执行消耗了 79-85% 的提示词 token,且计数器遗漏了三分之一到一半的已计算 token。过载控制应基于重试增加的执行数和客户端实际接收的调用进行判断。

  19. arXiv · ML20

    强制耗散随机插值:部分观测动力系统概率模拟的稳定性框架

    针对气候模拟中数据驱动模型缺乏稳定性保证的问题,提出强制耗散随机插值框架,利用湍流动力学结构约束确保任意长时积分下的稳定性。 基于马尔可夫链稳定性理论,建立 Foster-Lyapunov 漂移条件并证明几何遍历性,在双时间尺度 Lorenz-96 系统上验证了该模拟器在有限幅值强迫下能准确预测均值和方差的强迫响应。

  20. arXiv · AI23

    IWIBench: 评估无梯度模型驱动的重量内注入

    研究团队发布 IWIBench,用于评估编辑器模型通过直接编辑权重修改小型目标模型行为的能力。评测对象包括 Astra 和 GPT-6.1 Sol 等前沿模型,目标模型通常为 Gemma 3 4B IT。结果显示不同任务成功率差异显著,结构化响应抵抗了所有尝试,而别名获取最易实现。

  21. arXiv · ML24

    MoE 负载均衡重塑为反馈控制:PID-Balancer 在 OLMoE 上的应用

    研究将 MoE 负载均衡重构为反馈控制问题,提出 PID-Balancer 控制器家族。 针对非平稳数据场景,纯积分型 PID (I) 控制器在 OLMoE 骨干模型及 OLMoE-1B-7B 持续预训练中表现优于现有方法。 在保持平衡性和困惑度相当的前提下,该策略在数据分布切换后能更紧密地恢复专家负载均衡。

  22. arXiv · ML34

    Ordered Policy Optimization:一种基于排序的自适应重要性比率裁剪方法

    论文提出 Ordered Policy Optimization (OPO),通过在每个 mini-batch 内对重要性比率排序,并为极端比率分配自适应半径,替代固定裁剪区间。方法保持一阶优化特性,仅增加排序和修改策略损失。在 MuJoCo 和 Atari 基准上表现出与现有基线相当或更强的性能,论文发表于 NeurIPS 2026。

  23. arXiv · ML30

    通过微调路径推断重建大语言模型谱系树

    论文提出 TRACE-Edge 方法,在灰盒访问下利用非对称对数似然偏差精确求解最大生成有向树,以重建大语言模型(LLM)的有向谱系树。 该方法无需检查模型权重,仅在 25 个由 3 个基础模型构建的谱系树配置上评估,使用微调示例探测时父级匹配准确率达 0.74。 现有输出型方法仅支持成对测试或无向估计,而准确推断派生方向对审计外包微调、确认许可合规及追踪漏洞至关重要。

  24. arXiv · ML28

    TopoSHAP:用于可解释且高效拓扑深度学习的 Shapley 方法

    TopoSHAP 提出了一种高效的拓扑深度学习解释框架,在 GraphXAI 基准上匹配或超越基于图的解释方法,速度快达 112 倍。 该框架通过 TopoSHAP-cell 将 Shapley 值分配给拓扑数据单元,并利用 TopoSHAP-neighbor 进行架构搜索,比传统训练搜索便宜 11.3 倍,有助于提升预测精度和解释恢复能力。