跳到正文
11月3日周二
  1. arXiv · ML26

    深度剪枝小语言模型的能力损伤与恢复:LLaMA-3.2 等模型剪枝修复研究

    对 LLaMA-3.2-1B 等四个 1.2B 级小模型深度剪枝后,函数调用和数学推理能力均严重受损,保留率仅为 0.00 至 0.07。 在修复策略上,对最后三个块进行全量微调比全块使用 LoRA 平均保留率高达 0.18。测试发现,均匀修复策略在同等 3.48M 令牌预算下往往优于规划式修复。

  2. arXiv · ML20

    基于 Transformer 的强化学习用于 I 期临床试验剂量分配

    研究者开发了一种基于 Transformer 的强化学习策略,用于 I 期剂量探索试验。该策略将剂量表示为 Token,通过三动作策略选择减量、维持或增量,并在模拟中展示了可控的安全性与准确性权衡。 最终 MTD 决策由加权等渗回归确定,不纳入学习策略。 该结果未证明优于传统剂量探索设计。

  3. arXiv · ML25

    FADE:用于在线 RLVR 调度的因子化能力-难度过滤

    研究提出名为 FADE 的双线性状态空间滤波器,通过解耦策略能力与题目难度两个时间尺度,优化基于可验证奖励的强化学习调度。 该方法利用 Pólya-Gamma 增广法,在二元 rollout 结果下通过 rank-K Woodbury 步骤闭式更新能力后验,并推导非退化分组概率的效用函数。 在五个推理基准测试中,FADE 在匹配预算下提升下游准确率与校准,每步计算开销增加不足 0.6 ms。

  4. arXiv · ML23

    建筑 HVAC 控制:从 PID 到强化学习的控制架构综述

    该论文系统综述了建筑 HVAC 系统控制架构,构建了从比例-积分-微分(PID)到强化学习(RL)的分层控制框架。 文章将强化学习建模为马尔可夫决策过程,提出了四种 RL 与 PID 结合的分类法,即增益整定器、直接替代控制器、与模型预测控制混合以及监督设定值生成。 综述指出这些架构是嵌套的而非相互对立,部署时需根据具体控制接口与脚手架需求权衡。

  5. arXiv · ML31

    MOPD 在 LLM 持续学习中的重放策略:基于多教师在线策略蒸馏

    多教师在线策略蒸馏(MOPD)在 LLM 持续学习中,利用前一阶段学生模型对早期领域进行重放,以应对专家模型不可用的场景。 在 1.5B 学生模型和 5 个领域测试中,无重放的顺序蒸馏比联合 MOPD 低 6.2 分;重放可弥补 3.8 至 5.8 分的差距。 重放步骤数量随阶段数呈二次方增长。

  6. arXiv · ML31

    混合似然微调如何让 LLaDA-8B 以更少步数生成更优文本

    混合似然微调(Mix-FT)通过重要性加权优化掩码扩散语言模型的采样过程,无需改变架构或引入教师模型。在 LLaDA-8B 上,LoRA 微调仅用 0.002% 预训练算力,以 16 步生成质量超越 32 步原始模型及对比方法。双模型家族评审显示,69% 和 71% 的成对比较中 Mix-FT 结果更优;约四分之三的似然提升归因于对各揭示计划的加权。

  7. arXiv · ML30

    研究显示 RLVR 仅优化 OLMo-2-1B 答案路径而非推理知识

    RLVR 训练使 OLMo-2-1B 在 GSM8K 的首次尝试准确率从 58.0% 升至 61.3%,但 256 次采样的解题覆盖率仅从 94.5% 微增至 96.9%。 内部探针检测推理错误的 AUROC 保持在 0.798 至 0.840 之间,显示模型未建立更清晰的错误表征;仅在最终答案 token 处探针达到 0.93 AUROC,证实 RLVR 改变的是答案选择偏好。

  8. arXiv · ML41

    SpecPilot 自动发现推测解码算法与系统优化

    SpecPilot 是一个自动智能体循环系统,通过发现新算法和系统优化提升推测解码性能。 单请求场景下,其将相对自回归解码的加速比从 4.46 倍提升至 10.87 倍;批量场景下,加速比从 1.94 倍提升至 3.93 倍。 该系统实现了无质量损失的无损 12-bit 权重格式和树状验证机制。

  9. arXiv · ML23

    精确似然训练:一种用于舍入、有界及截断数值标签的自回归语言模型方法

    提出边界边缘化方法,首次实现自回归语言模型基于舍入、有界及截断数值标签的精确似然训练。 该方法通过固定宽度且保持顺序的数字表示分组连续网格值,利用至多两个长度对数级的边界路径计算精确概率与梯度。 实验表明,该方法可从舍入和截断报告中恢复条件分布,在支持一百万数值时仍能保持计算可行性。

  10. arXiv · ML30

    当奖励依赖组时,GRPO 进行锦标赛:Team-GRPO 的提出与理论分析

    论文指出当奖励依赖组内其他样本时,GRPO 因引入负相关基线导致模型进行零和竞争,易致多样性崩塌。 团队提出的 Team-GRPO 将系数设为 +1,作为无偏估计器仅需每组两个样本,无需额外调用模型计算成对奖励。 在 GlobalOpinionQA 上,Team-GRPO 将错误率从 0.20 降至 0.08,避免了 GRPO 的多数答案坍缩,显著提升了集合效用。

  11. arXiv · ML38

    先前行动控制因果改变语言模型可塑性

    基于 Qwen3-0.6B 的实验证明,先前训练中拥有奖励控制权的语言模型,在新任务学习上显著快于无控制的 yoked 模型。 该优势并非源于奖励缺失的伤害,而是控制带来的益处;在 Qwen3-1.7B 及消除练习差异后优势依然成立,且可通过模型权重预测。 这表明控制经验会留下持久印记,常规模型评测无法直接反映这种可塑性变化。

  12. arXiv · ML38

    智能体记忆作为受限过滤:显式状态在依赖读者的 horizon 下优于长上下文

    7B-32B 开放模型在 256 事件日志中准确率跌至 48%-55%,而 32B 推理模型读取当前状态可达 96%-98%。 120B 推理模型在 1024 事件时落后显式状态约 10 个点,表明“状态超越长上下文”的边界随读者能力变化。 该研究将智能体记忆建模为递归过滤,证明基于状态依赖的写时选择优于查询时检索及 Mem0 等方案。

  13. arXiv · ML30

    因果最优传输注意力:位置先验与长度外推

    研究指出因果掩码阻碍最优传输注意力的列平衡,作者提出前缀一致的非平衡算子以表征位置先验。 在 25M 和 100M 参数语言模型预注册实验中,CABLE 方法在损失外推上优于 softmax。 相比 RoPE 配合 YaRN,CABLE 在三种训练长度的所有种子评测中表现更好,且改变偏差可预测长上下文损失变化。

  14. arXiv · ML30

    LLM.int8 批量精度路由导致隐私量化微调敏感性膨胀

    LLM.int8 通过批内并集将离群激活列路由至高精度路径,打破冻结层敏感度隔离前提,导致敏感性通胀。 实验显示 LoRA-Opacus 见证值达加删界限的 $15.0\times$,OPT-125M 中 20% 层精度分裂受其他记录影响。 对发布适配器的审计发现 $\varepsilon$ 下界为 $3.25$,低于宣称保证值 $4.38$,证实直接契约检查为实用审计手段。

  15. arXiv · ML21

    可解动力学模型揭示上下文学习机制

    研究基于单层单头线性注意力模型,精确求解了参数动力学,阐明记忆与泛化如何从学习中涌现。 该工作将动力学与训练及泛化误差关联,并计算数据依赖的自由能量以预测长时极限下的误差。 此成果为从学习动力学视角理解上下文学习机制提供了新见解。

  16. arXiv · ML38

    从粗粒度观测生成预测:级联预测何时有效

    研究利用层级生成参考数据评估概率预测模型在粗粒度观测下的表现。 发现标准扩散模型和随机插值器存在显著分布误差,级联短程预测在湍流和波浪中能大幅降低误差。 提出了可解析的解析模型,表明最优级联深度取决于未分辨尺度与观测尺度间的耦合强度及预测依赖性。

  17. arXiv · ML21

    十亿参数规模下桥接奇异学习理论与机制可解释性

    研究建立奇异学习理论与机制可解释性的数学对应,证明两者均为参数-预测映射的函数,并在 Pythia-1B 模型上验证。 在 Dyck 括号匹配任务中测试 154 个训练检查点,发现 Fisher 信息量随因果效应变化,中位数偏秩相关系数达 0.51。 该工作首次在大模型尺度统一了基于局部几何理论与干预电路分析,为理解模型内部机制提供量化基础。

  18. arXiv · ML39

    L2RR方法解决强化学习中数据分布不匹配问题

    L2RR通过优化双层目标显式纳入目标侧性能反馈,改进GRPO在源提示上的离散采样分布。 实验在六个数学推理基准和三种模型规模上验证,L2RR提升了目标域性能并提高了rollout效率。 该方法解决了法律或隐私限制下无法共享目标提示的问题,对RLVR训练具有实用价值。