跳到正文
10月12日周一
  1. arXiv · ML33

    预训练知识组织塑造知识更新效率:专家模型比通用模型学习更快

    研究发现,预训练阶段按时间顺序组织知识形成的“专家模型”,比随机打乱顺序训练的“通用模型”更新知识所需的步骤更少。 该研究从第一性原理推导了将更新成本与模型优化动力学关联的定律,并设计了一种保留历史稳定知识且高效更新当前知识的预训练数据组织策略。 这些优势被证实可扩展至现有的预训练模型及知识更新工具,并适用于其他知识排序方式。

  2. arXiv · ML38

    基于逐层随机特征模型模拟深度神经网络训练尖峰

    简单二次模型通过重尾幂律分布输入可复现大语言模型预训练中的间歇性损失尖峰。 作者建立了逐层训练动态的理论框架与模拟算法,针对已知诱发尖峰的 Adam $\beta_2$ 接近 1 配置进行验证。 模拟成功预测了特定检查点的尖峰行为,且推导的 $\beta_2$ 调度方案在实证中改善了性能。

  3. arXiv · ML26

    通过合成自蒸馏持续后训练小模型

    小模型缺乏强上下文学习导致自我蒸馏微调失效,SynthSelf 方法通过最小化对齐器生成合成数据解决分布偏移。 结合离策略监督与拒绝采样,SynthSelf 在 4 个获取数据集和 14 个保持基准中优于 6 种对比方法,覆盖 3 种小模型规模。 该方法证明了无需打破原始分布即可实现小模型有效持续学习,为低延迟终端设备部署铺平道路。

  4. arXiv · ML23

    个性化联邦直接偏好优化通过 LoRA 适配器实现分布式语言模型对齐

    提出个性化联邦直接偏好优化(pFedDPO),允许每个客户端在共享基础模型上维护私有 LoRA 适配器以捕捉特定偏好分布。 证明了该分解将联邦直接偏好优化边界中的梯度多样性替换为更小的有效剩余异质性,实验显示其梯度范数低于原生方法且保持具有竞争力的训练损失和每客户端奖励精度。

  5. arXiv · ML33

    样本自适应零阶优化(SAZO):提升大语言模型微调效率

    样本自适应零阶优化(SAZO)通过学习样本重要性并自适应分配查询,加速大语言模型零阶微调的收敛。 该方法无需额外模型评估,仅比 MeZO 增加 O(N) 标量状态,证明其渐近匹配最小方差采样或acles的收敛主项。 在四个模型族上的实验表明,SAZO 提升了平均下游性能,且达到相同训练损失所需的查询次数最多快 6 倍。

  6. arXiv · ML22

    AIQ 算法ic:面向 LLM 推理的代数整数量化

    提出代数整数量化(AIQ)作为 LLM 推理的有损压缩格式,在相同 bit-per-parameter 预算下,其在多个模型和 benchmark 上的精度表现与行业标准 MX 格式相当。 该框架通过将算术简化为纯整数运算,实现无误差的乘加操作,并利用现代硬件加速器上的矩阵乘法引擎,性能在可预测倍数内接近最高效的数值替代方案。

10月9日周五
  1. arXiv · ML32

    Riemannian Isometric Policy Optimization 克服 LLM RL 探索崩溃

    Riemannian Isometric Policy Optimization (RIPO) 通过保证黎曼流形上的等距策略更新,克服了 PPO-Clip 因欧氏度量导致的探索崩溃。 该方法修正了低概率区域更新保守、高概率区域激进的几何缺陷,实现了良好的偏差-方差平衡。 RIPO 在 AIME24 上较 GRPO 提升最高 60%,并在 7 个竞赛级基准测试中显著超越现有 LLM RL 算法。

  2. arXiv · ML28

    S4oP:面向资源受限设备的结构化状态空间模型算子级剪枝

    论文提出 S4oP 框架,通过交替结构化掩码与微调,实现对 S4 和 S4D 模型的系统性算子级剪枝,以平衡推理延迟与预测性能。 实验显示,该方法可移除高达 70% 的模型算子,在大多数情况下保留原模型性能,并显著降低推理延迟。 这是首个系统性研究 SSM 结构化算子剪枝的工作,有助于其在资源受限场景中的实际部署。

  3. arXiv · ML25

    GRASP:用于可扩展预训练数据归因的几何感知残差对齐

    GRASP 将数据归因重构为子集级反事实效用预测,提出了一种交互感知代理模型。 该方法基于理论平滑性下界,通过二次几何惩罚显式建模子集交互,并耦合低维特征草图与有限下置信界选择协议。 实验表明其使反事实子集保真度的任务级排名相关系数翻倍,同时将前期工件构建成本降低近一个数量级。

  4. arXiv · ML22

    跨数据孤岛联邦学习中模拟攻击模式检测动态搭便车者

    S2-WEF 方法通过模拟全局模型模仿攻击模式,在服务器端识别跨数据孤岛联邦学习中的动态搭便车者。 该方法结合模拟相似度分数与偏差分数,利用二维聚类和逐分分类区分恶意与良性客户端,无需代理数据集或预训练。 实验覆盖 4 个数据集和 5 种攻击类型,证明其在多种设置下提供稳健的动态检测能力。

  5. arXiv · AI37

    VINCIE-NExT: 通过上下文建模实现图像驱动的视频编辑

    VINCIE-NExT 提出统一框架,通过上下文视觉演示将图像编辑能力迁移至视频,避免依赖昂贵的大规模配对视频数据。 该模型将视频编辑分解为“视频-图像-图像-视频”子任务链,引入位置编码在共享空间坐标系中对齐图像演示与视频帧,实现像素级外观传播。 在 OpenVE-Bench 上取得了最先进性能,且无需重新训练即可通过增加计算量提升编辑质量。

  6. arXiv · ML35

    先验数据拟合网络中频谱结构的机械证据

    研究证实先验数据拟合网络内部存在可提取的频谱结构,线性探针在7个模型中以R²≥0.95恢复上下文频率。 TabPFN中192个方向里的64个无标签方向承载了85%-95%的因果效应,且Filter Bank Decoder能以约200倍更低成本生成竞争性高斯过程回归核。 该发现证明网络潜空间蕴含可移植的频谱先验,无需测试时优化即可解码为显式核函数。

  7. arXiv · AI21

    ResOT:通过局部分布对齐缓解大型视觉语言模型中的物体幻觉

    ResOT 提出一种免训练方法,在推理阶段通过局部分布对齐修复表征以缓解 LVLM 中的物体幻觉。 该方法将主导幻觉方向投影出忠实子空间,利用高斯最优传输对齐幻觉与忠实分布,并通过自适应控制修正幅度。 实验显示 ResOT 在三个代表性 LVLM 上显著降低物体幻觉,同时提升图像描述质量与多模态基准表现。

  8. arXiv · ML20

    Prediction-Powered Data Fusion for Treatment Effect Estimation

    提出无特殊观测假设的预测驱动数据融合框架,结合随机对照试验无偏性与大规模观测研究功率,构建 AIPW-Fusion、DR-Fusion 及 R-Fusion 估计器。 框架通过闭合形式权重和置信区间实现精度提升,实验验证了结合小样本 RCT 与大样本 OBS 的有效性,解决了现有方法假设强或偏差高的问题。

  9. arXiv · ML25

    Poster: 基于假设检验的 LLM 蒸馏推理检测初步研究

    该研究提出了一种检测未经授权的模型蒸馏攻击的方法,通过比较嫌疑模型对教师模型推理输出的预测能力,并利用影子模型将得分转换为校准的 p 值进行显著性检验。 在初步研究中,使用 Qwen2.5-7B 作为教师模型,Llama-3.2-3B 作为嫌疑模型,在 0.02 的显著性水平下,该测试达到了 1.0 的真阳性率。

  10. arXiv · ML21

    FlowGP 特征空间适应方法:解决高斯过程流超参数优化难题

    提出特征空间适应方法改进 FlowGP,首次实现高斯过程流(FlowGP)内部的超参数优化。 通过引入核函数近似支持高分辨率域扩展,并基于扩散引导所需的功测量边际似然,解决了现有方法依赖人工指定超参数且迭代成本高的痛点。 该方法成功应用于概率降尺度、不规则域偏微分方程解推断及非高斯卫星观测海面异常场恢复等场景。

  11. arXiv · ML36

    用无字幕原始视频对 Qwen3-1.7B 进行中间训练:纯自监督方案优于预测字幕

    研究证明,使用无字幕、无文本损失的原始视频对 Qwen3-1.7B 进行中间训练,可显著提升模型在视觉基准上的表现。 在四个视频基准上平均提高 2.9 分,十个图像基准上提高 5.1 分,且在 14 个文本基准上保持性能(平均 48.9 分,未训练模型为 48.0 分)。 结果表明,预测下一个视觉 token 优于预测字幕,证明视频中间训练可保持纯自监督,无需承担自动字幕生成的计算开销或标注噪声。