跳到正文
10月27日周二
10月26日周一
  1. arXiv · NLP26

    LazyFlash: 前向密集、后向稀疏注意力实现长上下文微调加速

    LazyFlash 通过前向密集、后向稀疏的注意力机制,在长上下文微调中实现高达 5.7x 注意力后向和 1.7x 端到端训练加速。 该方法在后向传播中根据梯度范数对 query 块进行排序并跳过贡献微小的块,同时在 FlashAttention 内核中实现被跳过块的不加载与不计算。 训练后的模型保持为标准密集模型,无需修改即可由 vLLM 等现有系统提供服务。

  2. arXiv · NLP23

    跨情境词汇学习扩展研究:基于儿童自然化体验的数据验证

    该研究在包含48名儿童共2441小时纵向第一人称视频的BabyView语料库上测试跨情境词汇学习模型。模型利用互联网预训练的视觉表征表现优于仅从发育视频学习,且大部分学习信号来自描述可见指代物的少量语句。 结果显示,模型习得的词汇表征呈现出可辨识的人类类语义结构,但其性能轨迹与儿童的实际学习过程存在显著差异。

  3. arXiv · ML20

    动量在大批量训练中的作用:Polyak 扩大临界批大小,Nesterov 提升数据效率

    研究指出,在大批量训练中,Polyak 动量可将临界批大小扩展至 $B(1-\beta)$,Nesterov 动量则提升至 $B^q(1-\beta)$。 该特性使 Polyak 能在不牺牲数据效率的前提下支持更高并行度,而 Nesterov 通过前瞻机制抑制噪声积累以优化数据利用率。 数值实验验证了预测的稳定边界与风险动态,证实了动量方法在不同批大小下的相图特性。

  4. arXiv · ML31

    低秩适配 LoRA 的奇异几何

    LoRA 的非可识别性使其成为奇异统计模型,其学习复杂度无法仅由参数量描述。 研究利用实对数正则化阈值,证明前向-反向协方差决定低秩扰动是否统计可观测。 在感知机和 Transformer 实验中,环境协方差退化不意味着相关低秩方向退化。

  5. arXiv · ML25

    循环语言模型的停头是否真正节省算力?

    预训练最多 1.3B 参数的模型发现,混合迭代的停头预测平均迭代次数低于 50%,但实际生成中几乎所有 token 仍运行至全部迭代。 原因在于训练未对单迭代停止进行评分,且按批次最慢 token 停止时,无停头模型在相同成本下表现几乎同等良好,平均迭代次数会高估节省。

  6. arXiv · ML25

    DRIVE:基于数据贡献与多样性感知加权及先验正则化的微调框架

    DRIVE 提出一种微调权重分配框架,通过统一可微目标结合 Shapley 加法、协方差多样性项及先验正则化,解决灾难性遗忘问题。 该框架实现端到端梯度平衡,理论上具备更优的稳定性-可塑性保证,增强了参数估计鲁棒性。 实证结果显示,DRIVE 达到更优整体性能、更快收敛速度及更强鲁棒性,代码已开源,论文发表于 NeurIPS 2026。

  7. arXiv · ML26

    TWIG:神经网络权重的树状共享离散决策表示

    TWIG将神经网络权重表示为共享离散决策路径的终点,实现剪枝、量化及低秩分解等压缩操作在统一对象上的编辑,支持单一优化器全局选择。 在大型语言模型权重矩阵中,TWIG 在 3-4 bit 精度下比 GPTQ 减少 9-15% 加法,面对强离群值矩阵时减少 20-55% 加法,且常见权重格式可视为无额外成本的浅层 TWIG。 该表示使权重层几乎全由导线和加法器组成,适合权重固定于制造过程的芯片。

  8. arXiv · ML29

    提出合成数据改写标度律:预测计算与数据限制下的最优改写比例

    研究提出合成数据改写标度律,预测模型规模、训练令牌数、改写比例及自然数据epoch数下的loss。在计算限制场景下,最优改写比例从$3\times10^{18}$ FLOPs时的不足10%增至$10^{22}$ FLOPs时的32%,22B参数模型损失预测误差为1.1%,其BPB优于改写者且计算量仅为后者十分之一。

  9. arXiv · AI28

    FinVerse:面向金融时间序列预测更真实评估的基准

    研究团队推出金融时间序列基准 FinVerse,包含 116,897 个序列和 1.711 亿观测值。 该基准基于经济语义组织数据,并评估 43 个公开时间序列基础模型在点预测、截面排名和组合回测中的表现。 FinVerse 在 GIFT-Eval 上的模型排名仅显示中等一致性(r=0.43),为金融决策模型选择提供了更有信息量的依据。

  10. arXiv · AI22

    O'Prior:合成任务分布决定表格基础模型质量

    研究指出合成先验是决定表格基础模型质量的一阶因素,该领域此前缺乏深入理解。 提出包含层级 SCM 元生成器等四个组件的 O'Prior,在固定架构和计算预算下验证其设计有效性。 固定架构下仅调整合成分布即可显著提升下游准确度和鲁棒性,填补了先验构造研究的空白。

  11. arXiv · AI20

    DeFAb:基于可废止溯因的接地科学发现数据集

    DeFAb 发布了一个包含 336 个任务的数据集与符号验证框架,基于 Gene Ontology 生物知识。模型通过补充理论或提出规则例外来填补空白,验证器检查编辑后果。简单符号修复解决了所有评估任务。 该框架要求例外需适用于相关案例并保留其他预测。计划研究比较有无反馈的训练与修订效果。DeFAb 使解释范围可测试,推进科学推理理论修订研究。

  12. arXiv · AI42

    On-Policy Self-Training:大语言模型的无数据自改进方法

    论文提出一种基于策略自我蒸馏的自训练框架,利用自生成问答对和特权推理演示实现模型后训练,无需依赖更强外部教师或人工标注信号。 该方法仅凭高层级主题描述,引导模型合成自身查询和推理轨迹,在文本和多模态领域实现一致性能提升,且保留未自训练领域的原有能力。 研究证明了基础模型具备丰富的潜在能力,无需外部任务监督即可在标准语言基准和视觉问答任务上持续自我改进。

  13. arXiv · AI30

    LARE:通过固定数据曝光下的损失重加权加速 LLM 预训练

    提出 LARE 方法,在固定数据曝光下自动调整域权重,1.5B 模型在 240B tokens 上训练时,五项评测基准平均提升 7.84 个百分点。 基于梯度噪声理论,LARE 采用归一化平方根倒数规则平衡损失尺度,无需额外搜索即可在 GSM8K 提升 17.06 分,MATH 提升 9.00 分。 该方法证明了在不增加领域数据曝光的情况下,调整域损失尺度可提升多任务联合能力。

  14. arXiv · AI29

    基于分层误差模型搜索与 KFAC-SVD 的 LLM 压缩方法研究

    研究团队提出了 LEMS 和 KFAC-SVD 两种方法,用于解决基于 SVD 的大语言模型压缩中秩分配和分解质量的问题。 LEMS 通过分层误差代理改进秩分配,KFAC-SVD 利用 token 级统计量避免秩坍塌。 在 Mistral、Qwen3 和 Llama 3 模型族上测试,LEMS 带来最高 4.8 个百分点的零样本精度提升,KFAC-SVD 平均困惑度改善 15%。

  15. arXiv · AI25

    WiMoT:无回放Wi-Fi传感的持续学习方法

    WiMoT 提出了一种无回放的持续 Wi-Fi 感知方法,通过存储每类特征均值和协方差实现新域学习。 该方法在 3DO、WiMANS 和 Widar3.0 数据集上取得 94.02%、89.61% 和 95.16% 的平均最终准确率,遗忘率不超过 0.58 个百分点。 WiMoT 优于使用回放的基准模型,且将全协方差压缩为秩-32因子后,内存占用降低至 6.4%。

  16. arXiv · AI38

    ALLMTS: 基于 LLM 的自动化医疗分诊系统

    ALLMTS 是一种自动化 LLM 医疗分诊系统,通过执行商业维护的远程医疗指南进行分诊,在 566 个场景测试中准确率 0.95,优于原始 LLM 基线的 0.47。 该系统让 LLM 执行指南而非直接分诊,在 50 个场景子集上准确率 0.98,过度分诊率降至 0.02。 该成果被 NeurIPS 2026 GenAI4Health Workshop 接收。

10月23日周五
  1. arXiv · ML28

    Giskard:面向大规模去中心化学习的拜占庭鲁棒且隐私保护聚合协议

    论文提出 Giskard 协议,结合差分隐私与拜占庭鲁棒性,解决去中心化学习中隐私攻击与模型投毒双重威胁。 该协议将参与者组织为 $O(\log n)$ 大小的委员会树,通过委员会适配的安全分位数搜索实现隐私保护坐标近似中位数计算。 实验表明 Giskard 相比最近竞争者将单点通信复杂度降低近三个数量级,且在高达 $n/4$ 拜占庭参与者下保持可比鲁棒性。

  2. arXiv · ML21

    DualSFT:一种用于 LLM 微调中参数与数据联合选择的共享评分算法

    DualSFT 提出共享局部响应替代评分规则,将 LLM 微调中的参数重要性(列聚合)与数据效用(行聚合)统一为单一梯度交互矩阵的闭式行对应关系。该一次性双评分算法从共享梯度统计中同时生成参数掩码和数据子集。在 3B-9B LLM 上,完整 DualSFT 在匹配预算下比顺序混合基线实现更优的联合约束权衡。

  3. arXiv · ML29

    提出“不变性审计”:利用扩散模型无训练采样不变集以验证机器学习模型

    论文提出无训练的“不变性审计”方法,利用预训练扩散或流匹配模型采样具有相同特征的输入,以诊断特征提取器的不变性是否符合任务语义。 该方法通过纤维损失引导去噪过程,替代了传统需数天训练的方法,仅需单次生成即可达到可比质量。 实验发现 Qwen-2B 模型存在将镜面人(situs inversus)与典型解剖结构归为同一不变集的潜在缺陷,代码已开源。

  4. arXiv · ML23

    基于资源利用率与机器学习的虚拟服务器能耗估算

    研究者提出一种机器学习方法,利用虚拟服务器内部可观测指标预测其独占的 CPU 功耗,训练时依赖主机侧 RAPL 数据作为目标。 评估覆盖异构 CPU 平台、多种工作负载及并发场景,显示当部署条件在训练中被代表时预测准确,但零样本迁移可靠性较低。 监测与推理带来的直接 CPU 功耗开销很小,结果支持在训练数据覆盖目标部署域时进行实用的虚拟服务器功耗估算。

  5. arXiv · AI31

    环境介导选择实现可持续自我训练:一种无需外部奖励的自洽学习架构

    该研究提出一种仅依赖环境生存性而非外部奖励的自我训练架构,旨在解决自训练退化问题。 通过资源约束下的差异性生存选择,模型发展出元学习策略,实现负空间学习,使奖励黑客在进化上不稳定。 此方法为不依赖人工数据或复杂奖励塑造的自主系统提供了通往稳健自我改进的可行路径。

  6. arXiv · AI27

    黄金数据模型驱动制药合规声明生产级生成

    采用黄金数据模型(GDM)重构检索上下文的制药声明生成系统,显著提升了生成内容的合规性与个性化。 该模型包含1867条声明数据,支持4个产品维度。在6个产品受众细分中,预期适应症准确率提升29%,目标受众匹配提升67%,每周API成本降低29.5%。 此方法证明了在高风险监管领域,数据架构重构比扩展提示词规则更具可扩展性。

  7. arXiv · ML32

    性能预测次优性及其对模型路由的影响:基于自置信度基线的理论分析

    研究证明,模型路由中的性能预测仅当候选模型次优或预测器容量显著增加时,才能胜过基于模型自置信度的简单基线。 理论推导显示预测器优势可通过再校准转化为模型损失改进,且其收益受模型次优性和额外参数增益的上界约束。 在16个大语言模型和4个基准测试中,模型越次优,预测器相比自置信度的优势越大,但该优势随微调提升模型性能而缩小。

  8. arXiv · ML30

    线性残差网络训练中宽度与深度极限的可交换性

    研究证明了在线性残差网络中,宽度与深度的无穷极限在训练过程中保持可交换性。该结果基于 $1/\sqrt{depth}$ 残差分支缩放和 $\mu$P 宽度参数化。 在固定步数的梯度下降配合梯度裁剪条件下,随着宽度和深度同时趋向无穷,网络输出在 $L^2$ 范数下收敛。若无梯度裁剪,则仅确立较弱的依概率收敛。