跳到正文
11月19日周四
  1. arXiv · NLP32

    LED:用于扩散语言模型的 Levenshtein 编辑框架

    提出 LED 后训练框架,扩展扩散语言模型的编辑范式,支持插入与删除操作以修正序列移位错误。 基于 16B 参数 LLaDA2.1-Mini Base,置信引导解码下平均得分由 54.86 升至 57.10,置信无引导解码下由 27.52 升至 47.19。 在 block size 128 时提升鲁棒性(36.97 至 51.34),并增强生成多样性。

  2. Hugging Face Blog45

    Hugging Face 研究表明,FLOP 估算预测微调时长误差极大(MAE 12.41 小时),而 CatBoost 回归器在 272 个生产任务中实现了 R² 0.98 的高精度,MAE 降至 1.71 小时。

    研究分析了 NVIDIA H200 GPU 集群上涵盖 LoRA 和全量微调的运行日志,发现仅基于计算的估算忽略了环境设置、数据检查点等非线性开销。 该预测方法利用调度前已知特征优化任务排队,减少 GPU 空闲时间,显著提升集群资源规划效率。

11月18日周三
  1. arXiv · ML25

    极宽网络中的尖锐特征学习相变与贝叶斯最优神经缩放定律

    该研究揭示了高维体制下宽特征学习网络中特征可学习性由一系列尖锐相变支配,并提出了在固定数据预算下的“有效宽度”概念。 模型推导了贝叶斯最优泛化误差的两个统一缩放定律:特征学习阶段误差随 $n^{1/(2\beta)-1}$ 衰减,精修阶段随 $n^{-1}$ 衰减,且学生模型在此处表现接近理论最优。 该研究已被 NeurIPS 2026 接收,为理解大型有限宽度网络的知识转移提供了信息论依据。

  2. arXiv · ML30

    灵活负荷整形的“挑樱桃”策略:显著降低电网碳排放

    针对多兆瓦级灵活负荷整形,研究者提出一种可解释的“挑樱桃”策略,能在不增加批发电力成本的前提下,实现比静态LMP整形高2-3倍的年度电网CO2减排。 该方法基于对ERCOT电力市场近8900个节点的仿真数据,结合可观测的电网净需求与节点最低LMP阈值,动态选择当日最优整形信号。

  3. arXiv · ML25

    BBO-Pile:首个面向超参数优化基础模型的开源训练数据集

    BBO-Pile 是首个开源数据集,包含 3,095 个任务中评估的超过 50 万个优化轨迹。 使用 BBO-Pile 训练了参数量从 2M 到 80M、训练 token 数从 2 亿到 20 亿不等的一系列基础模型,并研究了其随算力的扩展行为。 大规模预训练被证明是模仿超参数优化方法的一种可行且有效的方法,为未来研究铺平了道路。

  4. arXiv · ML21

    Q-LocalAdam:面向边缘联邦学习的内存高效客户端自适应优化器

    Q-LocalAdam 是一种分布感知的优化器,通过分块线性量化动量状态和对数空间量化方差状态,在边缘设备上显著降低优化器状态的内存占用。 它使用去量化后的方差下限来维持数值稳定性,使得模型收敛效果接近全精度训练。 在人类活动、视觉和语言任务上的实验表明,该方法在减少峰值驻留内存的同时,仅引入适度的延迟开销。

  5. arXiv · AI35

    AI 模拟:基于自我报告的语音访谈提升准确性并减少样本统计扭曲

    基于丰富自我报告数据的 AI 模拟可显著降低人口统计提示带来的预测误差与样本统计扭曲,在 General Social Survey 项目中,使用访谈和调查数据使准确率从 60.4% 提升至 72.8%。 研究对 1052 名受试者进行了两小时访谈,发现组合数据可弥补 53.5% 的扭曲差距;微调模型虽达到 75.2% 准确率并修复 69.3% 的扭曲,但未能消除经济博弈中的过度理性偏差。

  6. arXiv · ML45

    研究扩散模型学习基本视觉技能泛化能力

    研究人员提出受控实验框架 Visual Generative Lab (VGL),用于评估扩散模型在尺寸、位置等7项基本视觉技能上的泛化表现。该框架通过生成合成数据,发现模型的外推能力有限,组合泛化效果主要取决于技能组合数量而非数据集大小,且各项技能通常独立失败。 VGL 采用基于规则的任务指标精确测量泛化能力,揭示了默认设计下尺寸与位置外推在训练范围附近迅速退化,计数准确率仅约50%。

  7. arXiv · ML26

    分层策略优化推理时目标:多LoRA适配器提升pass@k性能

    研究者提出分层策略,在推理时将样本预算分配给k个策略,而非重复采样单一策略。每个策略由共享语言模型骨干上的独立LoRA适配器实现,并针对pass@k进行优化。 理论分析表明,在单LoRA预测误差严格为正的场景中,LoRA群体可实现零best-of-k近似误差。实证结果显示,在多个推理任务中,分层策略一致优于单一策略基线。

  8. arXiv · ML38

    ASH:通过激活引导实现提示增强 GRPO

    ASH 提出一种新的提示增强 GRPO 方法,通过在模型激活中注入可训练引导向量,解决推理时无提示导致的训练-推理上下文不匹配问题。 在四个 LLM(Qwen3-1.7B/4B-Base、Llama-3.2-1B/3B-Instruct)实验中,ASH 在 AMC、AIME 等竞赛级及分布外基准上持续提升 pass@$k$ 指标。

  9. arXiv · ML25

    状态空间变换下的迁移强化学习:Learning to Undo 算法

    该研究提出了一种基于“撤销映射”的迁移强化学习算法,通过匹配状态特征统计量学习映射并转移策略。 在线性假设下,该方法严格优于从零开始训练的样本复杂度;在连续控制和Atari等实际任务中,也表现出显著更高的样本效率。 结果证实利用任务间的共享结构可提升跨环境策略转移的效率。

  10. arXiv · AI40

    能否让 LLM 做梦?基于文本记忆智能体检验过度拟合大脑假设

    研究在 Claude Opus 5.5 上检验“梦境防止过拟合”假设,结论是损坏记忆并未帮助模型将旧知识应用到新任务。 实验包含 30 次运行,其中 40% 细节损坏使召回率从 76% 降至 60%,而随机文本干扰因模型能识别而基本无效。 结果表明预训练模型可区分损坏文本与真实事件,因此该假设需要在无法轻易区分二者的学习模型上重新测试。

  11. arXiv · ML24

    HADVQ:基于Hessian感知方向向量量化实现LLM超低比特压缩

    HADVQ提出针对LLM的向量量化方法,通过随机预条件和基于$E_8$格的结构化码本实现超低比特压缩,关键结果:在极低比特范围内提升了模型精度,额外成本仅0.16比特用于保护极敏感通道。 该方法将权重表示在极坐标中,解耦方向与幅度的量化,并利用代理Hessian检测重要通道。结合几何结构、格基码本和选择性通道保留,在极端低比特量化场景下显著改善精度。

  12. arXiv · ML38

    Gaze-RL 利用潜在奖励落地场重新分配多模态强化学习中的轨迹级奖励

    多模态强化学习中结果奖励分配在完整生成轨迹上,而视觉证据在响应中位置稀疏且不均匀,限制了token级优化。 Gaze-RL 提出一种表征驱动的策略优化方法,通过计算内部跨模态几何结构和局部预测不确定性得到“潜在奖励落地场”,将轨迹级优势重新分配到视觉锚定且承担决策的关键位置,保持均值为一、保留每次 rollout 总信用并仅改变逐位置分配。

  13. arXiv · ML21

    视觉-语言融合扩展定律:VLM 早期与晚期融合的权衡

    该研究提出统一扩展定律,揭示视觉-语言模型(VLM)中早期融合与晚期融合在固定数据预算下的性能权衡,表明模型规模扩大时早期融合优势更显著。 定律通过分离基础学习轨迹与模态竞争驱动的分布偏移来建模验证损失,实现了对混合比例、训练步长和模型规模下损失的准确预测。

  14. arXiv · AI36

    OICycle:纵向临床决策中基于信念状态学习的观察-推断-干预循环

    研究者提出 OICycle 模型,通过从回顾性轨迹中学习随机信念状态,将部分可观察马尔可夫决策过程应用于纵向临床决策。 该模型基于 MIMIC-IV 等数据构建了包含 72,075 次住院记录的基准测试集。与无历史模型相比,OICycle 将下一步干预自适应召回率从 0.253 提升至 0.347,死亡率预测 Macro-F1 从 0.585 提升至 0.649。

  15. arXiv · ML21

    VTT:通过未见车型的运动轨迹读取车辆尺寸与动力类型

    研究提出VTT数据集与基准,利用运动轨迹和CAN信号识别未见车型的车辆尺寸与动力类型,包含9,062次驾驶记录。 模型在电池纯电与燃油车区分上的宏观F1值达92.6%至93.0%,尺寸分类准确率从62.9%提升至67.1%。 物理特征分析表明动力识别关联减速行为,尺寸识别关联转向响应,跨车型泛化受标签分辨率限制。

  16. arXiv · ML22

    DSADiff:一种结构感知扩散模型,通过缓解复杂性与元素失衡偏差实现晶体结构预测新 SOTA

    提出 LAS 分析框架识别晶体复杂性及元素组成失衡两大生成难度关键因素,并基于此构建数据感知扩散模型 DSADiff。 模型在 Carbon-24 等三个基准数据集上表现优异,Match Rate 最大提升 9%,刷新 SOTA 性能。 该工作为设计低偏差生成模型提供新方向,深化了对扩散模型在复杂材料空间生成偏差机制的理解。

  17. arXiv · ML31

    大语言模型对齐方法的边际动力学理论

    研究为 LLM 对齐方法提供理论基础,证明 DPO 边际在梯度流极限下呈 $O(\log t)$ 无界增长,而 IPO 收敛至 $1/(2\tau)$。 实验验证 DPO 在标签噪声下发生定性相变,且 SimPO 加入平滑 $\varepsilon$ 后存在有限吸引子。该理论在 5 个模型族、4 个基准上通过验证,并推导 TPO-S 在 IFEval 取得最高均值。