LED:用于扩散语言模型的 Levenshtein 编辑框架
提出 LED 后训练框架,扩展扩散语言模型的编辑范式,支持插入与删除操作以修正序列移位错误。 基于 16B 参数 LLaDA2.1-Mini Base,置信引导解码下平均得分由 54.86 升至 57.10,置信无引导解码下由 27.52 升至 47.19。 在 block size 128 时提升鲁棒性(36.97 至 51.34),并增强生成多样性。
提出 LED 后训练框架,扩展扩散语言模型的编辑范式,支持插入与删除操作以修正序列移位错误。 基于 16B 参数 LLaDA2.1-Mini Base,置信引导解码下平均得分由 54.86 升至 57.10,置信无引导解码下由 27.52 升至 47.19。 在 block size 128 时提升鲁棒性(36.97 至 51.34),并增强生成多样性。
研究分析了 NVIDIA H200 GPU 集群上涵盖 LoRA 和全量微调的运行日志,发现仅基于计算的估算忽略了环境设置、数据检查点等非线性开销。 该预测方法利用调度前已知特征优化任务排队,减少 GPU 空闲时间,显著提升集群资源规划效率。
该研究揭示了高维体制下宽特征学习网络中特征可学习性由一系列尖锐相变支配,并提出了在固定数据预算下的“有效宽度”概念。 模型推导了贝叶斯最优泛化误差的两个统一缩放定律:特征学习阶段误差随 $n^{1/(2\beta)-1}$ 衰减,精修阶段随 $n^{-1}$ 衰减,且学生模型在此处表现接近理论最优。 该研究已被 NeurIPS 2026 接收,为理解大型有限宽度网络的知识转移提供了信息论依据。
针对多兆瓦级灵活负荷整形,研究者提出一种可解释的“挑樱桃”策略,能在不增加批发电力成本的前提下,实现比静态LMP整形高2-3倍的年度电网CO2减排。 该方法基于对ERCOT电力市场近8900个节点的仿真数据,结合可观测的电网净需求与节点最低LMP阈值,动态选择当日最优整形信号。
针对边缘设备资源限制,提出 Mix-Opt 框架,通过自适应结合 BP-low 与 ZO-high 实现内存高效的文生图扩散模型个性化微调。 引入时间步感知的概率函数动态选择优化策略,在 U-Net 与 DiT 模型上均实现显著内存降低且保持高质量生成。
研究指出神经组合优化求解器中,均匀分布工作负载下的非均匀预算分配增益实为抽样偏差。 三个预训练求解器(POMO, AM, SymNCO)在分布内样本中报告2.2%-2.6%的伪增益,分布偏移下真实增益达11.5%。 文章发布纠正程序、报告清单及全部代码与预注册记录。
Localized LoRA-MoE 提出结合空间分块与上下文条件专家路由的框架,解决 LoRA 训练中的梯度干扰。 架构包含中心化与去中心化两种变体,在结构化基准中优于静态基线;在 Qwen2.5-1.5B 模型上,去中心化路由比 LoRA 高 3.9 分,匹配 6 倍预算的专用适配器效果。
TTCov 提出了一种数据级测试条件筛选方法,利用训练前的测试端信息而非推理时的权重更新。 该方法构建 LLM 原子命题任务 Atlas 和知识 Atlas(K-Atlas),将部署分布转化为筛选目标,在自动驾驶领域实现优于基线模型的端到端驾驶性能。
BBO-Pile 是首个开源数据集,包含 3,095 个任务中评估的超过 50 万个优化轨迹。 使用 BBO-Pile 训练了参数量从 2M 到 80M、训练 token 数从 2 亿到 20 亿不等的一系列基础模型,并研究了其随算力的扩展行为。 大规模预训练被证明是模仿超参数优化方法的一种可行且有效的方法,为未来研究铺平了道路。
Q-LocalAdam 是一种分布感知的优化器,通过分块线性量化动量状态和对数空间量化方差状态,在边缘设备上显著降低优化器状态的内存占用。 它使用去量化后的方差下限来维持数值稳定性,使得模型收敛效果接近全精度训练。 在人类活动、视觉和语言任务上的实验表明,该方法在减少峰值驻留内存的同时,仅引入适度的延迟开销。
PRCO 提出基于共享策略的双角色 RLVR 框架,在 8 个基准测试中将平均准确率提升 7 个点以上。 框架通过 Observer 生成证据描述、Solver 预测答案,并采用角色特定奖励解决信用分配模糊问题。 该方法性能优于先前开源的 RL 调优基线模型。
DiffATS 框架直接在正交 Procrustes 对齐的张量基元上训练扩散模型,实现 3.9 至 210 倍的数据压缩。 该方法无需预训练压缩自编码器,通过 Tucker 分解构建数据依赖型基元,并在图像、视频及 PDE 求解上实现强生成性能。
基于丰富自我报告数据的 AI 模拟可显著降低人口统计提示带来的预测误差与样本统计扭曲,在 General Social Survey 项目中,使用访谈和调查数据使准确率从 60.4% 提升至 72.8%。 研究对 1052 名受试者进行了两小时访谈,发现组合数据可弥补 53.5% 的扭曲差距;微调模型虽达到 75.2% 准确率并修复 69.3% 的扭曲,但未能消除经济博弈中的过度理性偏差。
提出 ACC-SGD-IE 估计器,通过后续出现的 Hessian 修正早期移除对后续移除的影响,解决标准 SGD-IE 忽略交互项导致的跨 Epoch 偏差。
数据驱动优化中存在已知为优化者诅咒的乐观偏差,研究者开发了Optimizer's Information Criterion (OIC)方法来解析并修正该偏差。
研究者对比了 8 种 LoRA 方法在 200 种语言及 9000 多种评估设置下的表现,发现小尺度搜索无法可靠预测全量排名。 LoRA 在翻译数据上稳定提升模型拟合度,但削弱阅读理解能力,且对低资源语言获益最大。因此,LoRA 应被视为针对性工具而非通用多语言增强手段。
该论文提出一种基于物理仿真的推理时优化框架,确保生成式策略动作满足任务收敛条件。 在 PushT 和立方体堆叠任务中,成功率分别提升至 88.5% 和 86.0%。
团队提出 MAVE 框架及 MAVEBench 基准,通过结合度量观察、智能体建模与证据验证,从电影镜头重建可编辑 3D Blockout。 在 MAVEBench 评测中,MAVE 相比基线提升了 27.5-41.1 分;使用 DeepSeek-1017 时平均成本仅为 0.054 美元/镜头。
研究人员提出受控实验框架 Visual Generative Lab (VGL),用于评估扩散模型在尺寸、位置等7项基本视觉技能上的泛化表现。该框架通过生成合成数据,发现模型的外推能力有限,组合泛化效果主要取决于技能组合数量而非数据集大小,且各项技能通常独立失败。 VGL 采用基于规则的任务指标精确测量泛化能力,揭示了默认设计下尺寸与位置外推在训练范围附近迅速退化,计数准确率仅约50%。
CPTC提出低比特量化格式,在4位时与理想值差距仅0.07比特,匹配数千倍大表的随机置换网格码。 解码器通过两次乘法索引64字节表,支持1至6位宽,精确复现INT4/FP4。在Llama 3.1 8B/70B权重量化中,KL散度比QTIP低最高27%,已集成于AWS Trainium 4。
HubEgo-100K v1.0 发布 10,124 小时 1080p 第一人称视频,涵盖 15,548 个环境。 数据含 100 Hz IMU 数据及 72,754 个带注释片段,采用 CC BY 4.0 授权,旨在通过多样性提升机器人策略泛化能力。
论文提出 Ambient SFT 框架,利用预训练模型作为噪声教师,通过匹配高温度条件分布来防止小数据集微调导致的过拟合。该方法在领域适应、指令调优和推理任务中表现优于标准 SFT,平均相对提升达 21%。
SimAI 是一个用于机制化用户仿真的框架,通过建模心理因素如何交互塑造用户反应来模拟对话,并提出了图重建目标以基于模拟对话对底层心理关系的反映提供图级奖励。
研究者提出分层策略,在推理时将样本预算分配给k个策略,而非重复采样单一策略。每个策略由共享语言模型骨干上的独立LoRA适配器实现,并针对pass@k进行优化。 理论分析表明,在单LoRA预测误差严格为正的场景中,LoRA群体可实现零best-of-k近似误差。实证结果显示,在多个推理任务中,分层策略一致优于单一策略基线。
ASH 提出一种新的提示增强 GRPO 方法,通过在模型激活中注入可训练引导向量,解决推理时无提示导致的训练-推理上下文不匹配问题。 在四个 LLM(Qwen3-1.7B/4B-Base、Llama-3.2-1B/3B-Instruct)实验中,ASH 在 AMC、AIME 等竞赛级及分布外基准上持续提升 pass@$k$ 指标。
研究揭示在14个开源大语言模型中,改变道德判断结果的注意力头属于通用规范评估电路,而非特定于道德内容的道德特征。该电路在所有测试的规范判断类型中均发挥同等作用。
该研究提出了一种基于“撤销映射”的迁移强化学习算法,通过匹配状态特征统计量学习映射并转移策略。 在线性假设下,该方法严格优于从零开始训练的样本复杂度;在连续控制和Atari等实际任务中,也表现出显著更高的样本效率。 结果证实利用任务间的共享结构可提升跨环境策略转移的效率。
研究在 Claude Opus 5.5 上检验“梦境防止过拟合”假设,结论是损坏记忆并未帮助模型将旧知识应用到新任务。 实验包含 30 次运行,其中 40% 细节损坏使召回率从 76% 降至 60%,而随机文本干扰因模型能识别而基本无效。 结果表明预训练模型可区分损坏文本与真实事件,因此该假设需要在无法轻易区分二者的学习模型上重新测试。
HADVQ提出针对LLM的向量量化方法,通过随机预条件和基于$E_8$格的结构化码本实现超低比特压缩,关键结果:在极低比特范围内提升了模型精度,额外成本仅0.16比特用于保护极敏感通道。 该方法将权重表示在极坐标中,解耦方向与幅度的量化,并利用代理Hessian检测重要通道。结合几何结构、格基码本和选择性通道保留,在极端低比特量化场景下显著改善精度。
研究提出FSC框架,利用切空间匹配和正交坐标将生成轨迹约束在守恒流形内。 该方法在周期Kolmogorov流中将模式覆盖度从0.000提升至0.790,消除高频谱失真。 稀疏重构实验显示,相比非条件先验,全局相对误差降低50%至46%,传感器残差降低63%至55%。
多模态强化学习中结果奖励分配在完整生成轨迹上,而视觉证据在响应中位置稀疏且不均匀,限制了token级优化。 Gaze-RL 提出一种表征驱动的策略优化方法,通过计算内部跨模态几何结构和局部预测不确定性得到“潜在奖励落地场”,将轨迹级优势重新分配到视觉锚定且承担决策的关键位置,保持均值为一、保留每次 rollout 总信用并仅改变逐位置分配。
该研究提出统一扩展定律,揭示视觉-语言模型(VLM)中早期融合与晚期融合在固定数据预算下的性能权衡,表明模型规模扩大时早期融合优势更显著。 定律通过分离基础学习轨迹与模态竞争驱动的分布偏移来建模验证损失,实现了对混合比例、训练步长和模型规模下损失的准确预测。
研究者提出 OICycle 模型,通过从回顾性轨迹中学习随机信念状态,将部分可观察马尔可夫决策过程应用于纵向临床决策。 该模型基于 MIMIC-IV 等数据构建了包含 72,075 次住院记录的基准测试集。与无历史模型相比,OICycle 将下一步干预自适应召回率从 0.253 提升至 0.347,死亡率预测 Macro-F1 从 0.585 提升至 0.649。
研究提出合成数据生成管线,结合扰动松弛、MatterGen 生成采样和原型结构枚举,使用机器学习原子间势代替 DFT 松弛,降低扩散预训练对高成本 DFT 数据的依赖。
研究提出VTT数据集与基准,利用运动轨迹和CAN信号识别未见车型的车辆尺寸与动力类型,包含9,062次驾驶记录。 模型在电池纯电与燃油车区分上的宏观F1值达92.6%至93.0%,尺寸分类准确率从62.9%提升至67.1%。 物理特征分析表明动力识别关联减速行为,尺寸识别关联转向响应,跨车型泛化受标签分辨率限制。
提出 LAS 分析框架识别晶体复杂性及元素组成失衡两大生成难度关键因素,并基于此构建数据感知扩散模型 DSADiff。 模型在 Carbon-24 等三个基准数据集上表现优异,Match Rate 最大提升 9%,刷新 SOTA 性能。 该工作为设计低偏差生成模型提供新方向,深化了对扩散模型在复杂材料空间生成偏差机制的理解。
论文提出时序代数框架,通过指数衰减或滑动窗口加权混淆矩阵,在 O(m^2) 复杂度下解决数据流中延迟标签导致的评估偏差。 引入观察掩码机制,利用校准概率估算未决标签,并通过 Jacobian 分解区分先验漂移与概念漂移,有效降低假报警率。
提出流式OPD,将生成、监督和更新解耦。 在GSM8K上,Qwen3-4B向Qwen3-0.6B蒸馏中,匹配预算使早期差距从4.55降至2.42分。 同步续训最佳准确率为73.39%,扩展记录为76.12%。
summary_zh: 研究提出首个全球季节性降水预测基准 SeasonRainBench,涵盖未来 1-5 个月预报,提供 310,944 个模拟月数据及 7 个运营中心资料。
研究为 LLM 对齐方法提供理论基础,证明 DPO 边际在梯度流极限下呈 $O(\log t)$ 无界增长,而 IPO 收敛至 $1/(2\tau)$。 实验验证 DPO 在标签噪声下发生定性相变,且 SimPO 加入平滑 $\varepsilon$ 后存在有限吸引子。该理论在 5 个模型族、4 个基准上通过验证,并推导 TPO-S 在 IFEval 取得最高均值。