CS-SAM:突破平滑性假设的曲率缩放锐度感知最小化收敛分析
针对SAM方法在缺乏平滑性假设时收敛保证缺失的问题,提出曲率缩放SAM(CS-SAM)。该方法通过缩放扰动和下降步长统一控制相对梯度畸变,在$(L_0,L_1)$或$(H_0,H_1)$-光滑性下证明非凸目标非凸函数达到$\mathcal{O}(1/T)$收敛速率。
针对SAM方法在缺乏平滑性假设时收敛保证缺失的问题,提出曲率缩放SAM(CS-SAM)。该方法通过缩放扰动和下降步长统一控制相对梯度畸变,在$(L_0,L_1)$或$(H_0,H_1)$-光滑性下证明非凸目标非凸函数达到$\mathcal{O}(1/T)$收敛速率。
研究通过适应四个指令微调 LLM 在 Hofstede 价值观维度上的表现,发现针对特定价值观的细调会对未训练的价值观、风险偏好、社会认知及安全性特征产生意想不到的副作用。 该论文建议在 LLM 后训练阶段的价值观对齐流程中纳入更广泛的行为评估,以识别额外价值观训练的最佳介入点。
提出 OmniSimulator 框架,使 Qwen3-8B 平均评分提升 34.33%,性能比肩 Claude-Sonnet-4.5。 利用 200 名真实用户三个月交互轨迹构建 9,881 个训练实例,通过五维结构化推理对齐小模型行为。 支持小规模自托管部署,为高保真 LLM 用户模拟提供可扩展方向。
研究提出首个差分隐私稀疏RLHF理论框架,假设奖励模型受少量$s^*$个特征控制。 算法在Sample-DP和Label-DP设定下分别给出$\widetilde{O}(s^*/n + {s^*}^2/n^2\varepsilon^2)$和$\widetilde{O}(s^*/n + s^*/n\varepsilon^2)$的误差上界。
TCEE框架利用冻结的时间序列基础模型(TSFM)总结账户交易历史,为交易表征提供时间背景。 该方法在六个AMLWorld数据集上,比最强基线平均提升PR-AUC 10.8%,端到端训练速度提升6.0倍;结合GNN可再提升PR-AUC 4.8%。 研究结果表明,TSFM能捕捉互补的时间信号,从而增强基于图的方法在金融犯罪检测中的表现。
该论文提出了一种基于可见光通信(VLC)的室内定位迁移学习框架,通过迁移效率评分(TES)选择最优源模型,使目标区域仅需 40% 数据即可恢复 97% 性能。 该框架在未知区域验证中实现 3.28 cm 平均误差,定位误差低至 40.9 cm,成功率超 86%,显著降低了部署成本与计算负担。
提出 DPO 计算图随机剪枝框架,通过独立采样响应位置、前缀及偏好分支来省略训练步骤中的计算。 该框架在两个模型家族上实现了相对于标准 DPO 约 30% 的训练时间缩短,并带来 1.426 倍的步骤时间加速,主要降低了峰值内存占用。 尽管平均准确率略有下降,但研究证实了随机图剪枝在资源效益与计算省略之间的直接关系。
该研究通过最小模型分析极值回归问题,揭示了梯度流中存在两个相变:内在冻结相变和检索相变。 研究推导了大袋 n 和高维 d 极限下的梯度流低维投影,数值模拟确认了相图及有限规模训练梯度向预测渐近形式的收敛。
在 MIMIC-IV 数据集上的实证研究表明,三种 JEPA 变体均能稳定训练但无法避免表征崩溃,且性能持续低于标准 MLM。 研究发现目标尺寸而非目标异质性导致预测误差增加,且缩小目标尺寸也无法恢复下游任务表现。这表明仅靠稳定的潜在预测不足以实现有竞争力的 EHR 表征学习。
Harness Scaling 是一种新的智能体强化学习扩展维度,通过扩展训练至多样化执行配置,解决单一固定框架导致的性能专精与跨配置迁移受限问题。 该方法构建因子化框架空间,选择平衡覆盖的紧凑子集进行跨框架训练,在多个基准测试中一致提升对未见白框配置的泛化能力。 结构化的白框变化训练能有效迁移至未见黑框框架,性能优于仅通过单一复杂黑框训练的模型。
提出名为 BIRD-RL 的四阶段 Agentic 强化学习框架,专门解决 SQL 调试等数据密集型任务中的状态隔离难题。该框架利用 Trajectory-scoped Persistent Execution Infrastructure,实现 12.8 倍空间效率提升,无需 Kubernetes 即可进行可扩展训练。
研究者提出结合平行预训练与标准预训练的两阶段方法,在同等计算预算下持续提升多语言理解与跨语言任务表现。 该方法首先通过平行预训练建立跨语言基础,再使用标准预训练适应单语任务输入,有效克服了传统独立采样无法利用平行结构的问题。 该策略在高资源与低资源场景中均优于纯标准预训练。
研究表明,在 LLM 中训练阶段,完全从预训练数据切换到中训练数据并非总是最优。 若学习率全程衰减,更早引入中训练数据并混合预训练数据可降低最终损失;但若使用恒定学习率,该结论反转。 实验发现,应在中训练数据进入后再衰减学习率,最优数据排程依赖于具体学习率策略。
研究团队发布多模态海洋基础模型 YingLan,旨在解决卫星、网格场及浮标等异质观测数据的统一表征难题。模型集成物理属性条件动态编码与时空增量耦合(STIC)机制,基于华为昇腾 910B NPU 进行预训练。在深圳近海 7 天海表盐度预报任务中,YingLan 平均 RMSE 为 0.687508 PSU,相对误差较对比模型降低最高达 12.42%。
该研究在三个临床队列和一个可穿戴队列上,比较了容量匹配的量子、多层感知机和逻辑回归模型。在五个隐私预算和五个随机种子下,量子模型在临床队列的平均ROC AUC领先最多0.104,但在参与者较少的可穿戴队列中表现落后。
NormTune 提出一种范数引导策略,通过自适应强化更新不足层提升参数高效微调在推理任务中的表现。 在 S1K-1.1 训练集上,该方法使 rank-8 LoRA、Bone 和 MoRA 在 AIME 2024、MATH 500、GPQA 等基准测试中平均准确率分别提升 24.24%、11.33% 和 16.21%。
SST框架通过技能模式传输缓解大语言模型持续域适应中的灾难性遗忘。该框架将新领域知识映射至模型现有技能空间,避免模型向旧状态回归。 在两个3B指令微调骨干模型上,SST使流式领域平均最终性能提升2.53至5.75分,并将最大遗忘度从42.41分降至7.10分。 SST在NeurIPS 2026主会发表,能改善对相关任务的泛化能力并显著恢复顺序更新导致的分布外退化。
高斯先验在强化学习微调中因结构性限制导致坍缩,多模态数据下 ELBO 最优解压缩模式造成重叠。 在真实丙氨酸二肽玻尔兹曼分布中,高斯先验 VAE 坍缩阈值 beta_c 为 0.224,而高斯混合先验仅为 0.00316,差距达 71 倍。 通过几何中介量 d_min/(2 sigma_0) 验证因果链,证明非高斯先验在覆盖敏感任务中是必要修正。
ReAPO 提出一种基于随机最短路径框架的重试感知策略优化方法,通过为失败轨迹分配额外生成机会,在强化学习验证(RLVR)中提升大语言模型推理效率。该方法在 Qwen3 和 OLMo-2 模型(0.6B 至 4B)上验证,于八项数学与科学推理基准中表现优于 GRPO 及近期基线算法。
研究团队通过120种配置分析持续预训练对具身代理的影响。测试涵盖0.8B至27B模型、50至1,600小时数据及5种混合方案。 结果表明:更多数据提升内部表现,多样性增强相关世界迁移,更大模型提高数据效率但降低远距离泛化。
针对检索增强生成(RAG)中歧义查询的识别与澄清问题,研究发布数据集ClariEdge,包含约3,900个示例。 轻量级LoRA微调在该数据集上达到96.6%分类准确率,性能超越多个更大模型的提示词基线,且适用于检索前和检索后两种RAG场景。
结合降维与量化可将文本嵌入存储降低至不足 0.1%,同时在 MTEB 分类任务中保留至少 99% 的原生得分。 该结论基于五个预训练模型在 Massive Text Embedding Benchmark 四个任务族上的系统评估。 不同任务对维度与位宽平衡的偏好各异,其中检索任务对压缩更为敏感。
Psy-Chronicle 提出事件驱动框架,基于学生学期时间线生成多会话咨询,产出开源中文数据集 CPCD。 CPCD 包含 100 名学生及 1,248 个跨整个学期的会话。在基础质量及工作联盟指标上超越现有单会话语料库。
FEAST 提出联邦共享空间训练框架,通过子超网路由和稀疏聚合解决客户端推理预算差异导致的参数访问不均问题。在 596M 推理 MACs 下,FEAST 达到 71.06% 准确率,比最强权重共享基线高 2.4 点;子超网路由将总模型参数通信流量减少 6.8 倍。
COSMOS 框架通过仅交换伪标签实现服务端个性化联邦学习,支持异构客户端。 该框架依据预测相似度将客户端聚类,并为每个群组训练特定模型再蒸馏回客户端,实现了指数级个性化风险收缩。 实验表明 COSMOS 性能优于模型无关基准,且在高度异构环境中展现了规模化应用的潜力。
SCOPE 提出一种免训练的联邦学习核心集选择框架,利用冻结的视觉语言模型对样本进行单次评分,无需预热训练且仅单次上传基于类别数量的标量统计。 在 4 个数据集上,SCOPE 选择速度提升 7.7 倍,上传数据减少 293 倍;使用其核心集训练全局模型,能在比全量数据训练少 18%–42% 的全局轮次内达到全量数据 98% 的精度。
提出混合降阶模型(ROM),结合数据与全阶模型(FOM)改进混沌时空动力学预测。 模型在自编码器发现的不变流形上投影 FOM 向量场,并用神经常微分方程修正或作为贝叶斯先验。在 Kuramoto-Sivashinsky 和复杂 Ginzburg-Landau 方程模拟中,混合方法在数据丰富、稀缺甚至 FOM 参数错误时,时间序列预测均显著优于纯数据方法。
TerraNostra-Bench 提出了一种结合粗分辨率情景数据与静态地质特征生成 1km 年际土地利用地图的数据驱动框架,并将土地利用重构视为语义分割任务。
该研究利用评估于训练后参数的神经切线核,恢复了预测超导转变温度的神经网络所学习的几何结构。基于该内核的岭回归表现接近原网络,且显著优于初始内核回归。 光谱分析与多维标度显示该几何由少数主导方向构成,聚类分析据此将化合物组织为可识别的超导族。 研究确立了训练切线核作为探测材料表征学习的有效工具,连接了属性预测与材料空间探索。
研究者提出Guided Diffusion范式,利用扩散语言模型的可导向性,在两个数据集和两个扩散骨干模型上优于Private Evolution和基于DP-SGD的微调方法。
针对图生成模型无法利用硬件感知注意力实现且内存占用高的问题,提出一种边缘感知注意力层。 该层通过头级分数调制注入结构信息,利用 PyTorch FlexAttention 实现,将峰值 GPU 内存降低 65%,并显著提升训练与采样吞吐量。 该架构为可扩展的图基础模型提供了实践路径。
一项研究追溯了七个开源 RL 后训练框架的提交历史,分析了 2025 年 1 月至 2026 年 6 月期间 6,939 篇 arXiv 论文的纳入情况。 在 1,598 篇提出通用 RL 训练方法的论文中,仅有 37 篇被至少一个框架纳入,各季度队列中 180 天内纳入数量维持在 5 至 7 篇。
研究证实,在固定源照片和人工说明词的情况下,通过选择近重复图像即可将偏好潜意识传递给其他模型。 LLaVA-1.5、Qwen3-VL 等模型中,基于选择结果的模型在目标比对分数上显著高于随机基准,且该偏好可跨代传递。
将 TabICLv2 预训练中的分类先验类别数上限从 10 降至 2,其零样本多类分类性能不降反升。在 TabArena 38 个数据集上,该策略 Elo 分达 1590.1,超越默认配置 1568.0 及 TabPFN-v2.6 的 1577.1。60 家信贷机构验证显示,44 家机构的测试 AUC 显著提升。该发现将类别数降为超参数,开启类别数无关的 TFM 预训练范式。
研究人员提出通过线性塑形增强稀疏自编码器(SAE)的语义选择性。 基于 J 空间平均 Jacobian 的秩降变换,投影至大奇异值本征模式子空间。 引入 MF-SAE 方法,联合学习仿射变换与字典原子,并在 SAEBench 等基准上验证了优势。
在单台 trn2.48xlarge 实例上,通过 torchtitan 提供了三种训练 Qwen3 的方法。 这些方法包括使用 Transformers v5、tochtitan 原生模型规范以及添加 NKI MoE 内核。 环境需安装指定版本的 torch, torch_neuronx 和 transformers。
OpenAI 发布了一个 Codex 技能包,帮助用户检查其网站是否受 PHP 关键安全漏洞影响。用户可通过将 Codex 指向指定 GitHub 仓库(github.com/openai/php2shell-checker)来执行该检测流程。此技能包是在 OpenAI 主导发现 PHP 引擎严重漏洞并协调披露的背景下推出的。
推荐理由:官方提供了用于检测PHP漏洞的Codex技能包,读者可直接复用该工具评估站点安全性。
研究提出 S³(Spectral Null-Space Swap)方法,通过非思考模型的主导子空间与思考模型空空间的权重组合,在不损精度的前提下提升推理效率。 该训练无关方法在 2B 至 30B 稠密及 MoE 架构上测试,平均降低 27.4% 推理 token 开销,同时提升整体任务准确率 1.0 个百分点。
研究发现辅助视角(概念重构)是大语言模型预训练获取知识的关键因素。 实验表明,在固定 token 预算下,将资源分配给辅助视角而非改写,即使对事实回忆也有提升。 该研究揭示了数据多样性的重要性,并为合成数据增强及模型自我提升提供了清晰的方法论依据。
针对隐私受限的金融领域 ASR 场景,本文证明使用 GRPO 强化学习训练合成语音时,能比 SFT 更好地从合成 TTS 数据中提取信息。 GRPO 将相对 SFT 的 WER 降低 40%(36.71% 降至 22.09%),SFT 与 GRPO 结合后降幅达 45%,主要机制是改善停止校准与音频注意力锚定。